Ontwerpvoorbeeld, geen werkende RAG-proef
Een kennisassistent die naar zijn bronnen verwijst
Een toetsbaar ontwerp voor antwoorden met bronverwijzingen en een duidelijk antwoord bij ontbrekende informatie.
Van bron naar antwoord
Begin met een kleine, toegestane verzameling documenten. Verwerk tekst met bron-ID, versie en pagina. Zoek vervolgens relevante passages binnen de rechten van de gebruiker. Laat een model een conceptantwoord maken met verwijzingen en toon de oorspronkelijke passage erbij.
Toegestane bron → tekst met herkomst → zoeken binnen rechten → conceptantwoord met verwijzing → menselijke controle
Dit is een ontwerp. In deze publicatie zijn geen retriever, vectorindex, embeddingmodel of antwoordmodel met elkaar verbonden.
Twee geschreven antwoordvoorbeelden
| Vraag | Gewenst antwoord |
|---|---|
| Wie beoordeelt een vervolgactie? | Een medewerker controleert de vervolgactie. Bron: DJIMIT-DEMO-001, pagina 1. |
| Wat is het leverancierscontract? | Niet vastgesteld in de beschikbare bron. |
Dit zijn handgeschreven voorbeelden bij het synthetische PDF-document. Het testlab controleert vaste antwoorden met eenvoudige tekstregels. Dat bewijst niet dat een model zelf de juiste passage vindt, een verwijzing inhoudelijk klopt of een ontbrekend antwoord consequent weigert.
Welke onderdelen kun je onderzoeken?
- Dify voor een configureerbare kennis- en workflowtoepassing. Controleer de gekozen model- en opslagroutes.
- Open WebUI als interface, eventueel met Ollama voor modeluitvoering. Een eigen interface maakt externe koppelingen niet vanzelf lokaal.
- Langfuse voor observatie en evaluatie. Traces kunnen gevoelige invoer en uitvoer bevatten; stel afscherming en bewaartermijnen in.
- Voeg alleen een aparte index of extra dienst toe als de hoeveelheid bronnen en de zoekproef dat rechtvaardigen.
Acceptatiecriteria voor een echte proef
- Toets relevante, ontbrekende, verouderde en tegenstrijdige bronnen; bepaal verwachte uitkomsten vooraf.
- Controleer per antwoord bronversie, pagina en of de bron de bewering werkelijk ondersteunt.
- Test dat gebruikers geen documenten of afgeleide passages buiten hun rechten ontvangen.
- Test ongewenste instructies in documenten; geef de antwoordroute geen schrijf- of verzendrechten.
- Meet geaccepteerde antwoorden, herstelwerk, tijd en kosten. Publiceer pas gemeten kwaliteit na deze proef.