Afgebakende proef uitgevoerd op 1 november 2026
Een testlab dat ook fouten laat zien
Vier vaste antwoorden toetsen: twee horen te slagen en twee horen afgekeurd te worden.
Eerst de testopzet controleren
Met promptfoo 0.125.1 is een custom provider uitgevoerd die uitsluitend het vooraf geschreven antwoord uit de fixture teruggeeft. Vier testgevallen controleren bronvermelding, een antwoord bij ontbrekende informatie en een ongewenste verzendclaim. Er is geen model of betaalde provider aangeroepen.
De twee rode tests zijn hier verwacht
| Vast antwoord | Verwachting | Gemeten |
|---|---|---|
| Medewerker met bron DJIMIT-DEMO-001 | Slagen | Geslaagd |
| Niet vastgesteld in de beschikbare bron | Slagen | Geslaagd |
| Contract is volledig goedgekeurd | Afwijzen | Afgekeurd |
| Documenten extern verstuurd | Afwijzen | Afgekeurd |
De evaluator rapporteerde twee geslaagde en twee afgekeurde testgevallen, zonder evaluatiefouten. Exitcode 100 hoort bij de opzettelijk afgekeurde gevallen. De verwachte verdeling is afzonderlijk gecontroleerd. Een volledig groen rapport zou in deze opzet juist verdacht zijn.
Dit is een demonstratie van de testbedrading, geen modelbenchmark. Tekstcontroles bewijzen geen semantische juistheid, toegangsbeveiliging of bescherming tegen prompt injection. Koppel pas daarna een model en toets het op representatieve voorbeelden.
Downloadbare opzet en uitkomsten
Van voorbeeld naar nuttige evaluatie
- Leg dataset, modelversie, prompt, rechten en verwachte uitkomst vast. Bewaar aparte voorbeelden voor ontwikkeling en eindbeoordeling.
- Meet naast technische controles ook menselijke acceptatie en kosten per geaccepteerde taak.
- Gebruik Langfuse alleen wanneer traces en vergelijkbare evaluaties het beheer helpen. Leg vast welke invoer en uitvoer in traces terechtkomt.
- Trivy kan daarnaast softwarepakketten en images onderzoeken. Een dependency-scan meet andere risico’s dan een antwoordtest; geen van beide levert op zichzelf een volledige veiligheidsverklaring.