promptfoo
CLI 0.125.1AI-antwoorden herhaalbaar beoordelen
promptfoo ondersteunt evaluaties en afgebakende red-teamtests. Onze oefening beoordeelt vaste synthetische antwoorden met een lokale custom provider en bevat geen leveranciersbenchmark.
Documentatie gecontroleerd: 2026-11-01. Beschikbaarheid verschilt per client en account.
- Onderdeel
- Evaluatie-CLI en bibliotheek
- Werkvorm
- Evaluaties, assertions en afgebakende veiligheidstests
- Uitvoeromgeving
- Lokale CLI; externe providerverzoeken alleen als zo geconfigureerd.
- Te overwegen voor
- Regressies in antwoorden en prompts zichtbaar maken
- Kostenmodel
- Runner, eventuele modelaanroepen en beoordeling
- Gegevensroute
- Volgt provider, testdataset, rapportage en opslag
Bewijs en openstaande controles
De mogelijkheden zijn beschreven aan de hand van de primaire bronnen bij iedere sectie. Mogelijke inzet is redactioneel advies. De onderstaande proefdatum geldt uitsluitend voor de beschreven afgebakende configuratie.
- Productdocumentatie
- 2026-11-01
- Versiecontrole
- 2026-11-01
- Afzonderlijke prijscontrole
- Niet uitgevoerd; controleer actuele bron
- Gegevensvoorwaarden en accountinrichting
- Niet onderzocht voor een specifieke configuratie
- Eigen praktijkproef
- 2026-11-01
Proefscope: Vier vaste antwoorden: twee verwachte successen en twee verwachte afwijzingen; geen model aangeroepen.
Bekijk methode, uitkomst en beperkingen van de proefEen beschikbare functie, de standaardinstelling en een gecontroleerde instelling zijn verschillende uitspraken. Leg bestanden, opdrachten, netwerktoegang, bevestigingen en herstel vast voor je eigen configuratie.
Gegevensschema en rechtencheckProefprotocol en werkbladenInzet en afbakening
promptfoo ondersteunt evaluaties en afgebakende red-teamtests. Onze oefening beoordeelt vaste synthetische antwoorden met een lokale custom provider en bevat geen leveranciersbenchmark.
Installatie en inrichting
De proef gebruikt CLI 0.125.1 met Node.js 22.23.2 en een custom provider zonder API-key. Gebruik de actuele officiële vereisten voor een eigen installatie.
Wat nog moet worden beoordeeld
Een geslaagde assertion bewijst alleen de vastgelegde eigenschap in die testcase. Een kleine fixture bewijst geen algemene modelkwaliteit, aanvalswerendheid of compliance.
Controleer kosten, licentie, accountrechten en gegevensvoorwaarden voor de concrete configuratie. Een documentaire beschrijving is geen geteste productie-inrichting.
Productdocumentatie: 2026-11-01