Kwaliteit en onderbouwing van modellen
Wat er achter de API-aliassen gebeurt, hoe gecureerde kennis het model bereikt, de evaluatiegegevens achter onze modelkeuzes en wat we niet claimen.
Deze pagina beantwoordt de vraag die een compliance-engineer zich moet stellen voordat een agent op een model-API wordt aangesloten: waarom zou deze geschikt zijn voor de taak? Hier wordt beschreven wat de aliassen aanstuurt, hoe frameworkkennis het model bereikt, de evaluaties achter onze modelkeuzes en de beperkingen van elke claim hier.
Het modelaanbod
De API bedient een klein aantal aliassen. Achter elk daarvan:
- De standaardlaag (
isms-fast,isms-thinkingen hun-eu-varianten) draait op GLM 5.2, een sterk open-gewichtmodel, met een contextvenster van 1M tokens. Het globale pad en het EU-pad gebruiken dezelfde modelklasse; het verschil zit in de verwerkingsregio, niet in de capaciteit. - De bulklaag (
isms-mini) draait op Mistral Small, een kleiner model, voor hoogvolumewerk dat geen diepgaande analyse vereist: opmaak, extractie, classificatie en normalisatie van JSON.
Exacte upstream-aanbieders kunnen wijzigen. De aliassen vormen het stabiele contract voor je integratie, en een wijziging in het model achter een alias volgt de upgradevoorwaarden.
Hoe kennis het model bereikt
De API is geen fijn afgestemd model en de compliancekennis zit niet in de gewichten. Het mechanisme is injectie op het moment van inferentie:
- Je verzoek komt binnen als een normale OpenAI-compatibele chat completion.
- De server detecteert genoemde frameworks in je berichten (
auto-modus) of neemt de exacte modules die je instelt metismscopilot: { "frameworks": [...] }. - De gecureerde referentiemodule voor elk geselecteerd framework wordt toegevoegd aan de prompt, samen met de gepubliceerde serverprompt en het Referentie-Integriteitsbeleid.
- De respons vertelt je wat er is uitgevoerd: de
x-isms-frameworks-header en hetismscopilot-responsobject geven elke geïnjecteerde module weer met een gelabelde schatting van het aantal tokens.
Dit is opzettelijk. Kennis in gewichten kan niet worden geaudit, gedateerd of per respons gecorrigeerd. Kennis in de prompt wel: elke module draagt een verificatiestempel, de catalogus is raadpleegbaar en de geïnjecteerde bytes worden bij jou in rekening gebracht als gewone inputtokens die je kunt zien in usage.prompt_tokens.
Onderbouwd is niet onfeilbaar. Kennisinjectie onderbouwt het antwoord wanneer een module is geselecteerd. Het is geen claim dat hallucinaties onmogelijk zijn en het is geen auditbeoordeling.
## Het bewijsmateriaal
Elke kwaliteitsclaim die we intern maken, wordt ondersteund door een gedateerde, methode-gedocumenteerde evaluatie. Dit zijn onze eigen interne evaluaties, met de steekproefgroottes die we daadwerkelijk hebben uitgevoerd; lees de waarschuwingen als onderdeel van de resultaten.
### Modelselectie: GLM 5.2 vs Mistral Small (2026-07-03)
De dual-mode evaluatie die GLM 5.2 koos voor de standaardlaag. Drie compliance-taken (ISO 27001 gap-analyse, SOC 2 leverancier-incident mapping, een GDPR DPIA), vier takken, drie steekproeven per tak: 36 gegenereerde outputs, blind beoordeeld door een frontier-model volgens een vijf-criteria 0-tot-2 beoordelingsschaal. Beide modeltakken draaiden met kennisinjectie.
| Tak | Score | Mediaan latentie |
| --- | --- | --- |
| GLM 5.2, fast | 87.8 | 0,8 s |
| GLM 5.2, thinking | 90,0 | 1,0 s |
| Mistral Small, fast | 73,3 | 10,4 s |
| Mistral Small, thinking | 74,4 | 23,7 s |
Waarschuwingen zoals vastgelegd in het rapport: single-day run, N=9 per tak; lees geen significante verschillen per taak; latentie werd gemeten onder evaluatieomstandigheden, niet in productie, en we citeren deze niet openbaar.
### Citatievalkuilen (2026-08-17)
Vijf prompt-valkuilen ontworpen om zelfverzekerde verzinsels van compliance-feiten te detecteren: uitsluitingsscope, R&D-scope, sleutelpersoonsafhankelijkheid, logboekretentie en een onschuldige hernoeming die niets mag triggeren. GLM 5.2 (thinking) slaagde voor 5 van 5. Mistral Small slaagde voor 4 van 5, en faalde op de logboekretentie-valkuil. Dit is de getrouwe herhaling; een eerdere scoringspoging met een minder verfijnde scorer werd in onze ontwerpdocumenten als niet-beslissend gemarkeerd en telt niet als bewijs.
### Hostile-prompt poortwachters (2026-08-17)
Dezelfde GLM 5.2-gewichten dienen onze heyGRC review-product, waarvan de lanceerpoort een hostiliteits- en injectieweerstandssuite bevat. GLM slaagde tweemaal achtereenvolgens voor de volledige suite (core, hostile, baseline, benign, grounding: alles groen). Mistral Small faalde eerder op de hostiliteitssuite. Bevestigend, niet onafhankelijk: dezelfde gewichten, verschillende productomgeving.
### Serverprompt-discipline (2026-08-02)
De gepubliceerde serverprompt werd pas na een vooraf geregistreerde poort vrijgegeven: regels bevroren vóór de run, gevolgd door 848 calls over de aliassen. Eindrun: 20/20 correct op baseline-correct fixtures (geen regressie door injectie), 16/16 correcte identiteitsattributie, 24/24 weigering van intellectuele-eigendom elicitatie. De eerste run faalde op één regel en de prompt werd geïtereerd, niet de regels; de mislukking staat vermeld in het resultatenbestand.
### Detectiebepaaldheid (2026-06-05)
Frameworkdetectie in `auto`-modus is een deterministische, geteste functie, geen modelcall. De evaluatiepoort heeft een precisie/recall van 98%+ op de testset en draait in CI bij elke wijziging.
## Verificatie die je zelf kunt uitvoeren
Je hoeft deze pagina niet te vertrouwen. Alles wat hier wordt beschreven, is waarneembaar via één API-call:
- `GET /v1/frameworks` toont de live catalogus (101 modules waargenomen op 2026-08-26; de live endpoint is autoritair, niet dit aantal).
- `GET /v1/frameworks/changelog` registreert toevoegingen, correcties en verificatievernieuwingen aan het register met data.
- De [system prompt is letterlijk gepubliceerd](/docs/api/system-prompt), en `x-isms-policy-version` noemt de versie die elke request heeft bediend.
- `x-isms-frameworks` vertelt je wat er in je eigen request is geïnjecteerd, elke keer.
- De zero-data-retention houding is gedocumenteerd in [Zero Data Retention](/docs/api/zero-data-retention).Wat we niet claimen
- We beweren niet dat onze kwaliteit superieur is aan Claude of enig ander frontier-model. Er bestaat momenteel geen head-to-head evaluatie tegen de raw frontier-API's in onze bestanden. Een benchmark die rekening houdt met de modus (onze aliassen versus raw frontier-modellen, met publicatie van verliezen naast overwinningen) is in ontwikkeling; totdat deze is uitgevoerd, wordt er nergens in onze teksten een dergelijke claim gemaakt.
- We beweren niet dat de kennis de tekst van de norm zelf is. Modules zijn door ons samengestelde referenties; de auteursrechtelijk beschermde normteksten zelf moeten door u worden gelicentieerd als u de brontekst nodig heeft.
- We beweren niet dat de detectie volledig is. In de
auto-modus is de detectie op naamniveau: een enkel controlegetal zonder frameworknaam kan niets injecteren. Geef het framework aan als u het kent. - We publiceren geen latentiegetallen. Evaluatie-omstandigheden zijn geen productieomstandigheden.
- Hier wordt geen auditbeoordeling of juridisch advies gegeven.
Waar dit toe leidt bij de keuze
Voor compliancewerk is de zaak: een sterk open-gewichtenmodel, indien nodig gebaseerd op een onderhouden en verifieerbare referentie, met per-responsdisclosure van wat is geïnjecteerd, tegen een prijs die is afgestemd op agentschaal-doorvoer. Voor frontier-hard redeneren, multimodale invoer of tool-calling agents kan een frontier-API nog steeds het juiste gereedschap zijn, en hier wordt niets verboden aan een hybride architectuur die beide gebruikt. Zie Modellen en regio's voor de aliastabel en Frameworkkennis voor de injectiemechanismen.