Modellqualität und Grounding
Was hinter den API-Aliassen abläuft, wie kuratiertes Wissen zum Modell gelangt, die Evaluierungsdokumentation hinter unseren Modellentscheidungen und was wir nicht behaupten.
Diese Seite beantwortet die Frage, die eine Compliance-Ingenieurin oder ein Compliance-Ingenieur stellen sollte, bevor ein Agent auf eine Modell-API verweist: Warum sollte dieses Modell für die Aufgabe geeignet sein? Sie dokumentiert, was die Aliasse bedient, wie Framework-Wissen zum Modell gelangt, die Evaluierungen hinter unseren Modellentscheidungen sowie die Grenzen aller hier getroffenen Aussagen.
Die Modell-Palette
Die API bedient eine kleine Auswahl an Aliassen. Dahinter stehen:
- Die Standard-Klasse (
isms-fast,isms-thinkingund deren-eu-Varianten) nutzt GLM 5.2, ein starkes Open-Weights-Modell, mit einem 1-Mio.-Token-Kontextfenster. Der globale Pfad und der EU-Pfad nutzen dieselbe Modellklasse; der Unterschied liegt in der Verarbeitungsregion, nicht in der Fähigkeit. - Die Massenverarbeitungs-Spur (
isms-mini) nutzt Mistral Small, ein kleineres Modell, für hochvolumige Aufgaben, die keine tiefgehende Analyse erfordern: Formatierung, Extraktion, Klassifizierung, JSON-Normalisierung.
Die genauen Anbieter können sich ändern. Die Aliasse stellen den stabilen Vertrag für Ihre Integration dar, und eine Änderung des Modells hinter einem Alias folgt den Upgrade-Bedingungen.
Wie Wissen zum Modell gelangt
Die API ist kein feinabgestimmtes Modell, und das Compliance-Wissen steckt nicht in den Gewichten. Der Mechanismus ist die Injektion zur Laufzeit:
- Ihre Anfrage trifft als normale OpenAI-kompatible Chat-Completion ein.
- Der Server erkennt benannte Frameworks in Ihren Nachrichten (Modus
auto) oder verwendet die exakten Module, die Sie mitismscopilot: { "frameworks": [...] }angeben. - Das kuratierte Referenzmodul für jedes ausgewählte Framework wird zusammen mit dem veröffentlichten Server-Prompt und der Reference Integrity Policy in den Prompt eingebunden.
- Die Antwort zeigt Ihnen, was ausgeführt wurde: Der Header
x-isms-frameworksund dasismscopilot-Antwortobjekt listen jedes eingebundene Modul mit einem beschrifteten Token-Schätzwert auf.
Dies ist Absicht. Wissen in den Gewichten kann nicht auditiert, datiert oder pro Antwort korrigiert werden. Wissen im Prompt schon: Jedes Modul trägt einen Verifizierungsstempel, der Katalog ist abfragbar, und die eingebundenen Bytes werden Ihnen als gewöhnliche Eingabetokens in Rechnung gestellt, die Sie in usage.prompt_tokens einsehen können.
Grounding ist nicht unfehlbar. Die Wissenseinbindung liefert die Antwort, wenn ein Modul ausgewählt ist. Es handelt sich dabei nicht um die Behauptung, dass Halluzinationen unmöglich sind, und es ist keine Audit-Meinung.
## Die vorliegenden Nachweise
Jede interne Qualitätsaussage, die wir treffen, wird durch eine datierte und methodisch dokumentierte Bewertung untermauert. Dabei handelt es sich um unsere eigenen internen Evaluierungen mit den tatsächlich verwendeten Stichprobenumfängen; lesen Sie die Hinweise als Teil der Ergebnisse.
### Modellauswahl: GLM 5.2 vs. Mistral Small (2026-07-03)
Die duale Evaluierung, die GLM 5.2 für die Standardstufe auswählte. Drei Compliance-Aufgaben (ISO 27001-Lückenanalyse, SOC 2-Mapping von Anbieter-Vorfällen, eine DPIA nach DSGVO), vier Arme, jeweils drei Stichproben: 36 Generierungen, blind bewertet von einem Frontier-Modell anhand eines fünfstufigen 0- bis 2-Punkte-Bewertungsschemas. Beide Modellarme liefen mit Wissenseinspeisung.
| Arm | Bewertung | Median-Latenz |
| --- | --- | --- |
| GLM 5.2, fast | 87,8 | 0,8 s |
| GLM 5.2, thinking | 90,0 | 1,0 s |
| Mistral Small, fast | 73,3 | 10,4 s |
| Mistral Small, thinking | 74,4 | 23,7 s |
Hinweise, wie im Bericht dokumentiert: Ein-Tages-Lauf, N=9 pro Arm; Unterschiede pro Aufgabe nicht als signifikant werten; die Latenz wurde unter Evaluierungsbedingungen gemessen, nicht im Produktivbetrieb, und wird nicht öffentlich zitiert.
### Zitierfallen (2026-08-17)
Fünf Prompt-Fallen, die darauf abzielen, selbstsichere Erfindungen von Compliance-Fakten zu erkennen: Ausschlussspezifizierung, Forschungs- und Entwicklungsbereich, Schlüsselpersonenabhängigkeit, Protokollierung der Protokollierung und eine harmlose Umbenennung, die keine Auslöser auslösen sollte. GLM 5.2 (thinking) bestand 5 von 5. Mistral Small bestand 4 von 5 und scheiterte an der Protokollierungsfalle. Dies ist die zuverlässige Wiederholung; ein früherer Bewertungsversuch mit einem weniger präzisen Bewerter wurde in unseren Design-Dokumenten als nicht entscheidend markiert und zählt nicht als Nachweis.
### Gate für feindselige Prompts (2026-08-17)
Dieselben GLM 5.2-Gewichte dienen unserem Produkt heyGRC Review, dessen Launch-Gate feindselige Prompts und Injektionsresistenz umfasst. GLM bestand das vollständige Gate zweimal hintereinander (Core, feindselig, Baseline, harmlos, Grounding: alles grün). Mistral Small hatte zuvor das feindselige Gate nicht bestanden. Bestätigend, aber nicht unabhängig: gleiche Gewichte, unterschiedliche Produkt-Harness.
### Server-Prompt-Disziplin (2026-08-02)
Der veröffentlichte Server-Prompt wurde erst nach einem vorregistrierten Gate ausgeliefert: Regeln wurden vor dem Lauf eingefroren, dann 848 Aufrufe über die Aliase hinweg. Finaler Lauf: 20/20 korrekte Baseline-Fixtures (keine Regression durch Injektion), 16/16 korrekte Identitätszuordnung, 24/24 korrekte Ablehnung der Abfrage nach geistigem Eigentum. Der erste Lauf scheiterte an einer Regel, und der Prompt wurde iteriert, nicht die Regeln; das Scheitern ist in der Ergebnisdatei dokumentiert.
### Deterministische Erkennung (2026-06-05)
Die Framework-Erkennung im Modus `auto` ist eine deterministische, getestete Funktion und kein Modellaufruf. Ihr Evaluierungsgate erreicht eine Präzision/Abdeckung von über 98 % im Fixture-Set und läuft in der CI bei jeder Änderung.
## Überprüfungen, die Sie selbst durchführen können
Sie müssen dieser Seite nicht vertrauen. Alles, was hier beschrieben wird, lässt sich mit einem einzigen API-Aufruf überprüfen:
- `GET /v1/frameworks` listet den aktuellen Katalog auf (101 Module beobachtet am 2026-08-26; der Live-Endpunkt ist maßgeblich, nicht diese Zahl).
- `GET /v1/frameworks/changelog` zeichnet Registrierungsänderungen, Korrekturen und Verifizierungsaktualisierungen mit Datum auf.
- Der [System-Prompt ist wortwörtlich veröffentlicht](/docs/api/system-prompt), und `x-isms-policy-version` benennt die Version, die für jede Anfrage verwendet wurde.
- `x-isms-frameworks` gibt an, was bei Ihrer eigenen Anfrage eingespeist wurde – jedes Mal.
- Die Zero-Data-Retention-Haltung ist in [Zero Data Retention](/docs/api/zero-data-retention) dokumentiert.Was wir nicht behaupten
- Wir behaupten nicht, dass unsere Qualität über Claude oder ein anderes Frontier-Modell hinausgeht. Es gibt noch keine dokumentierten Head-to-Head-Evaluationen gegen die reinen Frontier-APIs. Ein modusbewusster Benchmark (unsere Aliase im Vergleich zu Frontier-Modellen, bei dem sowohl Verluste als auch Siege veröffentlicht werden) ist in Planung; bis dahin wird nirgendwo in unseren Unterlagen eine solche Behauptung aufgestellt.
- Wir behaupten nicht, dass das Wissen dem Text des Standards entspricht. Die Module sind von uns kuratierte Referenzen; die urheberrechtlich geschützten Standards selbst müssen von Ihnen lizenziert werden, falls Sie den Originaltext benötigen.
- Wir behaupten nicht, dass die Erkennung erschöpfend ist. Im Modus
autoerfolgt die Erkennung auf Namensbasis: Eine reine Kontrollnummer ohne Framework-Name kann nichts injizieren. Geben Sie das Framework an, wenn Sie es kennen. - Wir veröffentlichen keine Latenzwerte. Evaluierungsbedingte Messungen sind keine Produktionsmessungen.
- Hier handelt es sich um keine Prüfungsmeinung oder Rechtsberatung.
Was bleibt Ihnen zur Wahl
Für Compliance-Arbeiten liegt der Fall klar: ein starkes Open-Weights-Modell, das bei Bedarf in einer gepflegten und verifizierbaren Referenz verankert wird, mit einer pro Antwort nachvollziehbaren Angabe, was injiziert wurde, und zu einem Preis, der für agentenbasierte Durchsätze ausgelegt ist. Für Frontier-Hard-Reasoning, multimodale Eingaben oder Tool-calling-Agenten kann eine Frontier-API nach wie vor das richtige Werkzeug sein – und nichts hier verbietet eine hybride Architektur, die beide nutzt. Siehe Modelle und Regionen für die Alias-Tabelle und Framework-Wissen für die Injektionsmechanismen.