Jakość modelu i jego zakotwiczenie

Ta strona odpowiada na pytanie, które powinien zadać inżynier ds. zgodności przed skierowaniem agenta do dowolnego modelu API: dlaczego ten model powinien dobrze wykonywać swoje zadanie? Dokumentuje, co kryje się za aliasami, w jaki sposób wiedza o ramach referencyjnych dociera do modelu, oceny stojące za wyborem modeli oraz ograniczenia każdego stwierdzenia zawartego w niniejszym dokumencie.

Paleta modeli

API obsługuje niewielki zestaw aliasów. Za nimi stoją:

• Standardowa warstwa (isms-fast, isms-thinking oraz ich warianty -eu) korzysta z modelu GLM 5.2, solidnego modelu o otwartych wagach, z oknem kontekstowym o wielkości 1 miliona tokenów. Ścieżka globalna i ścieżka UE korzystają z tej samej klasy modeli; różnica polega jedynie na regionie przetwarzania, a nie na możliwościach.
• Wąska ścieżka (isms-mini) korzysta z modelu Mistral Small, mniejszego modelu, do prac o dużym wolumenie, które nie wymagają dogłębnej analizy: formatowania, ekstrakcji, klasyfikacji, normalizacji JSON.

Dokładni dostawcy modeli mogą ulec zmianie. Aliasy stanowią stabilny kontrakt dla integracji, a zmiana modelu za aliasem odbywa się zgodnie z warunkami dotyczącymi aktualizacji.

Jak wiedza dociera do modelu

API nie jest model fine-tunowany, a wiedza dotycząca zgodności nie jest zapisana w wagach. Mechanizm polega na wstrzykiwaniu w czasie inferencji:

1. Twoje żądanie dociera jako standardowe dokończenie czatu zgodne z OpenAI.
2. Serwer wykrywa nazwy frameworków w Twoich wiadomościach (tryb auto) lub pobiera dokładne moduły, które określasz za pomocą ismscopilot: { "frameworks": [...] }.
3. Zweryfikowany moduł referencyjny dla każdego wybranego frameworku jest dołączany do promptu wraz z opublikowanym promptem serwera oraz zasadą Integralności Odniesień.
4. Odpowiedź informuje Cię, co zostało uruchomione: nagłówek x-isms-frameworks oraz obiekt odpowiedzi ismscopilot wymieniają każdy wstrzyknięty moduł wraz z oszacowaniem liczby tokenów.

To podejście jest celowe. Wiedza zapisana w wagach nie może być audytowana, datowana ani korygowana dla każdej odpowiedzi. Wiedza w promcie może: każdy moduł zawiera pieczęć weryfikacji, katalog jest możliwy do zapytania, a wstrzyknięte bajty są rozliczane jako zwykłe tokeny wejściowe, które możesz zobaczyć w usage.prompt_tokens.

## Dowody w pliku

Każde wewnętrzne twierdzenie dotyczące jakości opiera się na datowanej i udokumentowanej metodzie oceny. Są to nasze własne oceny, przeprowadzone z rzeczywistymi wielkościami próbek; zapoznaj się z zastrzeżeniami jako częścią wyników.

### Dobór modelu: GLM 5.2 vs Mistral Small (2026-07-03)

Ocena w trybie dualnym, która wyłoniła GLM 5.2 dla standardowego poziomu. Trzy zadania zgodnościowe (analiza luk ISO 27001, mapowanie incydentów dostawców SOC 2, ocena DPIA RODO), cztery warianty, trzy próbki każdy: 36 generacji, ocenianych metodą zaślepionej oceny przez model frontowy według pięciopunktowej skali 0–2. Oba warianty modeli działały z wstrzyknięciem wiedzy.

| Wariant | Wynik | Mediana opóźnienia |
| --- | --- | --- |
| GLM 5.2, fast | 87,8 | 0,8 s |
| GLM 5.2, thinking | 90,0 | 1,0 s |
| Mistral Small, fast | 73,3 | 10,4 s |
| Mistral Small, thinking | 74,4 | 23,7 s |

Zastrzeżenia zapisane w raporcie: jednodniowe uruchomienie, N=9 na wariant; nie należy traktować różnic w wynikach zadaniowych jako istotnych; opóźnienie mierzono w warunkach oceny, nie produkcyjnych, i nie podajemy go publicznie.

### Pułapki cytowania (2026-08-17)

Pięć pułapek w formie promptów zaprojektowanych, aby wykryć pewne wymyślanie faktów dotyczących zgodności: zakres wyłączeń, zakres badań i rozwoju, zależność od kluczowych osób, retencja logów oraz nieszkodliwa zmiana nazwy, która nie powinna wywołać żadnej reakcji. GLM 5.2 (thinking) przeszedł 5 z 5. Mistral Small przeszedł 4 z 5, nie zaliczył pułapki retencji logów. Jest to wierna powtórka; wcześniejsza próba oceny z mniej precyzyjnym systemem oceniania została oznaczona w naszych dokumentach projektowych jako niedecydująca i nie jest uznawana za dowód.

### Bramki promptów wrogich (2026-08-17)

Te same wagi GLM 5.2 służą naszemu produktowi heyGRC review, którego uruchomienie obejmuje zestawy testów odporności na wrogie i iniekcyjne prompty. GLM przeszedł pełny zestaw dwukrotnie z rzędu (core, hostile, baseline, benign, grounding: wszystkie zielone). Mistral Small wcześniej nie zaliczył zestawu wrogiego. Potwierdzające, ale nie niezależne: te same wagi, inny system testowy produktu.

### Dyskryplina promptów serwera (2026-08-02)

Opublikowany prompt serwera został wdrożony dopiero po zarejestrowanej bramce: reguły zamrożono przed uruchomieniem, następnie 848 wywołań przez aliasy. Ostateczne uruchomienie: 20/20 poprawności na bazowych testach poprawnościowych (brak regresji w przypadku iniekcji), 16/16 poprawnych atrybucji tożsamości, 24/24 odmówienia ujawniania własności intelektualnej. Pierwsze uruchomienie nie powiodło się w jednym regule, a prompt został zaktualizowany, nie reguły; niepowodzenie zapisano w pliku wyników.

### Determinizm wykrywania (2026-06-05)

Wykrywanie struktury w trybie `auto` to deterministyczna, testowana funkcja, nie wywołanie modelu. Bramka oceny osiąga >98% precyzji/pokrycia na zestawie testowym i jest uruchamiana w CI przy każdej zmianie.

## Weryfikacja, którą możesz sprawdzić

Nie musisz ufać tej stronie. Wszystko, co opisano, można zweryfikować za pomocą pojedynczego wywołania API:

- `GET /v1/frameworks` zwraca aktualny katalog (101 modułów zaobserwowanych 2026-08-26; rzeczywisty endpoint jest autorytatywny, nie ta liczba).
- `GET /v1/frameworks/changelog` rejestruje datowane dodania, poprawki i odświeżenia weryfikacji w rejestrze.
- [System prompt jest opublikowany dosłownie](/docs/api/system-prompt), a `x-isms-policy-version` określa wersję, która obsłużyła każde żądanie.
- `x-isms-frameworks` informuje Cię, co zostało wstrzyknięte do Twojego żądania, za każdym razem.
- Zasada zerowego przechowywania danych jest udokumentowana w [Zero Data Retention](/docs/api/zero-data-retention).

Czego nie twierdzimy

• Nie twierdzimy, że oferujemy jakość lepszą niż modeli Claude lub innych czołowych modeli. Na chwilę obecną nie istnieją żadne udokumentowane wyniki bezpośrednich porównań z surowymi interfejsami czołowych modeli. Projektujemy benchmark uwzględniający tryby (porównanie naszych aliasów z surowymi modelami czołowych, publikując zarówno straty, jak i zwycięstwa); do czasu jego uruchomienia nie ma takich porównań w żadnym z naszych materiałów.
• Nie twierdzimy, że wiedza zawarta w modelu jest tekstem normy. Moduły to kuratorowane przez nas odniesienia; same chronione prawem teksty norm musisz uzyskać na licencji, jeśli potrzebujesz źródła.
• Nie twierdzimy, że wykrywanie jest wyczerpujące. W trybie auto wykrywanie odbywa się na poziomie nazw: sam numer kontroli bez wskazania ramy prawnej nie wstrzyknie niczego. Określ ramę, gdy ją znasz.
• Nie podajemy publicznie liczb dotyczących opóźnień. Pomiary wydajnościowe nie są pomiarami produkcyjnymi.
• Nic tu nie stanowi opinii audytorskiej ani porady prawnej.

Co to oznacza dla wyboru

W przypadku pracy związanej z zgodnością, najlepszym rozwiązaniem jest mocny model o otwartych wagach, uziemiony na żądanie w utrzymywanym i weryfikowalnym źródle, z ujawnieniem na poziomie każdej odpowiedzi, co zostało wstrzyknięte, w cenie dostosowanej do przepustowości na poziomie agenta. W przypadku wymagającej wielomodalności, wejścia multimodalnych lub agentów z narzędziami, interfejs czołowego modelu może nadal być właściwym narzędziem, a niniejszy dokument nie zabrania architektury hybrydowej łączącej oba rozwiązania. Zobacz Modele i regiony, aby zapoznać się z tabelą aliasów, oraz Wiedza o ramach, aby poznać mechanizmy wstrzykiwania.