Benchmark: Claude Code z i bez ISMS Copilot
Jak zmierzyliśmy pracę Claude Code samodzielnie w porównaniu z Claude Code delegującym pytania GRC do ISMS Copilot: metoda, klucz odpowiedzi, ocena, wyniki, przypadki, w których delegacja nie pomaga, oraz zastrzeżenia.
Oto przetłumaczony fragment:
Zmierzyliśmy jedno pytanie: ile kosztuje poprawna odpowiedź w zużyciu Claude, gdy wykonujesz prace GRC w Claude Code, jeśli Claude Code samodzielnie przeprowadza badania, a ile kosztuje, gdy Claude Code przekazuje pytanie do ISMS Copilot przez MCP? Ta strona przedstawia metodologię, wszystkie kluczowe liczby, przypadek, w którym delegacja nie pomogła, ograniczenia testu oraz to, co wyniki potwierdzają, a czego nie.
Co to potwierdza
W testowanych przypadkach, delegowanie przez Claude Code do ISMS Copilot zapewniło taką samą dokładność jak samodzielne badania Claude Code z wyszukiwaniem internetowym: zarejestrowany wcześniej werdykt dokładności wskazywał remis w każdym scenariuszu. Zużyto mniej środków z API Claude na wyszukiwania i szybkie porady, a mniej więcej tyle samo na długą sesję łączącą kodowanie i zgodność. Testowane ramy na dzień 2026-09-28 to ISO/IEC 27001:2022 Załącznik A, ISO/IEC 42001:2023 Załącznik A, CMMC 2.0 Poziom 2, DORA RTS (UE) 2024/1774 i NIS2 IR (UE) 2024/2690, i tylko te. W rundzie z 2026-09-29 dodano 10 wcześniej niewykorzystanych elementów z NIST SP 800-171 Rev. 2 oraz Cyber Resilience Act. Delegowane tury są liczone w ramach Twojego planu ISMS Copilot, co nie jest uwzględnione w liczbach dolarowych. Przeczytaj poniższe ograniczenia przed poleganiem na tych liczbach.
Ograniczenia tego testu
Przeczytaj to przed wykorzystaniem wyników
Te cztery ograniczenia dotyczą każdego wyniku na tej stronie, w tym rundy z 2026-09-29.
- Dokładność jest na poziomie maksymalnym. W wersji v3 oba ustawienia osiągnęły 100% w scenariuszach wyszukiwania, długiej sesji i szybkiej porady, a w rundzie z 2026-09-29 (która nie powtórzyła długiej sesji) oba osiągnęły 100% w wyszukiwaniach i szybkich poradach. Przy tych elementach i zarejestrowanej wcześniej zasadzie, test mógł wykryć różnicę w dokładności wynoszącą 10 punktów procentowych lub więcej. "Dopasowanie" na tej stronie oznacza, że nie znaleziono różnicy tej wielkości, a nie że oba ustawienia są udowodnione jako równie dokładne.
- Oba zestawy nie otrzymały tych samych instrukcji. W wersji v3, podczas weryfikacji wyłączonej oraz pierwszej rundy z 2026-09-29, Claude Code samodzielnie nie miał pliku instrukcji. Zestaw delegujący miał regułę routingu jako swój plik
CLAUDE.md, a ta reguła nakazywała mu nie ponawiać sprawdzania odpowiedzi potwierdzonych przez ISMS Copilot, więc część różnicy w kosztach mogła wynikać z tej instrukcji, a nie z delegacji. Kontrola została przeprowadzona 2026-09-29: Claude Code samodzielnie, poinstruowany, aby weryfikować w sieci tylko to, co jest niepewne, zużył mniej więcej tyle samo tokenów Claude na poprawną odpowiedź, co bez instrukcji dotyczącej wyszukiwań i szybkich porad, a zestaw delegujący nadal zużywał mniej tokenów Claude na poprawną odpowiedź niż on w każdym scenariuszu (od 1.6 do 3.2 razy mniej). Zobacz sekcję „Runda z 2026-09-29 (kontrolna)” poniżej. Kontrola testowała jedną instrukcję oszczędnościową, napisaną przez nas; lepsza mogłaby zmniejszyć różnicę. - Jedno konto, z jego pamięciami i, od 2026-09-29, jego profilem firmowym. Każda delegowana tura była uruchamiana na jednym koncie ISMS Copilot, naszym (założyciela), na płatnym planie i z jego pamięciami konta. Od 2026-09-29 ISMS Copilot dodaje profil firmowy jako kontekst do tur MCP dla kont, które go posiadają, a to konto go ma, więc runda z 2026-09-29 go uwzględnia. Rundy z 2026-09-28 nie. Wyniki na koncie z innym planem, innymi pamięciami lub bez profilu mogą się różnić.
- Klucz odpowiedzi został napisany przez model AI. Klucz napisał model Claude na podstawie oficjalnych źródeł wymienionych poniżej. Elementy DORA RTS i NIS2 IR zostały wyrywkowo sprawdzone z oficjalnym tekstem. Trwa przegląd klucza przez eksperta ludzkiego, a jego wynik zostanie dodany tutaj wraz z datą.
Konfiguracja
Pełna metoda (projekt, klucz odpowiedzi i oceniający) jest wewnętrzna i dostępna na żądanie: napisz na adres support@ismscopilot.com.
| Element | Wartość |
|---|---|
| Daty | v2, v3 oraz weryfikacja wyłączona z 2026-09-28 (UTC); dwie późniejsze rundy z 2026-09-29 (UTC), opisane poniżej |
| Orkiestrator | Claude Code 2.1.283, bez interfejsu graficznego, nowa pusta konfiguracja i folder roboczy dla każdego uruchomienia |
| Model | claude-sonnet-5 w obu ustawieniach, przypięty. Wyszukiwanie internetowe i pobieranie stron uruchamiają podwywołania Claude Haiku 4.5, a ich koszt jest uwzględniony. |
| Uruchomienia | N=3 na scenariusz na ustawienie, uruchamiane jako sparowane pary (oba ustawienia rozpoczynają ten sam scenariusz w tym samym czasie) |
| Zużycie Claude | Klucz API Claude, ceny katalogowe, raportowane przez Claude Code dla każdego uruchomienia |
| ISMS Copilot | Produkcyjne konto MCP, na jednym koncie ISMS Copilot (naszym, na płatnym planie) |
Oba ustawienia otrzymują identyczne zadania, a w zadaniach nigdy nie wspomina się o ISMS Copilot:
| Claude Code samodzielnie | Claude Code + ISMS Copilot | |
|---|---|---|
| Narzędzia | Read, Glob, Grep, Write, Edit, WebSearch, WebFetch | Te same, plus narzędzia konwersacji ISMS Copilot (create_conversation, send_message, get_reply) |
| Instrukcje | Brak | Opublikowana reguła routingu Claude Code z Deleguj prace GRC z twojego agenta (2026-09-28), jako projekt CLAUDE.md |
Oba ustawienia mają wyszukiwanie internetowe i pobieranie, ponieważ prawdziwy użytkownik je posiada. Reguła routingu decyduje, co zostanie delegowane. Pozostałe narzędzia konta (kontekst firmowy, przestrzenie robocze, pamięci, dokumenty) nie były dozwolone. Pamięci konta po stronie serwera ISMS Copilot mogły nadal kształtować jego odpowiedzi, a od 2026-09-29 tak samo mógł to robić profil firmowy konta, który ISMS Copilot dodaje po swojej stronie (zobacz Ograniczenia tego testu).
Scenariusze
- S1, wyszukiwania. 20 tematów wymagań, a zadaniem jest podanie dokładnego identyfikatora dla każdego: 4 artykuły DORA RTS, 4 punkty załącznika NIS2 IR, 4 kontrolki Załącznika A ISO/IEC 42001:2023, 4 praktyki CMMC Poziom 2 i 4 kontrolki Załącznika A ISO/IEC 27001:2022. Odpowiedzią jest plik JSON.
- S3, długa sesja. Jedna sesja Claude Code z 8 promptami na małym repozytorium Python: 4 edycje kodu (sprawdzane przez ukryte testy) przeplatane 4 pytaniami GRC z kluczowymi odpowiedziami. Odpowiedzi GRC są oceniane; wyniki sprawdzeń kodu są raportowane oddzielnie.
- S4, szybka porada. 5 pytań tak lub nie, każde z identyfikatorem decydującym i jednozdaniowym uzasadnieniem. Poprawne tylko wtedy, gdy zarówno tak/nie, jak i identyfikator się zgadzają.
- Wcześniej niewykorzystane. 20 nowych elementów z DORA RTS i NIS2 IR, w formacie S1, które nigdy wcześniej nie znalazły się w kluczu odpowiedzi (zobacz "Historia" poniżej).
Wszystkie przykłady są fikcyjne. Nie użyto żadnych danych klientów.
Jak zbudowano klucz odpowiedzi
Każdy element z kluczem ma kanoniczny identyfikator, wymaganie w jednym zdaniu, cytat i odniesienie do źródła. Klucz został zbudowany wyłącznie na podstawie oficjalnych źródeł i nigdy nie korzystał z ISMS Copilot, ponieważ byłoby to błędne koło:
- DORA RTS (UE) 2024/1774 i NIS2 IR (UE) 2024/2690: oficjalny tekst z Urzędu Publikacji UE (CELEX 32024R1774 i 32024R2690), cytowany według adresów EUR-Lex.
- CMMC 2.0 Poziom 2: Przewodnik oceny DoD CMMC Poziom 2, z publikacją NIST, z której pochodzą numery praktyk.
- ISO/IEC 27001:2022 i ISO/IEC 42001:2023 Załącznik A: elementy ISO/IEC 27001 i 42001 wykorzystują identyfikatory kontroli, opisane naszymi własnymi słowami.
Klucz został zamrożony przed pierwszym uruchomieniem, a każde uruchomienie zapisuje jego skrót. Nie zmieniał się podczas testu porównawczego.
Punktacja
Punktacja jest mechaniczna: żaden model nie ocenia żadnej odpowiedzi. Skrypt odczytuje pole identyfikatora każdej odpowiedzi i normalizuje je według rodzaju, a następnie porównuje z kluczem:
- DORA RTS: "Article 7", "Art. 7(4)" i "Article 7(4) of ..." wszystkie liczą się jako Article 7.
- NIS2 IR: odpowiedź musi być rzeczywistym punktem załącznika i musi znajdować się na wcześniej zarejestrowanej liście akceptacji elementu (punkt operacyjny i jego nagłówek). Punkt siostrzany jest błędny.
- ISO/IEC 27001:2022 i ISO/IEC 42001:2023: numer Załącznika A musi dokładnie pasować. Numeracja z 2013 roku lub odniesienie do Załącznika B dla 42001 jest błędne.
- CMMC Poziom 2: numer praktyki musi pasować ("SC.L2-3.13.11" i "3.13.11" oba się liczą).
Brak pliku, nieprawidłowy JSON lub nieczytelny identyfikator liczy się jako błąd. Uruchomienia, które osiągnęły limit, zostałyby ocenione tak, jak były, i nigdy nie byłyby powtarzane.
Metryka
Podstawową metryką jest dolary API Claude na poprawną odpowiedź: koszt Claude z 3 uruchomień scenariusza podzielony przez poprawne odpowiedzi w tych 3 uruchomieniach. Jest to cena katalogowa raportowana przez Claude Code, którą abonent Claude płaci za dodatkowe zużycie poza planem. Obejmuje ona podwywołania wyszukiwania internetowego i opłaty za wyszukiwanie.
Zużycie planu ISMS Copilot nie jest uwzględnione w tej liczbie i nie jest darmowe. Delegowane tury są liczone w ramach Twojego planu ISMS Copilot (zobacz Gdzie rozliczane jest zużycie ISMS Copilot). Pominięcie tego faworyzuje ustawienie delegujące w tej metryce.
Dokładność, tokeny orkiestratora, tury i czas są raportowane obok. Tokeny i dolary się różnią: powtarzany kontekst odczytywany z pamięci podręcznej promptu jest rozliczany według ułamka ceny wejścia, więc ustawienie może używać więcej tokenów, a mimo to kosztować mniej dolarów.
Preregistracja i zalogowana poprawka
Projekt, klucz odpowiedzi, punktator i zasady wygranej zostały zatwierdzone przed jakimkolwiek uruchomieniem, z zobowiązaniem do opublikowania wyników bez względu na to, co pokażą. Zarejestrowane wcześniej zasady wygranej: dokładność wygrywa przy 10 punktach procentowych lub więcej, dolary na poprawną odpowiedź przy 1.25 raza lub więcej; wszystko bliższe to remis. Ponowne uruchomienie v3 i sprawdzenie wcześniej niewykorzystanych elementów zostały każde zarejestrowane w ten sam sposób przed pierwszym uruchomieniem.
Jedna poprawka została wprowadzona podczas pierwszego uruchomienia (v2). Limit na uruchomienie wynoszący 2 miliony tokenów orkiestratora, mający na celu ochronę przed ucieczką, zatrzymał test porównawczy po pierwszej parze, gdy Claude Code samodzielnie zakończył normalnie uruchomienie wyszukiwania przy 2.38 miliona tokenów (wszystkie 20 poprawne). Limit został podniesiony do 6 milionów dla obu ustawień, zmiana została zalogowana z czasem, a nic nie zostało powtórzone. Zmiana została wprowadzona po zobaczeniu pierwszego wyniku. Bez niej żaden scenariusz nie miałby werdyktu. Limity dolarowe i ogólny pułap wydatków nie uległy zmianie.
Historia: v2, poprawka, v3 i sprawdzian kontrolny
v2 wykryła lukę w wiedzy. W pierwszym sprawiedliwym teście ISMS Copilot dorównał samodzielnemu Claude Code we wszystkich punktach ISO/IEC 27001, ISO/IEC 42001 i CMMC, ale pominął większość numerów artykułów DORA RTS oraz punktów załącznika NIS2 IR. Jego odpowiedzi oznaczały te identyfikatory jako niepotwierdzone.
| Dokładność v2 | Tylko Claude Code | Claude Code + ISMS Copilot |
|---|---|---|
| Wyszukiwania S1 | 60/60 | 37/60 |
| Długa sesja S3 | 12/12 | 9/12 |
| Szybka porada S4 | 15/15 | 9/15 |
Poprawka. Do ISMS Copilot dodaliśmy wiedzę na temat DORA RTS i NIS2 IR na poziomie artykułów i punktów załącznika, zbudowaną na podstawie oficjalnych tekstów UE, oraz dodaliśmy linię do reguły routingu: weryfikuj każdą odpowiedź, którą ISMS Copilot oznacza jako niepotwierdzoną. Następnie powtórzyliśmy te same scenariusze z tym samym kluczem i oceniającym.
v3 (ten sam klucz, ten sam oceniający, oba zestawy powtórzone):
| Scenariusz | Zestaw | Poprawne | Dokładność | Koszt Claude (3 uruchomienia) | Koszt Claude za poprawną odpowiedź | Mediana tokenów orkiestratora na uruchomienie |
|---|---|---|---|---|---|---|
| Wyszukiwania S1 | Samodzielnie | 60/60 | 100% | 6.92 | 0.115 | 3,194,935 |
| Wyszukiwania S1 | + ISMS Copilot | 60/60 | 100% | 3.18 | 0.053 | 1,337,252 |
| Długa sesja S3 | Samodzielnie | 12/12 | 100% | 1.65 | 0.138 | 1,537,697 |
| Długa sesja S3 | + ISMS Copilot | 12/12 | 100% | 1.75 | 0.146 | 1,742,489 |
| Szybka porada S4 | Samodzielnie | 15/15 | 100% | 0.89 | 0.059 | 501,237 |
| Szybka porada S4 | + ISMS Copilot | 15/15 | 100% | 0.39 | 0.026 | 255,659 |
Werdykty zarejestrowane wcześniej: dokładność jest remisem we wszystkich trzech scenariuszach. Koszt za poprawną odpowiedź faworyzuje zestaw delegujący w S1 i S4, a S3 jest remisem. W S3 każda weryfikacja kodu przeszła w obu zestawach.
Zysk pochodził z odpowiedzi samego ISMS Copilot. Diagnostyka dodana po uruchomieniach (bez dołączonego werdyktu) wykazała, że jego odpowiedzi zawierały właściwy identyfikator DORA RTS i NIS2 IR w 24 z 24 elementów S1 przed jakimkolwiek sprawdzeniem w sieci przez Claude Code. Żadna odpowiedź v3 nie oznaczała identyfikatora jako niepotwierdzonego, więc nowa linia weryfikacji nie została wykorzystana. Claude Code nadal dwukrotnie sprawdzał w sieci w S1 i S3 bez pytania, co nie zmieniło żadnej odpowiedzi i podniosło koszt zestawu delegującego.
Sprawdzian kontrolny (20 nowych elementów). Ponieważ poprawka wiedzy była dostosowana do braków v2, sprawdziliśmy, czy nie doszło do dopasowania do testu: 10 artykułów DORA RTS i 10 punktów załącznika NIS2 IR, których klucz nigdy nie zawierał, zbudowanych w ten sam sposób z oficjalnych tekstów, w formacie S1.
| Sprawdzian kontrolny | Zestaw | Poprawne | Dokładność | Koszt Claude (3 uruchomienia) | Koszt Claude za poprawną odpowiedź | Mediana tokenów orkiestratora na uruchomienie |
|---|---|---|---|---|---|---|
| 20 nowych elementów DORA RTS i NIS2 IR | Samodzielnie | 58/60 | 96.7% | 4.01 | 0.069 | 1,974,985 |
| 20 nowych elementów DORA RTS i NIS2 IR | + ISMS Copilot | 60/60 | 100% | 3.10 | 0.052 | 2,258,506 |
Werdykty zarejestrowane wcześniej: dokładność jest remisem (różnica jest poniżej 10 punktów), a koszt za poprawną odpowiedź faworyzuje zestaw delegujący (1.34 raza). Zestaw delegujący wykorzystał tutaj więcej tokenów, ponieważ Claude Code ponownie sprawdzał odpowiedzi ISMS Copilot w sieci w dwóch z trzech uruchomień. W uruchomieniu, w którym tego nie zrobił, zapisał odpowiedź ISMS Copilot do pliku i uzyskał 20 na 20 za 0.15 USD.
Runda z 2026-09-29
Ograniczona powtórka po wydaniu produkcyjnym, które zaostrzyło regułę routingu Claude Code i zaczęło dodawać profil firmy do tur MCP (tych dwóch zmian nie można rozdzielić w tych liczbach). Ten sam przypięty Claude Code i model, ten sam klucz i oceniający, N=3 na scenariusz na zestaw. Przeprowadzono S1 i S4 oraz 10 nowych elementów kontrolnych (5 NIST SP 800-171 Rev. 2, 5 Cyber Resilience Act), które nigdy nie były w kluczu. S3 nie został powtórzony. Powyższe tabele v3 i kontrolne zachowują swoje oryginalne liczby.
| Data | Scenariusz | Zestaw | Poprawne | Dokładność | Koszt Claude za poprawną odpowiedź |
|---|---|---|---|---|---|
| 2026-09-29 | Wyszukiwania S1 | Samodzielnie | 60/60 | 100% | 0.110 |
| 2026-09-29 | Wyszukiwania S1 | + ISMS Copilot | 60/60 | 100% | 0.026 |
| 2026-09-29 | Szybka porada S4 | Samodzielnie | 15/15 | 100% | 0.064 |
| 2026-09-29 | Szybka porada S4 | + ISMS Copilot | 15/15 | 100% | 0.035 |
| 2026-09-29 | 10 nowych elementów NIST SP 800-171 i CRA | Samodzielnie | 30/30 | 100% | 0.027 |
| 2026-09-29 | 10 nowych elementów NIST SP 800-171 i CRA | + ISMS Copilot | 29/30 | 96.7% | 0.033 |
Werdykty zarejestrowane wcześniej: dokładność jest remisem we wszystkich trzech przypadkach. Koszt za poprawną odpowiedź faworyzuje zestaw delegujący w S1 i S4, a w przypadku nowych elementów jest remisem. Jedyny błąd wynikał z uruchomienia zestawu delegującego, które nigdy nie wywołało ISMS Copilot: lista frameworków w regule routingu nie zawierała wówczas NIST SP 800-171 ani CRA, więc w 2 z 3 uruchomień Claude Code badał te elementy w sieci. Uruchomienie, które delegowało, uzyskało 10 na 10. Reguła została zaktualizowana 2026-09-29, aby uwzględnić oba frameworki. Obowiązują te same ograniczenia: dokładność jest na poziomie maksymalnym, instrukcje różnią się między zestawami, a ta runda zawiera profil firmy konta.
Runda z 2026-09-29 (kontrolna)
Ta runda odpowiada na pytanie, które pozostawia otwarte drugi limit powyżej: czy oszczędności wynikają z delegowania do ISMS Copilot, czy jedynie z reguły routingu, która mówi Claude Code, aby nie sprawdzał ponownie tego, co jest pewne? Dodano kontrolny układ z podobną instrukcją, ale bez delegowania. Projekt, zasady wygranej oraz każdy element zostały zatwierdzone przed pierwszym uruchomieniem, z takim samym zobowiązaniem do opublikowania wyników, niezależnie od tego, co pokażą. Uruchomiono ją po aktualizacji reguły routingu z 2026-09-29, która wymienia NIST SP 800-171 oraz CRA.
| Układ | Co zawiera |
|---|---|
| A, samodzielnie | Wyszukiwanie internetowe i pobieranie stron, brak pliku instrukcji (jak w każdej rundzie powyżej) |
| A2, samodzielnie + instrukcja oszczędności | A, plus 197-słowowa instrukcja: odpowiadaj na podstawie własnej wiedzy, weryfikuj w sieci tylko to, czego nie jesteś pewien, nie sprawdzaj ponownie tego, co jest pewne. Bez delegowania. |
| A0, samodzielnie bez sieci | Brak narzędzi internetowych, brak pliku instrukcji |
| B, + ISMS Copilot | A, plus narzędzia konwersacyjne ISMS Copilot oraz opublikowana reguła routingu |
| B-fast | B, z każdym wywołaniem ISMS Copilot w trybie fast, trybie planu Free |
Ten sam przypięty Claude Code 2.1.283 oraz claude-sonnet-5, ten sam oceniający, N=3 na scenariusz na układ, a pięć układów każdego scenariusza uruchomiono w tym samym czasie. Scenariusze: S1 wyszukiwania (20 elementów), S4 szybkie porady (5 pytań) oraz 16 nowych elementów, które nigdy nie znalazły się w kluczu (6 NIST SP 800-171 Rev. 2, 6 Cyber Resilience Act i 4 DORA RTS), zbudowanych na podstawie oficjalnych tekstów. S3 nie został powtórzony.
Miernikiem jest tutaj tokeny Claude na poprawną odpowiedź: tokeny wejściowe, odczyty z pamięci podręcznej, tworzenie pamięci podręcznej i tokeny wyjściowe we wszystkich modelach (w tym podwywołania wyszukiwania internetowego), zsumowane z 3 uruchomień i podzielone przez liczbę poprawnych odpowiedzi. Jest to przybliżenie tego, jak szybko zużywa się okno subskrypcji Claude, a nie sam licznik: Anthropic nie publikuje, jak tokeny z pamięci podręcznej są liczone w ramach limitów subskrypcji.
| Tokeny Claude na poprawną odpowiedź | A | A2 | A0 | B | B-fast |
|---|---|---|---|---|---|
| S1 wyszukiwania | 120,877 | 122,814 | 40,552 | 37,805 | 24,473 |
| S4 szybkie porady | 100,920 | 102,145 | 29,424 | 42,142 | 55,582 |
| 16 nowych elementów | 57,566 | 37,475 | 33,660 | 23,452 | 13,765 |
| Łącznie (123 oceniane odpowiedzi) | 94,033 | 86,398 | 36,326 | 32,733 | 24,088 |
Z góry ustalone werdykty w stosunku do kontroli (wygrana wymaga 1.25 raza lub więcej): A2 zużyło 3.23 raza więcej tokenów Claude na poprawną odpowiedź niż B w przypadku wyszukiwań, 2.44 raza więcej w przypadku szybkich porad, 1.59 raza więcej w przypadku nowych elementów i 2.64 raza więcej łącznie, więc B wygrywa w każdym scenariuszu. B zużyło również mniej dolarów API Claude na poprawną odpowiedź niż A2 w każdym scenariuszu. Sama instrukcja oszczędności ledwie wpłynęła na Claude Code w przypadku wyszukiwań i szybkich porad (A2 w stosunku do A: 1.02 i 1.01, remisy) i pomogła w przypadku nowych elementów. Oszczędności wynikają z delegowania, a nie z instruowania Claude Code, aby był oszczędny. A0 potrzebuje niewiele tokenów, ponieważ odpowiada z pamięci, i często się myli (zobacz dokładność), więc jego wynik nie jest użyteczny.
Dokładność, łącznie: A 99.2%, A2 98.4%, A0 60.2%, B 100%, B-fast 100%. A, A2, B i B-fast to remisy zgodnie z regułą 10-punktową w każdym scenariuszu; A0 straciło od 20 do 46 punktów w każdym scenariuszu. Uwaga dotycząca pułapu pozostaje aktualna: remisy są remisami zgodnie z regułą, a nie dowodem na równą dokładność.
Wykorzystanie planu ISMS Copilot na poprawną odpowiedź. Zlecone tury wykorzystują 4-godzinne okno planu ISMS Copilot. Tabela przedstawia tokeny ISMS Copilot (wejściowe i wyjściowe) na poprawną odpowiedź jako udział w jednym oknie, przy użyciu limitów planu produkcyjnego z dnia 2026-09-29. Plan Essential jest planem dziedziczonym. Plan Unlimited nie ma limitu tokenów w oknie.
| Okno ISMS Copilot na poprawną odpowiedź | Tokeny ISMS Copilot na poprawną odpowiedź | Free | Essential | Plus | Standard | Pro | Business | Unlimited |
|---|---|---|---|---|---|---|---|---|
| S1 wyszukiwania, B | 3,199 | 0.64% | 0.32% | 0.21% | 0.11% | 0.04% | 0.02% | bez limitu |
| S1 wyszukiwania, B-fast | 9,128 | 1.83% | 0.91% | 0.61% | 0.30% | 0.12% | 0.06% | bez limitu |
| S4 szybkie porady, B | 12,104 | 2.42% | 1.21% | 0.81% | 0.40% | 0.16% | 0.08% | bez limitu |
| S4 szybkie porady, B-fast | 24,005 | 4.80% | 2.40% | 1.60% | 0.80% | 0.32% | 0.16% | bez limitu |
| 16 nowych elementów, B | 3,359 | 0.67% | 0.34% | 0.22% | 0.11% | 0.04% | 0.02% | bez limitu |
| 16 nowych elementów, B-fast | 3,203 | 0.64% | 0.32% | 0.21% | 0.11% | 0.04% | 0.02% | bez limitu |
Plan Free pozwala również na tylko 10 wiadomości na 4-godzinne okno. B wysyłał jedną wiadomość ISMS Copilot na uruchomienie. W trybie fast Claude Code dzielił pracę na maksymalnie 5 wiadomości na uruchomienie, a w przypadku szybkich porad to ograniczenie wiadomości było wiążące jako pierwsze: około 7.3% okna wiadomości Free na poprawną odpowiedź, w porównaniu do 4.8% okna tokenów, więc około 3 dostarczalne szybkie porady o tym kształcie wypełniają okno Free. W pozostałych komórkach okno tokenów wypełnia się tak szybko jak okno wiadomości lub nieco szybciej. B-fast symuluje tylko tryb fast na płatnym koncie.
Zastrzeżenia dotyczące tej rundy: N=3 na scenariusz na układ; jedna wersja orkiestratora i jeden model; jedna instrukcja oszczędności, napisana przez nas, a lepsza mogłaby zmniejszyć różnicę (ta runda pokazuje, że ta rozsądna tego nie robi); każda zdelegowana tura była uruchamiana na naszym własnym (założyciela) płatnym koncie, z jego pamięciami i profilem firmy dodanym do tur MCP; miernik tokenów jest przybliżeniem zużycia subskrypcji; klucz odpowiedzi został napisany przez model AI; dokładność jest na poziomie pułapu.
Kiedy delegacja nie pomaga
Pierwszy przeprowadzony przez nas benchmark testował trzy małe zadania ISO 27001, które Claude już znał: sprawdzenie luk w czterech krótkich fikcyjnych politykach, projekt polityki kontroli dostępu oraz wpisy w Deklaracji Stosowalności dla 10 kontroli. Każde zadanie zapisywało swój produkt do pliku i nie wymagało żadnych wyszukiwań. Żaden zestaw nie miał dostępu do narzędzi internetowych, a odpowiedzi były sprawdzane tylko pod kątem kompletności, a nie poprawności.
| Zadanie (mediana z 3 uruchomień) | Koszt Claude, samodzielnie | Koszt Claude, + ISMS Copilot | Tokeny orkiestratora, samodzielnie | Tokeny orkiestratora, + ISMS Copilot |
|---|---|---|---|---|
| Sprawdzenie luk | 0.163 | 0.266 | 143,053 | 495,530 |
| Polityka kontroli dostępu | 0.105 | 0.218 | 131,748 | 427,071 |
| Wpisy SoA | 0.113 | 0.182 | 133,516 | 349,717 |
Delegacja wykorzystała tutaj 1.6 do 2.1 razy więcej środków Claude. Uruchomienia delegujące wymagały więcej tur (ładowanie narzędzi MCP, oczekiwanie na odpowiedź), Claude Code nadal czytał każdy lokalny plik, a pełny produkt wracał przez Claude Code, który następnie zapisywał go na dysku. Gdy zadanie jest małe, Claude zna już odpowiedź i nic nie wymaga wyszukiwania, pozostaw to w swoim agencie. Zobacz co delegować, a co pozostawić lokalnie.
Zastrzeżenia
- Mała próba. 3 uruchomienia na scenariusz na zestaw, z 2026-09-28, plus dwie rundy o ograniczonym zakresie z 2026-09-29.
- Jeden orkiestrator. Tylko Claude Code. Reguły routingu dla Codex, Cursor, OpenCode i Grok są udokumentowane, ale te orkiestratory nie zostały zmierzone.
- Jeden model.
claude-sonnet-5. Inny model lub późniejsza wersja Claude Code może zachowywać się inaczej. - Jedno konto. Wszystkie delegowane tury były uruchamiane na jednym produkcyjnym koncie ISMS Copilot, w ramach płatnego planu, którego pamięci po stronie serwera, a od 2026-09-29 profil firmy, mogą kształtować odpowiedzi.
- Fikcyjne dane. Wymyślone firmy, polityki i kod.
- Przegląd dokumentów nie był testowany. MCP nie ma ścieżki przesyłania dokumentów. Przegląd 40-stronicowej polityki przeprowadzony w v2 zakończył się remisem, ale Claude Code dokonał przeglądu samodzielnie w obu zestawach, więc nie mówi to nic o tym, czy ISMS Copilot może przeglądać twoje dokumenty.
- Autor klucza. Elementy zostały napisane przez model Claude, z tej samej rodziny co orkiestrator, na podstawie oficjalnych tekstów. Elementy DORA RTS i NIS2 IR zostały sprawdzone punktowo względem oficjalnego tekstu, a elementy kontrolne zostały zweryfikowane przed uruchomieniami. Przegląd klucza przez eksperta ludzkiego jest w toku.
- Co jest publikowane. Ta strona zawiera metodologię i wszystkie kluczowe liczby. Surowych transkrypcji nie udostępniamy: zawierają one identyfikatory produkcyjnych rozmów i dosłowne wyniki modelu. Prompty zadań, klucz odpowiedzi, oceniający i ocenione wyniki są przechowywane w naszym wewnętrznym repozytorium i nie są publikowane wraz z tą stroną.
Co twierdzimy, a czego nie
Twierdzimy:
- W przypadku testowanych elementów w pięciu powyższych frameworkach, Claude Code z ISMS Copilot dorównał dokładności Claude Code badającego samodzielnie z wyszukiwaniem w sieci (remis dokładności w każdym scenariuszu, zgodnie z wcześniej zarejestrowaną regułą).
- W przypadku tych wyszukiwań i pytań o szybką poradę, wydawał mniej środków API Claude za poprawną odpowiedź (około połowy w uruchomieniu v3, około trzech czwartych w sprawdzianie kontrolnym z 2026-09-28), a mniej więcej tyle samo w długiej mieszanej sesji.
Nie twierdzimy:
- Że ISMS Copilot jest tańszy niż Claude lub że zapewnia jakikolwiek procent oszczędności na twoim rachunku.
- Lepszych odpowiedzi niż Claude. Wyniki dokładności są remisami.
- Czegoś na temat frameworków, których nie testowaliśmy, innych orkiestratorów lub modeli, ani przeglądu dokumentów.
- Że delegacja oszczędza wykorzystanie Claude w małych zadaniach, które Claude już zna. Kosztowała więcej w tych przypadkach.
- Że delegowane tury są darmowe. Są liczone w ramach twojego planu ISMS Copilot.
Ponawiamy ten benchmark po zmianach w narzędziach MCP lub wiedzy ISMS Copilot na temat frameworków. Wyniki każdej rundy są dodawane tutaj wraz z datą w ciągu 7 dni, niezależnie od tego, co pokazują. Aby poznać mechanizm stojący za tymi liczbami, zobacz Co delegacja oszczędza (a czego nie).