Benchmark: Claude Code con e senza ISMS Copilot

Abbiamo misurato una domanda: quando svolgi lavoro GRC in Claude Code, quanto costa in termini di utilizzo di Claude una risposta corretta se Claude Code la ricerca da solo, e quanto costa se Claude Code passa la domanda a ISMS Copilot tramite MCP? Questa pagina illustra il metodo, ogni dato principale, il caso in cui la delega non ha aiutato, i limiti del test e cosa i risultati supportano e cosa no.

Cosa supporta questo test

Negli elementi testati, Claude Code che delega a ISMS Copilot ha eguagliato l'accuratezza di Claude Code che ricerca da solo con la ricerca web: il verdetto di accuratezza pre-registrato è stato un pareggio in ogni scenario. Ha speso meno denaro dell'API Claude per risposta corretta nelle ricerche e nei consigli rapidi, e circa lo stesso per una lunga sessione mista di coding e conformità. I framework testati il 2026-09-28 sono ISO/IEC 27001:2022 Annex A, ISO/IEC 42001:2023 Annex A, CMMC 2.0 Level 2, DORA RTS (UE) 2024/1774 e NIS2 IR (UE) 2024/2690, e solo quelli. Il round del 2026-09-29 ha aggiunto 10 elementi tenuti fuori da NIST SP 800-171 Rev. 2 e dal Cyber Resilience Act. I turni delegati contano contro il tuo piano ISMS Copilot, che non è incluso nelle cifre in dollari. Leggi i limiti sotto prima di fare affidamento su questi numeri.

Limiti di questo test

• L'accuratezza è al massimo. Nella versione v3, entrambe le configurazioni hanno ottenuto il 100% negli scenari di ricerca, sessione lunga e consiglio rapido, e nel round del 2026-09-29 (che non ha ripetuto la sessione lunga) entrambe hanno ottenuto il 100% nelle ricerche e nei consigli rapidi. Con questi elementi e la regola pre-registrata, il test poteva rilevare solo un divario di accuratezza di 10 punti percentuali o più. "Eguagliato" in questa pagina significa che non è stata trovata una differenza di tale entità, non che le due configurazioni siano dimostrate ugualmente accurate.
• Le due configurazioni non hanno ricevuto le stesse istruzioni. In v3, il controllo tenuto da parte e il primo round del 2026-09-29, Claude Code da solo non aveva un file di istruzioni. La configurazione con delega aveva la regola di routing come CLAUDE.md, e questa regola indica di non ricontrollare le risposte confermate da ISMS Copilot, quindi parte della differenza di costo potrebbe derivare da questa istruzione piuttosto che dalla delega. Il controllo è stato ora eseguito, il 2026-09-29: Claude Code da solo, istruito a verificare sul web solo ciò di cui non è sicuro, ha utilizzato circa lo stesso numero di token Claude per risposta corretta rispetto a quando non aveva istruzioni su ricerche e consigli rapidi, e la configurazione con delega ha comunque utilizzato meno token Claude per risposta corretta rispetto ad esso in ogni scenario (da 1.6 a 3.2 volte in meno). Vedi la sezione "Round del 2026-09-29 (controllo)" di seguito. Il controllo ha testato una singola istruzione di risparmio, scritta da noi; una migliore potrebbe ridurre il divario.
• Un solo account, con le sue memorie e, dal 2026-09-29, il suo profilo aziendale. Ogni turno delegato è stato eseguito su un solo account ISMS Copilot, il nostro (quello del fondatore), sul suo piano a pagamento e con le sue memorie dell'account. Dal 2026-09-29, ISMS Copilot aggiunge il profilo aziendale come contesto ai turni MCP per gli account che ne hanno uno, e questo account ne ha uno, quindi il round del 2026-09-29 lo include. Le esecuzioni del 2026-09-28 no. I risultati su un account con un piano diverso, memorie diverse o senza profilo potrebbero differire.
• La chiave di risposta è stata scritta da un modello AI. Un modello Claude ha scritto la chiave partendo dalle fonti ufficiali elencate di seguito. Gli elementi DORA RTS e NIS2 IR sono stati verificati a campione rispetto al testo ufficiale. È in attesa una revisione della chiave da parte di un esperto umano, e il suo risultato verrà aggiunto qui con la relativa data.

Configurazione

Il metodo completo (design, chiave di risposta e valutatore) è interno e disponibile su richiesta: scrivi a support@ismscopilot.com.

Le due configurazioni ricevono prompt di attività identici, e i prompt non menzionano mai ISMS Copilot:

Entrambe le configurazioni hanno la ricerca e il recupero web, perché un utente reale li ha. La regola di routing decide cosa viene delegato. Gli altri strumenti dell'account (contesto aziendale, workspace, memorie, documenti) non erano consentiti. Le memorie lato server dell'account ISMS Copilot potrebbero comunque influenzare le sue risposte, e dal 2026-09-29 anche il profilo aziendale dell'account, che ISMS Copilot aggiunge lato server (vedi Limiti di questo test).

Scenari

• S1, ricerche. 20 temi di requisiti, e il compito è fornire l'identificatore esatto per ciascuno: 4 articoli DORA RTS, 4 punti dell'allegato NIS2 IR, 4 controlli Annex A ISO/IEC 42001:2023, 4 pratiche CMMC Level 2 e 4 controlli Annex A ISO/IEC 27001:2022. La risposta è un file JSON.
• S3, sessione lunga. Una sessione Claude Code di 8 prompt su un piccolo repository Python: 4 modifiche al codice (verificate da test nascosti) alternate a 4 domande GRC con risposte chiave. Le risposte GRC vengono valutate; i controlli del codice sono riportati separatamente.
• S4, consiglio rapido. 5 domande sì o no, ciascuna con l'identificatore che la determina e una motivazione di una frase. Corretta solo se sia il sì o no che l'identificatore corrispondono.
• Elementi tenuti fuori. 20 nuovi elementi da DORA RTS e NIS2 IR, nel formato S1, che non erano mai stati nella chiave di risposta prima (vedi "La storia" sotto).

Tutti i dati di test sono fittizi. Non è stato utilizzato alcun dato dei clienti.

Come è stata costruita la chiave di risposta

Ogni elemento con risposta chiave ha l'identificatore canonico, il requisito in una frase, una citazione e una citazione o un riferimento alla fonte. La chiave è stata costruita solo da fonti ufficiali, e mai da ISMS Copilot, perché sarebbe circolare:

• DORA RTS (UE) 2024/1774 e NIS2 IR (UE) 2024/2690: il testo ufficiale dell'Ufficio delle pubblicazioni dell'UE (CELEX 32024R1774 e 32024R2690), citato agli indirizzi EUR-Lex.
• CMMC 2.0 Level 2: la guida di valutazione CMMC Level 2 del DoD, con la pubblicazione NIST da cui provengono i numeri delle pratiche.
• ISO/IEC 27001:2022 e ISO/IEC 42001:2023 Annex A: identificatori dei controlli ISO/IEC 27001 e 42001, descritti con nostre parole.

La chiave è stata congelata prima della prima esecuzione, e ogni esecuzione registra un digest di essa. Non è cambiata durante il benchmark.

Punteggio

La valutazione è meccanica: nessun modello giudica alcuna risposta. Uno script legge il campo identificatore di ogni risposta e lo normalizza per tipo, quindi lo confronta con la chiave:

• DORA RTS: "Article 7", "Art. 7(4)" e "Article 7(4) of ..." contano tutti come Article 7.
• NIS2 IR: la risposta deve essere un punto reale dell'allegato e deve essere nell'elenco di accettazione pre-registrato dell'elemento (il punto operativo e il suo titolo). Un punto fratello è sbagliato.
• ISO/IEC 27001:2022 e ISO/IEC 42001:2023: il numero Annex A deve corrispondere esattamente. La numerazione del 2013, o un riferimento Annex B per 42001, è sbagliato.
• CMMC Level 2: il numero della pratica deve corrispondere ("SC.L2-3.13.11" e "3.13.11" contano entrambi).

Un file mancante, un JSON non valido o un identificatore non analizzabile contano come errore. Le esecuzioni che hanno raggiunto un limite sarebbero state valutate così com'erano, e non sono state rieseguite.

Metrica

La metrica principale è dollari dell'API Claude per risposta corretta: il costo Claude delle 3 esecuzioni di uno scenario diviso per le risposte corrette tra quelle 3 esecuzioni. È il prezzo di listino riportato da Claude Code, che è ciò che un abbonato Claude paga per l'utilizzo extra oltre il piano. Include le sottocall di ricerca web e le tariffe di ricerca.

L'utilizzo del piano ISMS Copilot non è incluso in questa cifra, e non è gratuito. I turni delegati contano contro il tuo piano ISMS Copilot (vedi Dove viene fatturato l'utilizzo di ISMS Copilot). Escluderlo favorisce la configurazione con delega su questa metrica.

Accuratezza, token dell'orchestratore, turni e tempo sono riportati insieme. Token e dollari differiscono: il contesto ripetuto letto dalla cache del prompt viene fatturato a una frazione del prezzo di input, quindi una configurazione può utilizzare più token e costare comunque meno dollari.

Pre-registrazione e la modifica registrata

Il design, la chiave di risposta, il valutatore e le regole di vittoria sono stati fissati prima di qualsiasi esecuzione, con l'impegno di pubblicare i risultati qualunque essi fossero. Le regole di vittoria pre-registrate: l'accuratezza vince con 10 punti percentuali o più, i dollari per risposta corretta con 1.25 volte o più; tutto ciò che è più vicino è un pareggio. La riesecuzione v3 e la verifica degli elementi tenuti fuori sono state pre-registrate allo stesso modo prima della loro prima esecuzione.

Durante la prima esecuzione (v2) è stata apportata una modifica. Un limite di 2 milioni di token dell'orchestratore per esecuzione, pensato come protezione contro esecuzioni incontrollate, ha interrotto il benchmark dopo la prima coppia, quando Claude Code da solo ha completato normalmente un'esecuzione di ricerca a 2.38 milioni di token (tutte e 20 corrette). Il limite è stato alzato a 6 milioni per entrambe le configurazioni, la modifica è stata registrata con il suo orario e nulla è stato rieseguito. È stata apportata dopo aver visto quel primo risultato. Senza di essa, nessuno scenario avrebbe avuto un verdetto. I limiti di spesa in dollari e il tetto di spesa complessivo non sono cambiati.

La storia: v2, la correzione, v3 e il controllo riservato

v2 ha rilevato una lacuna di conoscenza. Nel primo test equo, ISMS Copilot ha eguagliato Claude Code da solo su ogni elemento ISO/IEC 27001, ISO/IEC 42001 e CMMC, ma ha mancato la maggior parte dei numeri degli articoli DORA RTS e dei punti dell'allegato NIS2 IR. Le sue risposte hanno contrassegnato quegli identificatori come non confermati.

La correzione. Abbiamo aggiunto la conoscenza di DORA RTS e NIS2 IR a ISMS Copilot a livello di articolo e punto dell'allegato, costruita a partire dai testi ufficiali UE, e abbiamo aggiunto una riga alla regola di routing: verificare qualsiasi risposta che ISMS Copilot contrassegna come non confermata. Quindi abbiamo rieseguito gli stessi scenari con la stessa chiave e lo stesso valutatore.

v3 (stessa chiave, stesso valutatore, entrambe le configurazioni rieseguite):

Verdetti pre-registrati: la precisione è pari in tutti e tre gli scenari. I dollari per risposta corretta favoriscono la configurazione con delega su S1 e S4, mentre S3 è pari. Su S3 ogni controllo del codice è stato superato in entrambe le configurazioni.

Il miglioramento è derivato dalle risposte di ISMS Copilot. Una diagnosi aggiunta dopo le esecuzioni (senza verdetto allegato) ha rilevato che le sue risposte contenevano l'identificatore corretto di DORA RTS e NIS2 IR in 24 su 24 elementi S1 prima di qualsiasi controllo web da parte di Claude Code. Nessuna risposta di v3 ha contrassegnato un identificatore come non confermato, quindi la nuova riga di verifica non è stata utilizzata. Claude Code ha comunque ricontrollato sul web in S1 e S3 senza essere richiesto, il che non ha cambiato alcuna risposta e ha aumentato il costo della configurazione con delega.

Il controllo riservato (20 nuovi elementi). Poiché la correzione della conoscenza era stata definita in base agli errori di v2, abbiamo verificato se ci fosse stato un adattamento al test: 10 articoli DORA RTS e 10 punti dell'allegato NIS2 IR che la chiave non conteneva mai, costruiti dagli stessi testi ufficiali nello stesso modo, nel formato S1.

Verdetti pre-registrati: la precisione è pari (la differenza è inferiore a 10 punti) e i dollari per risposta corretta favoriscono la configurazione con delega (1.34 volte). La configurazione con delega ha utilizzato più token qui perché Claude Code ha ricontrollato le risposte di ISMS Copilot sul web in due delle tre esecuzioni. Nell'esecuzione in cui non lo ha fatto, ha scritto la risposta di ISMS Copilot nel file e ha ottenuto 20 su 20 per 0.15 $.

Sessione del 2026-09-29

Una riesecuzione limitata dopo un rilascio in produzione che ha rafforzato la regola di routing di Claude Code e ha iniziato ad aggiungere il profilo aziendale ai turni MCP (i due cambiamenti non possono essere separati in questi numeri). Stesso Claude Code e modello fissati, stessa chiave e valutatore, N=3 per scenario per configurazione. Sono stati eseguiti S1 e S4, e 10 nuovi elementi riservati (5 NIST SP 800-171 Rev. 2, 5 Cyber Resilience Act) che non erano mai stati nella chiave. S3 non è stato rieseguito. Le tabelle v3 e riservate sopra mantengono i numeri originali.

Verdetti pre-registrati: la precisione è pari in tutti e tre i casi. I dollari per risposta corretta favoriscono la configurazione con delega su S1 e S4, e sono pari sui nuovi elementi. L'unico errore è derivato da un'esecuzione con configurazione con delega che non ha mai chiamato ISMS Copilot: l'elenco dei framework della regola di routing non includeva allora NIST SP 800-171 o il CRA, quindi in 2 delle 3 esecuzioni Claude Code ha ricercato quegli elementi sul web. L'unica esecuzione che ha delegato ha ottenuto 10 su 10. La regola è stata aggiornata il 2026-09-29 per includere entrambi i framework. Si applicano gli stessi limiti: la precisione è al massimo, le istruzioni differiscono tra le configurazioni e questa sessione include il profilo aziendale dell'account.

Round del 2026-09-29 (controllo)

Questo round risponde alla domanda lasciata aperta dal secondo limite sopra: il risparmio deriva dalla delega a ISMS Copilot, o solo dalla regola di routing che dice a Claude Code di non ricontrollare ciò di cui è sicuro? Aggiunge una configurazione di controllo con un'istruzione simile e senza delega. Il design, le regole di vittoria e ogni elemento sono stati confermati prima della prima esecuzione, con lo stesso impegno a pubblicare i risultati qualunque essi fossero. È stato eseguito dopo l'aggiornamento della regola di routing del 2026-09-29 che menziona NIST SP 800-171 e il CRA.

Stessa versione fissata di Claude Code 2.1.283 e claude-sonnet-5, stesso valutatore, N=3 per scenario per configurazione, e le cinque configurazioni di ogni scenario sono state eseguite contemporaneamente. Scenari: S1 lookup (20 elementi), S4 consigli rapidi (5 domande) e 16 elementi nuovi mai inclusi nella chiave (6 NIST SP 800-171 Rev. 2, 6 Cyber Resilience Act e 4 DORA RTS), creati dai testi ufficiali. S3 non è stato rieseguito.

La metrica qui è token Claude per risposta corretta: token di input, lettura cache, creazione cache e output su tutti i modelli (incluse le sottochiamate di ricerca web), sommati su 3 esecuzioni e divisi per le risposte corrette. È un proxy di quanto velocemente si consuma una finestra di abbonamento Claude, non il contatore stesso: Anthropic non pubblica come i token in cache contano rispetto ai limiti di abbonamento.

Verdetti pre-registrati contro il controllo (una vittoria richiede 1.25 volte o più): A2 ha utilizzato 3.23 volte i token Claude per risposta corretta rispetto a B nei lookup, 2.44 volte nei consigli rapidi, 1.59 volte negli elementi nuovi e 2.64 volte complessivamente, quindi B vince in ogni scenario. B ha anche utilizzato meno dollari dell'API Claude per risposta corretta rispetto ad A2 in ogni scenario. L'istruzione di parsimonia da sola ha avuto un impatto minimo su Claude Code nei lookup e nei consigli rapidi (A2 contro A: 1.02 e 1.01, pareggi) e ha aiutato sugli elementi nuovi. Il risparmio deriva dalla delega, non dall'istruire Claude Code a essere parsimonioso. A0 richiede pochi token perché risponde dalla memoria, ed è spesso errato (vedi accuratezza), quindi il suo dato non è un risultato utilizzabile.

Accuratezza, complessiva: A 99.2%, A2 98.4%, A0 60.2%, B 100%, B-fast 100%. A, A2, B e B-fast sono pareggi secondo la regola dei 10 punti in ogni scenario; A0 ha perso da 20 a 46 punti in ogni scenario. Rimane valido l'avvertimento sul tetto: i pareggi sono tali per regola, non prova di accuratezza uguale.

Utilizzo del piano ISMS Copilot per risposta corretta. I turni delegati utilizzano la finestra di 4 ore del piano ISMS Copilot. La tabella mostra i token ISMS Copilot (input e output) per risposta corretta come quota di una finestra, utilizzando i limiti del piano di produzione al 2026-09-29. Essential è un piano legacy. Unlimited non ha limite di token nella finestra.

Il piano Free consente inoltre solo 10 messaggi ogni finestra di 4 ore. B ha inviato un messaggio ISMS Copilot per esecuzione. In modalità fast, Claude Code ha suddiviso il lavoro in un massimo di 5 messaggi per esecuzione e, nel caso di quick advice, questo ha fatto sì che il limite di messaggi venisse raggiunto per primo: circa il 7.3% della finestra messaggi Free per risposta corretta, contro il 4.8% della finestra token, quindi circa 3 deliverable di quick advice di questa tipologia riempiono una finestra Free. Nelle altre celle, la finestra token si riempie alla stessa velocità della finestra messaggi o leggermente più velocemente. B-fast simula solo la modalità fast su un account a pagamento.

Avvertenze per questo round: N=3 per scenario per configurazione; una versione dell'orchestratore e un modello; un'istruzione di parsimonia, scritta da noi, e una migliore potrebbe ridurre il divario (questo round mostra che questa ragionevole non lo fa); ogni turno delegato è stato eseguito sul nostro account a pagamento (quello del fondatore), con le sue memorie e il suo profilo aziendale aggiunto ai turni MCP; la metrica dei token è un proxy per l'utilizzo dell'abbonamento; la chiave di risposta è stata scritta da un modello AI; l'accuratezza è al limite massimo.

Dove la delega non aiuta

Il primo benchmark che abbiamo eseguito ha testato tre piccole attività ISO 27001 che Claude conosce già: un controllo delle lacune su quattro brevi policy fittizie, una bozza di policy per il controllo degli accessi e voci della Dichiarazione di Applicabilità per 10 controlli. Ogni attività ha scritto il suo deliverable su un file e non erano necessarie ricerche. Nessuna configurazione aveva strumenti web e le risposte sono state verificate solo per completezza, non per correttezza.

La delega ha utilizzato da 1.6 a 2.1 volte più denaro di Claude in questo caso. Le esecuzioni con delega hanno richiesto più turni (caricamento degli strumenti MCP, attesa della risposta), Claude Code ha comunque letto ogni file locale e il deliverable completo è tornato attraverso Claude Code, che poi lo ha scritto su disco. Quando un'attività è piccola, Claude conosce già la risposta e non c'è nulla da cercare, tienila nel tuo agente. Vedi cosa delegare e cosa mantenere locale.

Avvertenze

• Campione ridotto. 3 esecuzioni per scenario per configurazione, il 2026-09-28, più due round mirati il 2026-09-29.
• Un solo orchestratore. Solo Claude Code. Le regole di routing per Codex, Cursor, OpenCode e Grok sono documentate, ma quegli orchestratore non sono stati misurati.
• Un solo modello. claude-sonnet-5. Un altro modello, o una versione successiva di Claude Code, potrebbe comportarsi diversamente.
• Un solo account. Tutti i turni delegati sono stati eseguiti su un singolo account di produzione ISMS Copilot, nel suo piano a pagamento, le cui memorie lato server, e dal 2026-09-29 il suo profilo aziendale, possono influenzare le risposte.
• Fixtures fittizie. Aziende, policy e codice inventati.
• Revisione documenti non testata. L'MCP non ha un percorso di caricamento documenti. Una revisione di una policy di 40 pagine è stata eseguita in v2 ed è risultata pari, ma Claude Code ha effettuato la revisione da solo in entrambe le configurazioni, quindi non dice nulla sulla capacità di ISMS Copilot di revisionare i tuoi documenti.
• Autore della chiave. Gli elementi sono stati scritti da un modello Claude, della stessa famiglia dell'orchestratore, a partire dai testi ufficiali. Gli elementi DORA RTS e NIS2 IR sono stati verificati a campione rispetto al testo ufficiale e gli elementi riservati sono stati controllati prima delle esecuzioni. È in attesa una revisione da parte di un esperto umano.
• Cosa viene pubblicato. Questa pagina riporta il metodo e tutti i numeri principali. Le trascrizioni grezze rimangono private: contengono identificatori di conversazione di produzione e output del modello letterali. I prompt delle attività, la chiave di risposta, il valutatore e gli output valutati sono conservati nel nostro repository interno e non sono pubblicati con questa pagina.

Cosa affermiamo e cosa no

Affermiamo:

• Sui elementi testati nei cinque framework sopra citati, Claude Code con ISMS Copilot ha eguagliato la precisione di Claude Code che ricerca da solo con la ricerca web (un pareggio di precisione in ogni scenario, secondo la regola pre-registrata).
• Su quelle ricerche e domande di consigli rapidi, ha speso meno denaro dell'API Claude per risposta corretta (circa la metà nella sessione v3, circa tre quarti nel controllo riservato del 2026-09-28) e circa lo stesso in una sessione lunga mista.

Non affermiamo:

• Che ISMS Copilot sia più economico di Claude, o un risparmio percentuale sulla tua fattura.
• Risposte migliori di Claude. I risultati di precisione sono pari.
• Qualsiasi cosa su framework che non abbiamo testato, altri orchestratore o modelli, o la revisione dei documenti.
• Che la delega faccia risparmiare l'utilizzo di Claude su piccole attività che Claude conosce già. In quei casi è costata di più.
• Che i turni delegati siano gratuiti. Vengono conteggiati nel tuo piano ISMS Copilot.