Benchmark: Claude Code com e sem ISMS Copilot

Medimos uma pergunta: quando você realiza trabalho de GRC no Claude Code, qual é o custo de uma resposta correta em uso do Claude se o Claude Code a pesquisa sozinho, e qual é o custo se o Claude Code delega a pergunta ao ISMS Copilot via MCP? Esta página apresenta o método, todos os números principais, a execução em que a delegação não ajudou, os limites do teste e o que os resultados apoiam e não apoiam.

O que isto apoia

Nos itens testados, o Claude Code delegando ao ISMS Copilot igualou a precisão do Claude Code pesquisando sozinho com busca na web: o veredito de precisão pré-registrado foi um empate em todos os cenários. Gastou menos dinheiro da API do Claude por resposta correta em consultas e conselhos rápidos, e aproximadamente o mesmo em uma longa sessão mista de codificação e conformidade. Os frameworks testados em 2026-09-28 são ISO/IEC 27001:2022 Anexo A, ISO/IEC 42001:2023 Anexo A, CMMC 2.0 Nível 2, DORA RTS (UE) 2024/1774 e NIS2 IR (UE) 2024/2690, e apenas esses. A rodada de 2026-09-29 adicionou 10 itens reservados do NIST SP 800-171 Rev. 2 e do Cyber Resilience Act. Turnos delegados contam contra o seu plano do ISMS Copilot, que não está incluído nos valores em dólares. Leia os limites abaixo antes de confiar em qualquer um desses números.

Limites deste teste

• Precisão está no limite máximo. Na v3, ambas as configurações pontuaram 100% nos cenários de consulta, sessão longa e conselho rápido, e na rodada de 2026-09-29 (que não repetiu a sessão longa) ambas pontuaram 100% em consultas e conselhos rápidos. Com estes itens e a regra pré-registrada, o teste só poderia detectar uma diferença de precisão de 10 pontos percentuais ou mais. "Igualou" nesta página significa que nenhuma diferença desse tamanho foi encontrada, não que as duas configurações tenham precisão comprovadamente igual.
• As duas configurações não receberam as mesmas instruções. Na v3, a verificação reservada e a primeira rodada de 2026-09-29, o Claude Code sozinho não teve arquivo de instrução. A configuração de delegação tinha a regra de roteamento como seu CLAUDE.md, e essa regra diz para não verificar novamente as respostas que o ISMS Copilot confirmou, então parte da diferença de custo poderia ter vindo dessa instrução, em vez da delegação. O controle foi executado agora, em 2026-09-29: o Claude Code sozinho, instruído a verificar na web apenas o que não tem certeza, usou aproximadamente o mesmo número de tokens Claude por resposta correta do que sem instrução sobre pesquisas e conselhos rápidos, e a configuração de delegação ainda usou menos tokens Claude por resposta correta do que ele em todos os cenários (1.6 a 3.2 vezes menos). Veja a seção "Rodada de 2026-09-29 (controle)" abaixo. O controle testou uma instrução de economia, escrita por nós; uma melhor poderia reduzir a diferença.
• Uma conta, com suas memórias e, a partir de 2026-09-29, seu perfil da empresa. Cada turno delegado foi executado em uma conta do ISMS Copilot, a nossa (do fundador), em seu plano pago e com suas memórias de conta. Desde 2026-09-29, o ISMS Copilot adiciona o perfil da empresa como contexto para turnos no MCP em contas que o possuem, e esta conta tem um, então a rodada de 2026-09-29 o inclui. As execuções de 2026-09-28 não o fizeram. Resultados em uma conta com um plano diferente, memórias diferentes ou sem perfil podem diferir.
• A chave de respostas foi escrita por um modelo de IA. Um modelo Claude escreveu a chave a partir das fontes oficiais listadas abaixo. Os itens do DORA RTS e NIS2 IR foram verificados pontualmente em relação ao texto oficial. Uma revisão da chave por um especialista humano está pendente, e seu resultado será adicionado aqui com sua data.

Configuração

O método completo (design, chave de respostas e avaliador) é interno e está disponível sob solicitação: escreva para support@ismscopilot.com.

As duas configurações recebem prompts de tarefa idênticos, e os prompts nunca mencionam o ISMS Copilot:

Ambas as configurações têm busca e recuperação na web, porque um usuário real as possui. A regra de roteamento decide o que é delegado. As outras ferramentas de conta (contexto da empresa, workspaces, memórias, documentos) não foram permitidas. As memórias de conta do lado do servidor do ISMS Copilot ainda poderiam moldar suas respostas, e a partir de 2026-09-29 o perfil da empresa da conta também, que o ISMS Copilot adiciona do seu lado (veja Limites deste teste).

Cenários

• S1, consultas. 20 temas de requisitos, e a tarefa é fornecer o identificador exato para cada: 4 artigos do DORA RTS, 4 pontos do anexo do NIS2 IR, 4 controles do Anexo A da ISO/IEC 42001:2023, 4 práticas do Nível 2 do CMMC e 4 controles do Anexo A da ISO/IEC 27001:2022. A resposta é um arquivo JSON.
• S3, sessão longa. Uma sessão do Claude Code com 8 prompts em um pequeno repositório Python: 4 edições de código (verificadas por testes ocultos) alternando com 4 perguntas de GRC com respostas-chave. As respostas de GRC são pontuadas; as verificações de código são relatadas separadamente.
• S4, conselho rápido. 5 perguntas de sim ou não, cada uma com o identificador que a decide e uma razão de uma frase. Correto apenas se tanto o sim ou não quanto o identificador coincidirem.
• Reservados. 20 novos itens do DORA RTS e NIS2 IR, no formato S1, que nunca estiveram na chave de respostas antes (veja "A história" abaixo).

Todos os exemplos são fictícios. Nenhum dado de cliente foi utilizado.

Como a chave de respostas foi construída

Cada item com resposta-chave tem o identificador canônico, o requisito em uma frase, uma citação e uma citação ou referência à fonte. A chave foi construída apenas a partir de fontes oficiais, e nunca a partir do ISMS Copilot, porque isso seria circular:

• DORA RTS (UE) 2024/1774 e NIS2 IR (UE) 2024/2690: o texto oficial do Escritório de Publicações da UE (CELEX 32024R1774 e 32024R2690), citado pelos endereços do EUR-Lex.
• CMMC 2.0 Nível 2: o Guia de Avaliação do Nível 2 do CMMC do DoD, com a publicação do NIST de onde vêm os números das práticas.
• ISO/IEC 27001:2022 e ISO/IEC 42001:2023 Anexo A: itens das normas ISO/IEC 27001 e 42001 utilizam identificadores de controle, descritos em nossas próprias palavras.

A chave foi congelada antes da primeira execução, e cada execução registra um resumo dela. Não foi alterada durante o benchmark.

Pontuação

A pontuação é mecânica: nenhum modelo julga qualquer resposta. Um script lê o campo de identificador de cada resposta e o normaliza por tipo, depois o compara com a chave:

• DORA RTS: "Article 7", "Art. 7(4)" e "Article 7(4) of ..." contam todos como Article 7.
• NIS2 IR: a resposta deve ser um ponto real do anexo e deve estar na lista de aceitação pré-registrada do item (o ponto operante e seu título). Um ponto irmão está errado.
• ISO/IEC 27001:2022 e ISO/IEC 42001:2023: o número do Anexo A deve coincidir exatamente. Numeração de 2013, ou uma referência ao Anexo B para 42001, está errada.
• CMMC Nível 2: o número da prática deve coincidir ("SC.L2-3.13.11" e "3.13.11" contam ambos).

Um arquivo ausente, JSON inválido ou um identificador impossível de analisar conta como errado. Execuções que atingiram um limite teriam sido pontuadas como estavam, e nunca reexecutadas.

Métrica

A métrica primária é dólares da API do Claude por resposta correta: o custo do Claude das 3 execuções de um cenário dividido pelo número de respostas corretas nessas 3 execuções. É o preço de lista que o Claude Code relata, que é o que um assinante do Claude paga pelo uso extra além do plano. Inclui as subchamadas de busca na web e as taxas de busca.

O uso do plano do ISMS Copilot não está incluído neste valor, e não é gratuito. Turnos delegados contam contra o seu plano do ISMS Copilot (veja Onde o uso do ISMS Copilot é cobrado). Omiti-lo favorece a configuração de delegação nesta métrica.

Precisão, tokens do orquestrador, turnos e tempo são relatados juntamente. Tokens e dólares diferem: contexto repetido lido do cache de prompts é cobrado a uma fração do preço de entrada, então uma configuração pode usar mais tokens e ainda custar menos dólares.

Pré-registro e a emenda registrada

O design, a chave de respostas, o avaliador e as regras de vitória foram comprometidos antes de qualquer execução, com o compromisso de publicar os resultados independentemente do que mostrassem. As regras de vitória pré-registradas: precisão vence com 10 pontos percentuais ou mais, dólares por resposta correta com 1.25 vezes ou mais; qualquer coisa mais próxima é um empate. A reexecução da v3 e a verificação reservada foram pré-registradas da mesma forma antes de sua primeira execução.

Uma emenda foi feita durante a primeira execução (v2). Um limite por execução de 2 milhões de tokens do orquestrador, destinado a evitar execuções descontroladas, interrompeu o benchmark após o primeiro par, quando o Claude Code sozinho terminou uma execução de consulta normalmente com 2.38 milhões de tokens (todos os 20 corretos). O limite foi aumentado para 6 milhões para ambas as configurações, a alteração foi registrada com seu horário, e nada foi reexecutado. Foi feita após esse primeiro resultado ter sido visto. Sem isso, nenhum cenário teria um veredito. Limites de dólares e o teto de gastos geral não foram alterados.

A história: v2, a correção, v3 e a verificação reservada

v2 encontrou uma lacuna de conhecimento. Na primeira execução justa, o ISMS Copilot igualou o Claude Code sozinho em todos os itens da ISO/IEC 27001, ISO/IEC 42001 e CMMC, mas errou a maioria dos números de artigos do DORA RTS e pontos do anexo do NIS2 IR. Suas respostas marcaram esses identificadores como não confirmados.

A correção. Adicionamos conhecimento do DORA RTS e do NIS2 IR ao ISMS Copilot no nível de artigo e ponto do anexo, construído a partir dos textos oficiais da UE, e acrescentamos uma linha à regra de roteamento: verificar qualquer resposta que o ISMS Copilot marque como não confirmada. Em seguida, reexecutamos os mesmos cenários com a mesma chave e avaliador.

v3 (mesma chave, mesmo avaliador, ambas as configurações reexecutadas):

Resultados pré-registrados: a precisão é um empate em todos os três cenários. O custo em dólares por resposta correta favorece a configuração de delegação nas consultas S1 e S4, e a S3 é um empate. Na S3, todas as verificações de código passaram em ambas as configurações.

O ganho veio das próprias respostas do ISMS Copilot. Um diagnóstico adicionado após as execuções (sem resultado anexado) descobriu que suas respostas continham o identificador correto do DORA RTS e do NIS2 IR em 24 de 24 itens da S1 antes de qualquer verificação na web pelo Claude Code. Nenhuma resposta da v3 marcou um identificador como não confirmado, portanto, a nova linha de verificação não foi utilizada. O Claude Code ainda verificou na web nas consultas S1 e S3 sem ser solicitado, o que não alterou nenhuma resposta e aumentou o custo da configuração de delegação.

A verificação reservada (20 novos itens). Como a correção de conhecimento foi dimensionada a partir dos erros da v2, verificamos se houve adaptação ao teste: 10 artigos do DORA RTS e 10 pontos do anexo do NIS2 IR que a chave nunca continha, construídos a partir dos textos oficiais da mesma forma, no formato da S1.

Resultados pré-registrados: a precisão é um empate (a diferença é inferior a 10 pontos), e o custo em dólares por resposta correta favorece a configuração de delegação (1.34 vezes). A configuração de delegação utilizou mais tokens aqui porque o Claude Code reverificou as respostas do ISMS Copilot na web em duas das três execuções. Na execução em que não o fez, ele escreveu a resposta do ISMS Copilot no arquivo e obteve 20 de 20 por $0.15.

Rodada de 2026-09-29

Uma reexecução limitada após um lançamento em produção que apertou a regra de roteamento do Claude Code e começou a adicionar o perfil da empresa às rodadas do MCP (as duas alterações não podem ser separadas nestes números). Mesmo Claude Code e modelo fixos, mesma chave e avaliador, N=3 por cenário por configuração. Executou as consultas S1 e S4, e 10 novos itens reservados (5 NIST SP 800-171 Rev. 2, 5 Cyber Resilience Act) que nunca estiveram na chave. A S3 não foi reexecutada. As tabelas da v3 e reservada acima mantêm seus números originais.

Resultados pré-registrados: a precisão é um empate nos três cenários. O custo em dólares por resposta correta favorece a configuração de delegação nas consultas S1 e S4, e é um empate nos novos itens. O único erro veio de uma execução da configuração de delegação que nunca chamou o ISMS Copilot: a lista de frameworks da regra de roteamento não incluía então o NIST SP 800-171 ou o CRA, portanto, em 2 de 3 execuções, o Claude Code pesquisou esses itens na web. A única execução que delegou obteve 10 de 10. A regra foi atualizada em 2026-09-29 para incluir ambos os frameworks. As mesmas limitações se aplicam: a precisão está no limite máximo, as instruções diferem entre as configurações, e esta rodada inclui o perfil da empresa da conta.

Rodada de 2026-09-29 (controle)

Esta rodada responde à questão deixada em aberto pelo segundo limite acima: a economia vem da delegação para o ISMS Copilot ou apenas da regra de roteamento que instrui o Claude Code a não verificar novamente o que já tem confiança? Ela adiciona uma configuração de controle com uma instrução semelhante e sem delegação. O design, as regras de vitória e todos os itens foram comprometidos antes da primeira execução, com o mesmo compromisso de publicar os resultados, independentemente do que mostrassem. Foi executada após a atualização da regra de roteamento de 2026-09-29 que menciona o NIST SP 800-171 e o CRA.

Mesma versão fixa do Claude Code 2.1.283 e claude-sonnet-5, mesmo avaliador, N=3 por cenário por configuração, e as cinco configurações de cada cenário foram executadas ao mesmo tempo. Cenários: S1 consultas (20 itens), S4 conselhos rápidos (5 perguntas) e 16 itens novos não vistos anteriormente que nunca estiveram na chave (6 NIST SP 800-171 Rev. 2, 6 Cyber Resilience Act e 4 DORA RTS), construídos a partir dos textos oficiais. O S3 não foi reexecutado.

A métrica aqui é tokens do Claude por resposta correta: tokens de entrada, leitura de cache, criação de cache e saída em todos os modelos (incluindo subchamadas de pesquisa na web), somados nas 3 execuções e divididos pelo número de respostas corretas. É um indicador de quão rápido uma janela de assinatura do Claude é consumida, não o medidor em si: a Anthropic não divulga como os tokens em cache contam contra os limites de assinatura.

Vereditos pré-registrados contra o controle (uma vitória requer 1.25 vezes ou mais): A2 usou 3.23 vezes os tokens do Claude por resposta correta em relação ao B nas consultas, 2.44 vezes nos conselhos rápidos, 1.59 vezes nos itens novos e 2.64 vezes no agrupado, portanto B vence em todos os cenários. B também usou menos dólares da API do Claude por resposta correta do que A2 em todos os cenários. A instrução de economia por si só quase não alterou o desempenho do Claude Code nas consultas e conselhos rápidos (A2 contra A: 1.02 e 1.01, empates) e ajudou nos itens novos. A economia vem da delegação, não de instruir o Claude Code a ser econômico. A0 precisa de poucos tokens porque responde de memória, e muitas vezes está errado (veja a precisão), portanto seu resultado não é utilizável.

Precisão, agrupada: A 99.2%, A2 98.4%, A0 60.2%, B 100%, B-fast 100%. A, A2, B e B-fast são empates segundo a regra dos 10 pontos em todos os cenários; A0 perdeu de 20 a 46 pontos em todos os cenários. A ressalva do teto acima permanece: empates são empates por regra, não prova de precisão igual.

Uso do plano do ISMS Copilot por resposta correta. Turnos delegados consomem a janela de 4 horas do seu plano do ISMS Copilot. A tabela apresenta os tokens do ISMS Copilot (entrada e saída) por resposta correta como uma fração de uma janela, utilizando os limites do plano de produção em 2026-09-29. Essential é um plano herdado. Unlimited não possui limite de tokens na janela.

O plano Free também permite apenas 10 mensagens por janela de 4 horas. B enviou uma mensagem do ISMS Copilot por execução. No modo fast, o Claude Code dividiu o trabalho em até 5 mensagens por execução, e no quick advice isso fez com que o limite de mensagens fosse atingido primeiro: cerca de 7.3% da janela de mensagens do Free por resposta correta, contra 4.8% da janela de tokens, portanto cerca de 3 entregáveis de quick advice com esse formato preenchem uma janela Free. Nas outras células, a janela de tokens é preenchida tão rápido quanto a janela de mensagens ou ligeiramente mais rápido. B-fast apenas simula o modo fast em uma conta paga.

Ressalvas para esta rodada: N=3 por cenário por configuração; uma versão do orquestrador e um modelo; uma instrução de economia, escrita por nós, e uma melhor poderia reduzir a diferença (esta rodada mostra que esta instrução razoável não o faz); todos os turnos delegados foram executados em nossa própria conta paga (do fundador), com suas memórias e seu perfil da empresa adicionados aos turnos do MCP; a métrica de tokens é um indicador do uso da assinatura; a chave de respostas foi escrita por um modelo de IA; a precisão está no teto.

Onde a delegação não ajuda

O primeiro benchmark que executamos testou três pequenas tarefas da ISO 27001 que o Claude já conhece: uma verificação de lacunas de quatro políticas fictícias curtas, um rascunho de política de controle de acesso e entradas da Declaração de Aplicabilidade para 10 controles. Cada tarefa escreveu seu deliverable em um arquivo, e nenhuma consulta foi necessária. Nenhuma das configurações tinha ferramentas web, e as respostas foram verificadas apenas quanto à completude, não à correção.

A delegação utilizou 1.6 a 2.1 vezes mais dinheiro do Claude aqui. As execuções com delegação levaram mais rodadas (carregando as ferramentas do MCP, esperando pela resposta), o Claude Code ainda leu todos os arquivos locais, e o deliverable completo voltou pelo Claude Code, que então o escreveu no disco. Quando uma tarefa é pequena, o Claude já sabe a resposta e nada precisa ser consultado, mantenha-a no seu agente. Veja o que delegar e o que manter local.

Ressalvas

• Pequeno N. 3 execuções por cenário por configuração, em 2026-09-28, mais duas rodadas delimitadas em 2026-09-29.
• Um orquestrador. Apenas Claude Code. As regras de roteamento para Codex, Cursor, OpenCode e Grok estão documentadas, mas esses orquestradores não foram medidos.
• Um modelo. claude-sonnet-5. Outro modelo, ou uma versão posterior do Claude Code, pode se comportar de forma diferente.
• Uma conta. Todas as rodadas delegadas foram executadas em uma conta de produção do ISMS Copilot, em seu plano pago, cujas memórias do lado do servidor, e a partir de 2026-09-29 seu perfil da empresa, podem moldar as respostas.
• Fixtures fictícios. Empresas, políticas e códigos inventados.
• Revisão de documentos não testada. O MCP não possui caminho de upload de documentos. Uma revisão de política de 40 páginas foi executada na v2 e empatou, mas o Claude Code fez a revisão sozinho em ambas as configurações, portanto, isso não diz nada sobre o ISMS Copilot revisando seus documentos.
• Autor da chave. Os itens foram escritos por um modelo Claude, da mesma família do orquestrador, a partir dos textos oficiais. Os itens do DORA RTS e do NIS2 IR foram verificados pontualmente em relação ao texto oficial, e os itens reservados foram verificados antes das execuções. Uma revisão por um especialista humano da chave está pendente.
• O que é publicado. Esta página contém o método e todos os números principais. As transcrições brutas permanecem privadas: contêm identificadores de conversas de produção e saída literal do modelo. Os prompts das tarefas, a chave de respostas, o avaliador e as saídas avaliadas são mantidos em nosso repositório interno e não são publicados com esta página.

O que afirmamos e o que não afirmamos

Afirmamos:

• Nos itens testados nos cinco frameworks acima, o Claude Code com ISMS Copilot igualou a precisão do Claude Code pesquisando sozinho com busca na web (um empate de precisão em todos os cenários, sob a regra pré-registrada).
• Nessas consultas e perguntas de conselhos rápidos, ele gastou menos dinheiro da API do Claude por resposta correta (cerca de metade na execução da v3, cerca de três quartos na verificação reservada de 2026-09-28), e aproximadamente o mesmo em uma sessão longa mista.

Não afirmamos:

• Que o ISMS Copilot é mais barato que o Claude, ou qualquer porcentagem de economia na sua fatura.
• Respostas melhores que as do Claude. Os resultados de precisão são empates.
• Qualquer coisa sobre frameworks que não testamos, outros orquestradores ou modelos, ou revisão de documentos.
• Que a delegação economiza uso do Claude em pequenas tarefas que o Claude já conhece. Custou mais lá.
• Que as rodadas delegadas são gratuitas. Elas são contabilizadas no seu plano do ISMS Copilot.