Еталонне тестування: Claude Code з ISMS Copilot та без нього

Ми виміряли одне питання: скільки коштує правильна відповідь у використанні Claude, якщо ви виконуєте роботу з GRC у Claude Code, коли Claude Code досліджує її самостійно, і скільки це коштує, якщо Claude Code передає питання ISMS Copilot через MCP? Ця сторінка містить методологію, всі ключові цифри, випадок, коли делегування не допомогло, обмеження тесту та те, що результати підтверджують і чого не підтверджують.

Що це підтверджує

У протестованих елементах Claude Code, делегуючи завдання ISMS Copilot, досяг такої ж точності, як і Claude Code, що досліджує самостійно з пошуком в інтернеті: заздалегідь зареєстрований вердикт щодо точності був нічийним в усіх сценаріях. Він витрачав менше коштів API Claude на пошук та швидкі консультації за правильну відповідь, і приблизно стільки ж на довгу змішану сесію з кодування та відповідності вимогам. Протестовані фреймворки станом на 2026-09-28: ISO/IEC 27001:2022 Додаток A, ISO/IEC 42001:2023 Додаток A, CMMC 2.0 Рівень 2, DORA RTS (ЄС) 2024/1774 та NIS2 IR (ЄС) 2024/2690, і тільки вони. 2026-09-29 було додано 10 відкладених елементів із NIST SP 800-171 Rev. 2 та Закону про кіберстійкість. Делеговані кроки враховуються у вашому тарифному плані ISMS Copilot, який не включено до цих грошових показників. Ознайомтеся з обмеженнями нижче, перш ніж покладатися на будь-які з цих даних.

Обмеження цього тесту

• Точність досягла стелі. У версії v3 обидва підходи отримали 100% у сценаріях пошуку, довгої сесії та швидких консультацій, а в раунді 2026-09-29 (який не повторював довгу сесію) обидва отримали 100% у пошуку та швидких консультаціях. З цими елементами та заздалегідь зареєстрованим правилом тест міг виявити лише різницю в точності на 10 відсоткових пунктів або більше. "Збіглися" на цій сторінці означає, що не було виявлено різниці такого розміру, а не те, що обидва підходи доведено однаково точні.
• Дві конфігурації не отримали однакових інструкцій. У версії v3, під час перевірки відкладеного тесту та першого раунду 2026-09-29, Claude Code сам по собі не мав файлу інструкцій. Установка з делегуванням мала правило маршрутизації як свій CLAUDE.md, і це правило вказувало не перевіряти повторно відповіді, підтверджені ISMS Copilot, тому частина різниці у вартості могла виникнути через цю інструкцію, а не через делегування. Контрольний запуск було проведено 2026-09-29: Claude Code сам по собі, якому було доручено перевіряти в інтернеті лише те, в чому він не впевнений, використав приблизно стільки ж токенів Claude на правильну відповідь, як і без інструкцій щодо пошуків та швидких порад, а установка з делегуванням все одно використала менше токенів Claude на правильну відповідь, ніж він, у кожному сценарії (у 1.6–3.2 раза менше). Див. розділ "Раунд від 2026-09-29 (контрольний)" нижче. Контрольний запуск тестував одну інструкцію щодо ощадливості, написану нами; краща інструкція могла б зменшити різницю.
• Один обліковий запис зі своїми спогадами та, з 2026-09-29, корпоративним профілем. Кожен делегований крок виконувався на одному обліковому записі ISMS Copilot, нашому власному (засновника), за його платним тарифним планом і зі спогадами облікового запису. Починаючи з 2026-09-29, ISMS Copilot додає корпоративний профіль як контекст до кроків MCP для облікових записів, які його мають, і цей обліковий запис його має, тому раунд 2026-09-29 включає його. Запуски 2026-09-28 – ні. Результати на обліковому записі з іншим тарифним планом, іншими спогадами або без профілю можуть відрізнятися.
• Ключ відповідей був написаний моделлю штучного інтелекту. Ключ був створений моделлю Claude на основі офіційних джерел, перелічених нижче. Елементи DORA RTS та NIS2 IR були вибірково перевірені за офіційним текстом. Перевірка ключа людиною-експертом очікується, і її результат буде додано тут із зазначенням дати.

Налаштування

Повний метод (дизайн, ключ відповідей і оцінювач) є внутрішнім і доступним за запитом: напишіть на support@ismscopilot.com.

Обидва підходи отримують ідентичні завдання-підказки, і в підказках ніколи не згадується ISMS Copilot:

Обидва підходи мають пошук та отримання даних з інтернету, оскільки реальний користувач їх має. Правило маршрутизації вирішує, що делегувати. Інші інструменти облікового запису (корпоративний контекст, робочі простори, спогади, документи) не були дозволені. Серверні спогади облікового запису ISMS Copilot все ще могли впливати на його відповіді, а з 2026-09-29 – і корпоративний профіль облікового запису, який ISMS Copilot додає на своєму боці (див. Обмеження цього тесту).

Сценарії

• S1, пошук. 20 тем вимог, завдання – надати точний ідентифікатор для кожної: 4 статті DORA RTS, 4 пункти додатку NIS2 IR, 4 контрольні заходи ISO/IEC 42001:2023 Додаток A, 4 практики CMMC Рівень 2 та 4 контрольні заходи ISO/IEC 27001:2022 Додаток A. Відповідь – файл JSON.
• S3, довга сесія. Одна сесія Claude Code з 8 підказками для невеликого Python-репозиторію: 4 редагування коду (перевіряються прихованими тестами) чергуються з 4 питаннями щодо GRC з ключовими відповідями. Відповіді щодо GRC оцінюються; перевірки коду повідомляються окремо.
• S4, швидка консультація. 5 питань типу "так чи ні", кожне з ідентифікатором, який його визначає, та однорядковою причиною. Правильною вважається відповідь лише за умови збігу як "так чи ні", так і ідентифікатора.
• Відкладені. 20 нових елементів із DORA RTS та NIS2 IR у форматі S1, які раніше ніколи не були в ключі відповідей (див. "Історію" нижче).

Усі приклади вигадані. Жодні клієнтські дані не використовувалися.

Як був створений ключ відповідей

Кожен ключовий елемент містить канонічний ідентифікатор, вимогу в одному реченні, посилання та цитату або вказівник на джерело. Ключ був створений виключно на основі офіційних джерел і ніколи не використовував ISMS Copilot, оскільки це було б циклічно:

• DORA RTS (ЄС) 2024/1774 та NIS2 IR (ЄС) 2024/2690: офіційний текст від Офісу публікацій ЄС (CELEX 32024R1774 та 32024R2690), посилання на адреси EUR-Lex.
• CMMC 2.0 Рівень 2: Посібник з оцінки CMMC Рівень 2 від Міністерства оборони США, з публікацією NIST, з якої походять номери практик.
• ISO/IEC 27001:2022 та ISO/IEC 42001:2023 Додаток A: елементи ISO/IEC 27001 та 42001 використовують ідентифікатори контрольних заходів, описані нашими власними словами.

Ключ був заморожений перед першим запуском, і кожен запуск записує його дайджест. Він не змінювався під час бенчмарку.

Оцінювання

Оцінювання механічне: жодна модель не оцінює відповіді. Скрипт зчитує поле ідентифікатора кожної відповіді та нормалізує його за типом, а потім порівнює з ключем:

• DORA RTS: "Article 7", "Art. 7(4)" та "Article 7(4) of ..." усі вважаються статтею 7.
• NIS2 IR: відповідь має бути реальним пунктом додатку та має бути в заздалегідь зареєстрованому списку прийнятних для цього елемента (діючий пункт та його заголовок). Суміжний пункт вважається неправильним.
• ISO/IEC 27001:2022 та ISO/IEC 42001:2023: номер Додатку A має точно збігатися. Нумерація 2013 року або посилання на Додаток B для 42001 вважаються неправильними.
• CMMC Рівень 2: номер практики має збігатися ("SC.L2-3.13.11" та "3.13.11" обидва зараховуються).

Відсутній файл, некоректний JSON або нерозбірливий ідентифікатор вважаються неправильними. Запуски, які досягли ліміту, оцінювалися так, як були, і ніколи не перезапускалися.

Метрика

Основна метрика – доларів API Claude за правильну відповідь: вартість Claude для 3 запусків сценарію, поділена на кількість правильних відповідей у цих 3 запусках. Це ціна за прейскурантом, яку повідомляє Claude Code, і це те, що абонент Claude платить за додаткове використання понад тарифний план. Вона включає підвиклики пошуку в інтернеті та комісії за пошук.

Використання тарифного плану ISMS Copilot не включено до цієї цифри, і воно не є безкоштовним. Делеговані кроки враховуються у вашому тарифному плані ISMS Copilot (див. Де враховується використання ISMS Copilot). Виключення цього показника на користь підходу з делегуванням у цій метриці.

Поряд з цим повідомляються точність, токени оркестратора, кроки та час. Токени та долари відрізняються: повторне зчитування контексту з кешу підказок оплачується за частку від ціни введення, тому підхід може використовувати більше токенів, але коштувати менше доларів.

Попередня реєстрація та зафіксована поправка

Дизайн, ключ відповідей, оцінювач та правила перемоги були зафіксовані до будь-якого запуску, з зобов'язанням опублікувати результати незалежно від того, що вони покажуть. Заздалегідь зареєстровані правила перемоги: точність перемагає при різниці в 10 відсоткових пунктів або більше, доларів за правильну відповідь – при різниці в 1.25 раза або більше; все, що ближче, вважається нічийним. Повторний запуск v3 та перевірка відкладених елементів були заздалегідь зареєстровані таким же чином перед їх першим запуском.

Одна поправка була внесена під час першого запуску (v2). Ліміт у 2 мільйони токенів оркестратора на запуск, призначений як захист від зависання, зупинив бенчмарк після першої пари, коли Claude Code самостійно завершив запуск пошуку нормально на 2.38 мільйона токенів (усі 20 правильні). Ліміт був збільшений до 6 мільйонів для обох підходів, зміна була зафіксована з зазначенням часу, і нічого не перезапускалося. Вона була внесена після того, як цей перший результат був побачений. Без неї жоден сценарій не мав би вердикту. Ліміти за доларами та загальна стеля витрат не змінилися.

Історія: v2, виправлення, v3 та перевірка на відкладеному наборі

v2 виявила прогалину в знаннях. У першому чесному запуску ISMS Copilot відповідав рівню Claude Code окремо за кожним пунктом ISO/IEC 27001, ISO/IEC 42001 та CMMC, але пропустив більшість номерів статей DORA RTS та пунктів додатків NIS2 IR. Його відповіді позначали ці ідентифікатори як непідтверджені.

Виправлення. Ми додали знання про DORA RTS та NIS2 IR до ISMS Copilot на рівні статей та пунктів додатків, створені на основі офіційних текстів ЄС, та додали рядок до правила маршрутизації: перевіряти будь-яку відповідь, яку ISMS Copilot позначає як непідтверджену. Потім ми повторно запустили ті самі сценарії з тим самим ключем та оцінювачем.

v3 (той самий ключ, той самий оцінювач, обидві конфігурації запущені повторно):

Заздалегідь зареєстровані висновки: точність однакова в усіх трьох сценаріях. Витрати на правильну відповідь на користь конфігурації з делегуванням у S1 та S4, а S3 – нічия. У S3 усі перевірки коду пройшли в обох конфігураціях.

Покращення відбулося завдяки власним відповідям ISMS Copilot. Діагностика, додана після запусків (без прив'язки до висновку), виявила, що його відповіді містили правильний ідентифікатор DORA RTS та NIS2 IR у 24 з 24 пунктів S1 до будь-якої веб-перевірки Claude Code. Жодна відповідь v3 не позначила ідентифікатор як непідтверджений, тому новий рядок перевірки не був використаний. Claude Code все ще перевіряв відповіді в інтернеті в S1 та S3 без запиту, що не змінило відповіді та підвищило вартість конфігурації з делегуванням.

Перевірка на відкладеному наборі (20 нових пунктів). Оскільки виправлення знань було обмежене помилками v2, ми перевірили, чи не було "навчання на тестах": 10 статей DORA RTS та 10 пунктів додатків NIS2 IR, яких ніколи не було в ключі, створених на основі офіційних текстів тим самим способом, у форматі S1.

Заздалегідь зареєстровані висновки: точність однакова (різниця менше 10 пунктів), а витрати на правильну відповідь на користь конфігурації з делегуванням (у 1.34 раза). Конфігурація з делегуванням використала більше токенів тут, оскільки Claude Code повторно перевіряв відповіді ISMS Copilot в інтернеті у двох із трьох запусків. У запуску, де він цього не робив, він записав відповідь ISMS Copilot у файл і набрав 20 з 20 за $0.15.

Запуск від 2026-09-29

Обмежений повторний запуск після випуску в продакшен, який посилив правило маршрутизації Claude Code та почав додавати профіль компанії до ходів MCP (ці дві зміни неможливо розділити в цих даних). Той самий зафіксований Claude Code та модель, той самий ключ і оцінювач, N=3 на сценарій на конфігурацію. Були запущені S1 та S4, а також 10 нових відкладених пунктів (5 NIST SP 800-171 Rev. 2, 5 Cyber Resilience Act), яких ніколи не було в ключі. S3 не запускався повторно. Таблиці v3 та відкладеного набору вище зберігають свої початкові числа.

Заздалегідь зареєстровані висновки: точність однакова в усіх трьох сценаріях. Витрати на правильну відповідь на користь конфігурації з делегуванням у S1 та S4, і однакові для нових пунктів. Єдина помилка сталася в запуску з конфігурацією делегування, який ніколи не викликав ISMS Copilot: список фреймворків у правилі маршрутизації тоді не містив NIST SP 800-171 або CRA, тому в 2 із 3 запусків Claude Code досліджував ці пункти в інтернеті. У запуску, де делегування відбулося, результат був 10 з 10. Правило було оновлено 2026-09-29, щоб включити обидва фреймворки. Діють ті самі обмеження: точність на максимумі, інструкції відрізняються між конфігураціями, і цей запуск включає профіль компанії облікового запису.

Раунд від 2026-09-29 (контрольний)

Цей раунд відповідає на питання, яке залишає відкритим другий ліміт вище: чи економія виникає завдяки делегуванню завдань ISMS Copilot, чи лише завдяки правилу маршрутизації, яке вказує Claude Code не перевіряти те, в чому він впевнений? Додано контрольну установку з подібною інструкцією, але без делегування. Дизайн, правила перемоги та всі елементи були зафіксовані до першого запуску з тим самим зобов’язанням опублікувати результати, незалежно від того, які вони будуть. Раунд проведено після оновлення правил маршрутизації від 2026-09-29, яке згадує NIST SP 800-171 та CRA.

Використано ту саму зафіксовану версію Claude Code 2.1.283 та claude-sonnet-5, той самий оцінювач, N=3 для кожного сценарію в кожній установці, і п’ять установок кожного сценарію запускалися одночасно. Сценарії: S1 пошукові запити (20 елементів), S4 швидкі поради (5 питань) та 16 нових елементів, які ніколи не входили до ключа (6 NIST SP 800-171 Rev. 2, 6 Cyber Resilience Act та 4 DORA RTS), створених на основі офіційних текстів. Сценарій S3 не повторювався.

Метрика тут: токени Claude на правильну відповідь: вхідні, зчитування з кешу, створення кешу та вихідні токени для всіх моделей (включаючи підвиклики веб-пошуку), підсумовані за 3 запуски та поділені на кількість правильних відповідей. Це проксі-метрика для оцінки швидкості витрачання вікна підписки Claude, а не сам лічильник: Anthropic не публікує, як токени з кешу враховуються в лімітах підписки.

Заздалегідь зафіксовані висновки щодо контрольної установки (перемога вимагає в 1.25 раза або більше): A2 витрачала в 3.23 раза більше токенів Claude на правильну відповідь, ніж B, у пошукових запитах, в 2.44 раза у швидких порадах, в 1.59 раза у нових елементах та в 2.64 раза у середньому, тому B перемагає в кожному сценарії. B також витрачала менше доларів API Claude на правильну відповідь, ніж A2, у всіх сценаріях. Економна інструкція сама по собі майже не вплинула на роботу Claude Code у пошукових запитах та швидких порадах (A2 проти A: 1.02 та 1.01, нічия) і допомогла у нових елементах. Економія виникає завдяки делегуванню, а не через вказівку Claude Code бути економним. A0 вимагає мало токенів, оскільки відповідає з пам’яті, але часто помиляється (див. точність), тому цей показник не є корисним результатом.

Точність, усереднено: A 99.2%, A2 98.4%, A0 60.2%, B 100%, B-fast 100%. A, A2, B та B-fast є нічийними за правилом 10 балів у кожному сценарії; A0 втрачала від 20 до 46 балів у кожному сценарії. Попереднє застереження щодо стелі залишається в силі: нічия є нічиєю за правилом, а не доказ рівної точності.

Використання плану ISMS Copilot за правильну відповідь. Делеговані запити витрачають 4-годинне вікно вашого плану ISMS Copilot. У таблиці наведено токени ISMS Copilot (вхідні та вихідні) за правильну відповідь як частку одного вікна, з використанням лімітів виробничого плану станом на 2026-09-29. Essential є планом із збереженням умов. Unlimited не має обмежень на кількість токенів у вікні.

Безплатний план також дозволяє лише 10 повідомлень за 4-годинне вікно. B надсилав одне повідомлення ISMS Copilot за запуск. У режимі Fast Claude Code розділяв роботу на до 5 повідомлень за запуск, а в режимі швидкої поради це призводило до того, що спочатку досягався ліміт повідомлень: близько 7.3% вікна повідомлень Free за правильну відповідь проти 4.8% вікна токенів, тому приблизно 3 результати швидкої поради такого формату заповнюють вікно Free. В інших комірках вікно токенів заповнюється так само швидко, як і вікно повідомлень, або трохи швидше. B-fast лише симулює режим Fast на платному обліковому записі.

Застереження до цього раунду: N=3 для кожного сценарію в кожній установці; одна версія оркестратора та одна модель; одна економна інструкція, написана нами, і краща могла б зменшити розрив (цей раунд показує, що ця розумна інструкція цього не робить); кожне делеговане звернення виконувалося на нашому власному (засновника) платному акаунті, з його спогадами та профілем компанії, доданими до звернень MCP; метрика токенів є проксі для використання підписки; ключ відповідей був написаний моделлю ШІ; точність досягла стелі.

Коли делегування не допомагає

Перший бенчмарк, який ми провели, тестував три невеликі завдання ISO 27001, які Claude вже знав: перевірка прогалин у чотирьох коротких вигаданих політиках, проєкт політики контролю доступу та записи Заяви про застосовність для 10 заходів. Кожне завдання записувало свій результат у файл, і жодних пошуків не потребувало. Жодна з конфігурацій не мала інструментів веб-пошуку, а відповіді перевірялися лише на повноту, а не на правильність.

Делегування використало в 1.6–2.1 раза більше коштів Claude тут. Запуски з делегуванням потребували більше ходів (завантаження інструментів MCP, очікування відповіді), Claude Code все одно читав кожен локальний файл, і повний результат повертався через Claude Code, який потім записував його на диск. Коли завдання невелике, Claude вже знає відповідь і нічого не потрібно шукати, залишайте його у своєму агенті. Див. що делегувати, а що залишати локально.

Застереження

• Мала вибірка. По 3 запуски на сценарій для кожної конфігурації, 2026-09-28, а також два обмежені раунди 2026-09-29.
• Один оркестратор. Лише Claude Code. Правила маршрутизації для Codex, Cursor, OpenCode та Grok задокументовані, але ці оркестратори не вимірювалися.
• Одна модель. claude-sonnet-5. Інша модель або пізніша версія Claude Code може поводитися інакше.
• Один обліковий запис. Усі ходи з делегуванням виконувалися в одному виробничому обліковому записі ISMS Copilot, на його платному тарифі, чиї серверні спогади, а з 2026-09-29 – профіль компанії, можуть впливати на відповіді.
• Вигадані дані. Вигадані компанії, політики та код.
• Перевірка документів не тестувалася. MCP не має шляху для завантаження документів. Перевірка 40-сторінкової політики була проведена в v2 і показала нічию, але Claude Code виконував перевірку самостійно в обох конфігураціях, тому це нічого не говорить про те, як ISMS Copilot перевірятиме ваші документи.
• Автор ключа. Пункти були написані моделлю Claude, тієї ж родини, що й оркестратор, на основі офіційних текстів. Пункти DORA RTS та NIS2 IR були вибірково перевірені за офіційним текстом, а відкладені пункти були перевірені за ним перед запусками. Перевірка ключа експертом-людиною очікується.
• Що опубліковано. Ця сторінка містить методологію та всі основні цифри. Сирі транскрипти залишаються приватними: вони містять ідентифікатори виробничих розмов та дослівний вивід моделі. Завдання, ключ відповідей, оцінювач та оцінені результати зберігаються у нашому внутрішньому репозиторії та не публікуються разом із цією сторінкою.

Що ми стверджуємо і чого не стверджуємо

Ми стверджуємо:

• На тестованих пунктах у п'яти вищезазначених фреймворках Claude Code з ISMS Copilot відповідав точності Claude Code, який досліджує самостійно з пошуком в інтернеті (нічия за точністю в кожному сценарії, згідно з заздалегідь зареєстрованим правилом).
• На цих пошуках і питаннях швидкої поради він витрачав менше коштів API Claude за правильну відповідь (приблизно вдвічі менше у запуску v3, приблизно на три чверті менше у перевірці відкладеного набору від 2026-09-28), і приблизно стільки ж на довгій змішаній сесії.

Ми не стверджуємо:

• Що ISMS Copilot дешевший за Claude або забезпечує певний відсоток економії на вашому рахунку.
• Кращі відповіді, ніж Claude. Результати за точністю – нічиї.
• Будь-що про фреймворки, які ми не тестували, інші оркестратори чи моделі, або перевірку документів.
• Що делегування економить використання Claude на невеликих завданнях, які Claude вже знає. Воно коштувало дорожче.
• Що ходи з делегуванням безкоштовні. Вони враховуються у вашому тарифному плані ISMS Copilot.