Розуміння та запобігання галюцинаціям ШІ

Огляд

AI-галюцинації виникають, коли AI-асистент генерує інформацію, яка звучить впевнено, але фактично є неправильною. У цій статті пояснюється, що таке галюцинації, як ISMS Copilot мінімізує їх появу та як можна перевіряти контент, згенерований штучним інтелектом, на точність і надійність.

Для кого ця стаття

Ця стаття призначена для:

• Фахівців з комплаєнсу, які готуються до аудитів
• Менеджерів з ризиків, які оцінюють надійність штучного інтелекту
• Усіх, хто використовує згенерований штучним інтелектом контент у сфері комплаєнсу
• Користувачів, які хочуть зрозуміти обмеження штучного інтелекту та найкращі практики його використання

Що таке AI-галюцинації?

Визначення

AI-галюцинації — це випадки, коли модель штучного інтелекту генерує інформацію, яка:

• Звучить впевнено та авторитетно
• Здається правдоподібною на перший погляд
• Є фактично неправильною або вигаданою
• Може поєднувати реальну інформацію з хибними деталями

Поширені типи галюцинацій

1. Вигадані факти

• Вигадування номерів контролю ISO, яких не існує
• Посилання на неіснуючі нормативні акти або стандарти
• Створення вигаданих вимог до комплаєнсу
• Придумування статистичних даних або показників

Приклад: "Контроль A.15.3 стандарту ISO 27001 вимагає щоквартального проведення тестування на проникнення." (A.15.3 не існує в ISO 27001:2022)

2. Неправильні деталі

• Помилкове запам'ятовування конкретних вимог контролю
• Плутання контролю між різними фреймворками
• Поєднання застарілих версій стандартів з актуальними
• Неправильний опис процесів сертифікації

Приклад: "У стандарті ISO 27001:2022 є 133 контролі в Додатку A." (Насправді їх 93)

3. Надмірно впевнені припущення

• Подача інтерпретації як остаточної вимоги
• Представлення організаційно-специфічних практик як універсальних правил
• Твердження про певність щодо підходів до впровадження
• Надмірне спрощення складних сценаріїв комплаєнсу

Приклад: "Усі впровадження ISO 27001 повинні використовувати шифрування AES-256." (Стандарти дозволяють гнучкість у виборі відповідних контролів)

4. Плутанина контексту

• Поєднання рекомендацій з різних фреймворків комплаєнсу
• Застосування галузевих вимог універсально
• Плутання рекомендацій з обов'язковими вимогами
• Змішування юридичних вимог з різних юрисдикцій

Чому виникають галюцинації

AI-галюцинації виникають, тому що мовні моделі:

• Генерують імовірнісний текст: Вони передбачають, які слова мають йти далі, ґрунтуючись на шаблонах, а не на фактах
• Не мають зв'язку з реальним світом: Вони насправді не розуміють, про що говорять
• Заповнюють прогалини в знаннях: У разі невизначеності вони можуть генерувати правдоподібний контент
• Змішують інформацію: Вони можуть неправильно поєднувати деталі з різних джерел

Як ISMS Copilot мінімізує галюцинації

1. Динамічне введення знань про фреймворки (v2.5)

Починаючи з лютого 2025 року, ISMS Copilot v2.5 майже повністю усуває галюцинації для питань, пов'язаних з конкретними фреймворками, завдяки динамічному введенню знань про фреймворки:

Як це працює:

• Виявлення фреймворку: Виявлення на основі регулярних виразів ідентифікує згадки фреймворків у ваших питаннях (ISO 27001, GDPR, SOC 2, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701)
• Введення знань: Перевірені знання про фреймворк вводяться в контекст штучного інтелекту перед генерацією відповіді
• Обґрунтовані відповіді: Штучний інтелект відповідає на основі наданої інформації про фреймворк, а не на основі імовірнісних припущень з навчальних даних
• Надійне виявлення: Виявлення без участі штучного інтелекту (шаблони регулярних виразів) гарантує 100% надійність, коли згадуються фреймворки

Підтримувані фреймворки з введенням знань:

• ISO 27001:2022, ISO 42001:2023, ISO 27701:2025
• SOC 2, HIPAA, GDPR, CCPA
• NIS 2, DORA

2. Спеціалізовані навчальні дані

Окрім введення знань про фреймворки, ISMS Copilot навчається на спеціалізованих даних з комплаєнсу:

Основа навчання:

• Власний каталог з сотень реальних проєктів з комплаєнсу
• Практичні знання з впровадження від досвідчених консультантів
• Специфічні рекомендації для різних стандартів комплаєнсу
• Законно отримані, анонімізовані дані, що відповідають вимогам авторського права ЄС

3. Явне визнання невизначеності

ISMS Copilot розроблений так, щоб визнавати, коли він не впевнений:

Що ви побачите:

• "Я все ще можу припускатися помилок. Будь ласка, перевірте цю інформацію..."
• "Хоча я можу надати загальні рекомендації, вам слід звернутися до офіційного стандарту..."
• "Для цілей аудиту, будь ласка, перехресно перевірте це з ISO 27001:2022..."
• "Це базується на поширених практиках, але ваше впровадження може відрізнятися..."

Чому це важливо:

Визнання невизначеності допомагає вам:

• Розуміти, коли потрібна додаткова перевірка
• Оцінювати рівень впевненості відповідей штучного інтелекту
• Уникати сліпої довіри до потенційно неточної інформації
• Вживати відповідних заходів для перевірки критично важливого контенту

4. Обмеження сфери застосування

ISMS Copilot працює лише в межах своєї спеціалізації:

Що це запобігає:

• Генеруванню інформації поза сферою відповідності вимогам
• Змішуванню нерелевантних знань у відповідях щодо відповідності
• Спробам відповідати на запитання поза межами навчання
• Наданню рекомендацій з тем, щодо яких має обмежені знання

Як це працює:

• ШІ ввічливо перенаправляє запитання поза темою до фокусу на відповідності вимогам
• Визнає обмеження, коли його запитують про незнайомі теми
• Пропонує звернутися до відповідних експертів з питань, не пов’язаних з ISMS

5. Обмеження щодо захисту авторських прав

ШІ розроблено таким чином, щоб НЕ відтворювати захищені авторським правом стандарти:

Замість генерування тексту стандартів:

• Направляє вас на придбання офіційних стандартів у авторизованих джерелах
• Надає рекомендації на основі принципів рамкових документів
• Пояснює цілі контролю без цитування точного тексту
• Уникає механічного повторення потенційно захищеного авторським правом контенту

Найкращі практики перевірки

Для фахівців з відповідності вимогам

1. Перехресне посилання на офіційні стандарти

Що перевіряти:

• Номери та описи контролю
• Обов’язкові та рекомендовані вимоги
• Конкретні формулювання нормативних актів
• Критерії та процеси сертифікації

Як перевіряти:

1. Тримайте офіційні стандарти доступними (ISO 27001:2022, критерії SOC 2 тощо)
2. Шукайте згадані номери контролю в самому стандарті
3. Порівнюйте згенеровані ШІ описи з офіційним текстом
4. Перевіряйте версії стандартів (2013 vs. 2022)

2. Перевірка рекомендацій щодо впровадження

Питання для аналізу:

• Чи підходить цей підхід до контексту нашої організації?
• Чи є це впровадження реалістичним для наших ресурсів?
• Чи враховано галузеві особливості?
• Чи прийме аудитор це як доказ?

Процес перевірки:

1. Перегляньте згенеровані ШІ політики або процедури
2. Адаптуйте до специфічного контексту вашої організації
3. Попросіть експерта з відповідності вимогам або аудитора перевірити
4. Протестуйте впровадження перед використанням

3. Перевірка внутрішньої узгодженості

Ознаки проблем:

• Суперечливі твердження в межах однієї відповіді
• Номери контролю, які виглядають незвично (наприклад, A.27.5, коли стандарт містить лише до A.8)
• Вимоги, що суперечать відомим принципам рамкових документів
• Надто конкретні вимоги, які рамкові документи зазвичай залишають гнучкими

4. Перевірка статистичних даних та показників

Коли ШІ надає цифри:

• Кількість контрольних заходів у стандарті
• Статистичні дані або відсотки щодо відповідності вимогам
• Орієнтовні терміни сертифікації
• Орієнтовні витрати на впровадження

Кроки перевірки:

1. Перевіряйте офіційну документацію стандартів щодо кількості
2. Шукайте згадані дослідження або звіти
3. Враховуйте, що терміни та витрати можуть значно відрізнятися
4. Сприймайте оцінки як загальні рекомендації, а не гарантії

Для аудиторів та оцінювачів

1. Відмінність контенту, згенерованого ШІ, від створеного людиною

Можливі ознаки контенту, згенерованого ШІ:

• Узагальнена, шаблонна мова
• Відсутність специфічних для організації деталей
• Надто всеохоплююче висвітлення без глибини
• Ідеальне форматування, але відсутність контекстуальної релевантності

На що звертати увагу:

• Докази адаптації до організації
• Конкретні деталі впровадження
• Розуміння контексту бізнес-процесів
• Інтеграція з існуючими політиками та процедурами

2. Оцінка глибини впровадження

Питання для аналізу:

• Чи може персонал пояснити політику своїми словами?
• Чи є конкретні приклади застосування політики?
• Чи відповідає документація реальній практиці?
• Чи є аудиторські сліди, що підтверджують виконання політики?

Поширені сценарії галюцинацій

Сценарій 1: Некоректні посилання на контрольні заходи

Приклад галюцинації:

"Для відповідності контрольному заходу A.14.2 ISO 27001 необхідно проводити щорічне тестування на проникнення."

Чому це неправильно:

• У ISO 27001:2022 немає розділу A.14 (переструктуровано з версії 2013 року)
• Нумерація контрольних заходів змінилася між версіями
• Щорічне тестування є інтерпретацією, а не вимогою

Як це виявити:

1. Перевірте, з якою версією ISO 27001 ви працюєте
2. Знайдіть фактичний контрольний захід у Додатку A
3. Перевірте формулювання вимоги в офіційному стандарті

Сценарій 2: Змішування рамкових документів

Приклад галюцинації:

"ISO 27001 вимагає щорічного аудиту SOC 2 Type II."

Чому це неправильно:

• ISO 27001 та SOC 2 є окремими, незалежними рамковими документами
• Сертифікація ISO 27001 має власний процес аудиту
• SOC 2 Type II — це інша процедура забезпечення впевненості

Як це виявити:

• Розумійте межі кожного рамкового документа
• Розпізнавайте, коли рамкові документи плутають
• Запитуйте: "Чи дійсно цей рамковий документ вимагає цього?"

Сценарій 3: Надмірно жорсткі вимоги

Приклад галюцинації:

"GDPR вимагає використання шифрування AES-256 для всіх персональних даних."

Чому це неправильно:

• GDPR вимагає "належного" рівня безпеки, а не конкретних алгоритмів
• Рівень шифрування має відповідати рівню ризику
• Організації мають гнучкість у виборі контрольних заходів

Як це виявити:

• Ставтеся скептично до надмірно конкретних технічних вимог
• Перевіряйте, чи використовує регуляторний акт мову, засновану на принципах
• Враховуйте, що рамкові документи, засновані на ризиках, дозволяють гнучкість

Сценарій 4: Сфабриковані терміни сертифікації

Приклад галюцинації:

"Сертифікація ISO 27001 триває рівно 6-9 місяців від початку до кінця."

Чому це вводить в оману:

• Терміни значно відрізняються залежно від розміру організації, зрілості та ресурсів
• Деяким організаціям потрібно 3 місяці, іншим — 2+ роки
• Складність впровадження визначає терміни, а не фіксований графік

Як це виявити:

• Визнайте, що оцінки термінів — це лише оцінки
• Враховуйте специфічний контекст вашої організації
• Консультуйтеся з аудиторами або консультантами для реалістичного планування

Ефективне використання відповідей ШІ

Сприймайте ШІ як чернетку, а не остаточний результат

Рекомендований робочий процес:

1. Генерація: Використовуйте ISMS Copilot для створення початкових чернеток політик або процедур
2. Перевірка: Експерт з комплаєнсу перевіряє на точність і повноту
3. Налаштування: Адаптуйте до контексту організації, процесів та профілю ризиків
4. Верифікація: Звіряйте з офіційними стандартами та нормами
5. Валідація: Перевіряйте можливість та ефективність впровадження
6. Затвердження: Остаточне схвалення кваліфікованим фахівцем з комплаєнсу

Ставте уточнювальні запитання

Коли щось здається підозрілим:

• "Можете уточнити, з якої версії ISO 27001 цей контроль?"
• "Яке джерело цієї вимоги?"
• "Це обов'язкова вимога чи рекомендація?"
• "Як це застосовується до [конкретної галузі/контексту]?"

Переваги:

• Допомагає ШІ надавати більш конкретну та точну інформацію
• Прояснює невизначені моменти
• Виявляє потенційні галюцинації через невідповідності

Надавайте контекст для підвищення точності

Включайте у свої запитання:

• Розмір та галузь вашої організації
• Конкретну версію рамкового стандарту, з якою ви працюєте
• Поточний рівень зрілості вашої СУІБ
• Регуляторні вимоги, специфічні для вашої юрисдикції

Приклад контекстуалізованого запитання:

"Ми — SaaS-компанія з 50 співробітниками, яка вперше впроваджує ISO 27001:2022. Які ключові кроки для впровадження політик контролю доступу для контрольного пункту 5.15 Додатка A?"

Коли довіряти відповідям ШІ

Сценарії з вищим рівнем довіри

Відповіді ШІ зазвичай більш надійні для:

• Загальних оглядів рамкових стандартів та принципів
• Поширених підходів до впровадження
• Типових кроків підготовки до аудиту
• Загальних найкращих практик комплаєнсу
• Мозкового штурму змісту політик
• Розуміння цілей контролю

Сценарії з нижчим рівнем довіри

Будьте особливо обережні та перевіряйте, коли ШІ надає:

• Конкретні номери контрольних пунктів або посилання
• Точні формулювання нормативних вимог
• Статистичні дані, відсотки або показники
• Оцінки термінів або вартості
• Юридичні тлумачення або поради
• Нюанси комплаєнсу для конкретної галузі

Навчання команди

Підготовка персоналу щодо обмежень ШІ

Ключові повідомлення для передачі:

• ШІ — це інструмент для допомоги, а не заміна експертизи з комплаєнсу
• Весь контент, згенерований ШІ, має бути перевірений та верифікований
• Галюцинації можуть траплятися навіть зі спеціалізованим ШІ
• Критичні рішення потребують людського судження та перевірки

Встановлення процесів перевірки

Рекомендоване управління:

1. Призначте кваліфікованих рецензентів для контенту, згенерованого ШІ
2. Створіть контрольні списки для верифікації (номери контрольних пунктів, вимоги тощо)
3. Забезпечте доступ до офіційних стандартів для звірки
4. Документуйте перевірку та затвердження для аудиторських слідів
5. Відстежуйте випадки галюцинацій для покращення запитів

Повідомлення про галюцинації

Допоможіть покращити систему

Якщо ви виявили галюцинацію у відповідях ISMS Copilot:

1. Задокументуйте галюцинацію:

• Ваше точне запитання або запит
• Відповідь ШІ (скріншот)
• Що було невірно
• Правильна інформація (із джерелом)

2. Повідомте про це в службу підтримки:

• Натисніть меню користувача → Довідковий центр → Зв'язатися зі службою підтримки
• Додайте "Звіт про галюцинацію" у тему
• Надайте документацію з кроку 1

3. Служба підтримки розслідує та може оновити навчальні дані або обмеження

Технічні засоби захисту

Як ISMS Copilot обмежує ризик галюцинацій

Архітектурні підходи:

• Спеціалізоване навчання на домені комплаєнсу (не загальні знання)
• Визнання невизначеності в системних запитах
• Обмеження сфери дії для запобігання відповідям поза доменом
• Захист авторських прав, що запобігає сфабрикованому тексту стандартів
• Регулярне оновлення бази знань актуальними стандартами

Майбутні покращення

ISMS Copilot постійно працює над зменшенням галюцинацій через:

• Розширення навчальних даних перевіреною інформацією з комплаєнсу
• Впровадження генерації з доповненням пошуком (RAG) для посилань на джерела
• Додавання оцінок впевненості до відповідей
• Покращення обізнаності щодо версій рамкових стандартів
• Розробку механізмів перевірки фактів

Порівняння: ISMS Copilot та універсальні інструменти ШІ

Короткий огляд найкращих практик

Для максимальної точності

• ✓ Надавайте конкретний контекст у своїх запитаннях
• ✓ Вказуйте версії фреймворків (ISO 27001:2022, а не просто "ISO 27001")
• ✓ Просіть пояснень, а не лише відповідей
• ✓ Перевіряйте номери контролів за офіційними стандартами
• ✓ Верифікуйте статистику, часові рамки та конкретні твердження
• ✓ Розглядайте вихідні дані ШІ як перший варіант, що потребує експертної перевірки
• ✓ Повідомляйте про галюцинації, щоб покращити систему

Ознаки, на які слід звернути увагу

• ✗ Надто конкретні вимоги там, де фреймворки дозволяють гнучкість
• ✗ Номери контролів, які здаються незвичними або некоректними
• ✗ Суперечливі твердження в межах однієї відповіді
• ✗ Змішування вимог з різних фреймворків
• ✗ Статистика без джерел
• ✗ Абсолютні твердження ("завжди має бути", "ніколи не дозволяється")

Що далі

• Дізнайтеся про інші заходи безпеки та обмеження ШІ
• Починайте ставити кращі запитання, щоб отримувати точні відповіді
• Налаштуйте робочі простори для організації проєктів з комплаєнсу
• Відвідайте Центр довіри для детальної інформації про управління ШІ

Отримання допомоги

Якщо у вас виникли запитання щодо точності ШІ та галюцинацій:

• Ознайомтеся з Центром довіри для деталей управління ШІ
• Зверніться до служби підтримки, щоб повідомити про конкретні галюцинації
• Додайте "Звіт про галюцинацію" у тему листа для швидшого опрацювання
• Надайте детальні приклади, щоб покращити систему