Модерація контенту та безпека - ISMS Copilot
ISMS Copilot використовує автоматичну модерацію контенту для виявлення та запобігання небажаному або шкідливому вмісту в чатах. Цей процес працює у фоновому режимі…
ISMS Copilot використовує автоматичну модерацію контенту для виявлення та запобігання небажаному або шкідливому вмісту в повідомленнях чату. Цей процес працює у фоновому режимі, щоб забезпечити безпечне та відповідне до вимог середовище для всіх користувачів, зберігаючи вашу конфіденційність та швидкість роботи.
Модерація виконується асинхронно після надсилання повідомлення — це не додає затримок до вашого чат-досвіду.
Як працює модерація
Коли ви надсилаєте повідомлення в чаті, ISMS Copilot миттєво зберігає його та надає відповідь від штучного інтелекту без затримок. Паралельно у фоновому режимі запускається перевірка контенту на модерацію:
- Аналіз повідомлення — Ваше повідомлення надсилається до API модерації (OpenAI за замовчуванням, Mistral AI для користувачів із розширеним захистом даних)
- Перевірка категорій — API сканує на наявність порушень політики, включаючи мову ворожнечі, домагання, насильство, самопошкодження та інший шкідливий вміст
- Фіксація результату — Результат модерації зберігається в журналах аудиту з оцінками категорій та мітками часу
- Сповіщення адміністраторів — Якщо контент позначено, наша команда отримує автоматичне сповіщення для перевірки
Цей процес повністю автоматизований і працює за принципом "відправив і забув" — ваш чат продовжується без перерв.
Постачальники послуг модерації
ISMS Copilot використовує різні API модерації залежно від налаштувань захисту даних:
- OpenAI Moderation API — Використовується за замовчуванням для всіх користувачів. Перевіряє на наявність: сексуального контенту, мови ворожнечі, домагань, насильства, самопошкодження
- Mistral AI Moderation API — Використовується, коли увімкнено розширений захист даних. Перевіряє на наявність: сексуального контенту, мови ворожнечі та дискримінації, насильства та погроз, небезпечного та кримінального контенту, самопошкодження, питань здоров'я, фінансів, права, персональних даних (PII)
Категорії Mistral включають перевірку на теми здоров'я, фінансів, права та персональних даних. Це може іноді позначати легітимні обговорення відповідності ISMS. Наша команда переглядає всі сповіщення, щоб уникнути хибних спрацьовувань.
Розширений захист даних та модерація
Якщо ви увімкнули розширений захист даних, ваші повідомлення в чаті зазвичай не зберігаються на наших серверах і не надсилаються стороннім постачальникам штучного інтелекту. Однак модерація контенту створює одне виключення:
- Чисті повідомлення — Вміст повідомлень НЕ зберігається; лише метадані та оцінки модерації зберігаються протягом 30 днів
- Позначені повідомлення — Повний вміст завжди зберігається протягом 1 року та включається в сповіщення адміністраторів, незалежно від налаштувань розширеного захисту даних
Перевизначення безпеки: Позначений контент завжди зберігається та передається нашій команді, навіть якщо увімкнено розширений захист даних. Це необхідно для дотримання вимог законодавства, запобігання зловживанням та підтримки безпеки платформи для всіх користувачів.
Це перевизначення базується на правомірному інтересі згідно зі статтею 6(1)(f) GDPR — запобігання шкоді та виконання нашої Політики допустимого використання є правомірним інтересом, який переважає індивідуальні уподобання щодо захисту даних у позначених випадках.
Зберігання даних
Події модерації зберігаються за таким графіком:
- Непозначені події — Метадані та оцінки модерації зберігаються протягом 30 днів; вміст повідомлень НЕ зберігається
- Позначені події — Повний вміст повідомлень та метадані зберігаються протягом 1 року для цілей аудиту та дотримання вимог законодавства
Вміст позначених повідомлень може зберігатися довше, якщо це необхідно для тривалих розслідувань, судових процесів або регуляторних зобов'язань.
Що відбувається, коли контент позначено
Коли API модерації позначає ваше повідомлення як таке, що потенційно порушує наші політики:
- Надсилання сповіщення — Наша команда адміністраторів отримує сповіщення через вебхук із позначеними категоріями, міткою часу та попереднім переглядом повідомлення
- Ручна перевірка — Член команди переглядає повідомлення та контекст, щоб підтвердити, чи порушує воно нашу Політику допустимого використання
- Дії (у разі підтвердження) — Ми можемо зв'язатися з вами, винести попередження, тимчасово обмежити функції або припинити дію вашого облікового запису залежно від серйозності та повторюваності порушень
- Хибні спрацьовування — Якщо позначення було помилковим (наприклад, легітимне обговорення відповідності), жодних дій не вживається
Обмеження частоти: Ви можете викликати лише одне сповіщення про модерацію на годину. Наступні позначені повідомлення протягом цього періоду фіксуються, але не генерують дубльованих сповіщень.
Конфіденційність та прозорість
Ми прагнемо до прозорості щодо наших практик модерації:
- Немає прихованої цензури — Ми не блокуємо та не фільтруємо ваші повідомлення в режимі реального часу. Модерація призначена для забезпечення безпеки, а не контролю контенту
- Сторонні обробники — OpenAI (зі штаб-квартирою в США) та Mistral AI (зі штаб-квартирою у Франції) виступають субобробниками лише для модерації. Детальніше див. у нашому Реєстрі обробки дій
- Повне розкриття — Ця політика та наша Політика конфіденційності документують усі потоки даних модерації та правові підстави
Правова основа
Модерація контенту базується на:
- Правомірному інтересі (ст. 6(1)(f) GDPR) — Запобігання зловживанням, виконання наших умов та підтримка безпеки платформи
- Контрактній необхідності (ст. 6(1)(b) GDPR) — Виконання наших Умов надання послуг та Політики допустимого використання
- Юридичному зобов'язанні (ст. 6(1)(c) GDPR) — Дотримання чинного законодавства, яке вимагає видалення або повідомлення про незаконний контент
Ваші права
Згідно з GDPR, ви маєте права щодо ваших даних модерації:
- Доступ — Запит копій подій модерації, пов'язаних з вашим обліковим записом
- Виправлення — Запит на виправлення неточних записів модерації
- Видалення — Запит на видалення непозначених даних модерації (позначені дані можуть зберігатися для дотримання вимог законодавства)
- Заперечення — Заперечення проти обробки даних модерації, хоча ми можемо продовжити, якщо маємо вагомі правомірні підстави (безпека, юридичні зобов'язання)
Щоб скористатися своїми правами або поставити запитання щодо модерації, зв'яжіться з нами за адресою contact@ismscopilot.com.
Запитання?
Для отримання додаткової інформації про наші практики конфіденційності та безпеки див.: