Resumen de Seguridad y Uso Responsable de la IA

Resumen

ISMS Copilot implementa medidas integrales de seguridad de IA para garantizar asistencia confiable, fiable y responsable para profesionales en cumplimiento. Este artículo explica las salvaguardas, restricciones de seguridad y prácticas de IA responsable integradas en la plataforma.

A Quién Va Dirigido

Este artículo es para:

• Profesionales en cumplimiento que evalúan medidas de seguridad de IA
• Gestores de riesgos que evalúan controles de gobernanza de IA
• Equipos de seguridad preocupados por el uso indebido de la IA
• Cualquier persona que desee entender cómo ISMS Copilot garantiza el uso responsable de la IA

Principios de Seguridad de la IA

El marco de seguridad de IA de ISMS Copilot se basa en cuatro principios fundamentales:

1. Limitación de Propósito

El asistente de IA está diseñado exclusivamente para el trabajo en seguridad de la información y cumplimiento:

• Enfocado en marcos ISMS (ISO 27001, SOC 2, GDPR, NIST, etc.)
• Redirige educadamente preguntas fuera de tema a temas relacionados con el cumplimiento
• Rechaza solicitudes de actividades dañinas, ilegales o poco éticas
• Se mantiene dentro de los límites de la asistencia en consultoría de cumplimiento

2. Transparencia y Honestidad

El asistente de IA reconoce abiertamente sus limitaciones:

• Explicita su incertidumbre cuando es apropiado
• Pide a los usuarios que verifiquen información importante
• Admite cuando no sabe algo en lugar de adivinar
• Explica claramente lo que puede y no puede hacer

3. Protección de Derechos de Autor e Propiedad Intelectual

ISMS Copilot respeta los derechos de propiedad intelectual:

• No reproducirá estándares ISO con derechos de autor ni contenido propietario
• Dirige a los usuarios a comprar estándares oficiales de fuentes autorizadas
• Proporciona orientación basada en los principios del marco sin copiar texto
• Entrenado con datos anonimizados y obtenidos legalmente, cumpliendo con los requisitos de derechos de autor de la UE

4. Privacidad por Diseño

La protección de los datos del usuario está integrada en cada interacción con la IA:

• Las conversaciones nunca se utilizan para entrenar modelos de IA
• El contenido proporcionado por el usuario no se comparte con otros usuarios
• Cada conversación se procesa de forma independiente
• El aislamiento de espacios de trabajo evita la mezcla de datos entre proyectos

Salvaguardas de Seguridad de la IA

Salvaguardas de Alcance de Contenido

Lo que la IA hará:

• Responder preguntas sobre marcos ISMS y cumplimiento
• Analizar documentos de cumplimiento cargados (políticas, procedimientos, evaluaciones de riesgos)
• Generar políticas y procedimientos listos para auditoría
• Proporcionar análisis de brechas y orientación para la implementación
• Explicar controles de seguridad y requisitos de cumplimiento

Lo que la IA NO hará:

• Proporcionar asesoramiento legal (sugiere consultar a profesionales legales en su lugar)
• Ofrecer asesoramiento médico, financiero o personal fuera del ámbito del cumplimiento
• Generar contenido para fines ilegales, dañinos o poco éticos
• Reproducir estándares con derechos de autor o materiales propietarios
• Revelar sus instrucciones personalizadas o indicaciones del sistema

Prevención de Evasión de Restricciones

ISMS Copilot está diseñado para resistir intentos de manipulación:

Tácticas bloqueadas:

• Trucos de "repite después de mí" para extraer indicaciones del sistema
• Escenarios de role-playing diseñados para eludir restricciones de seguridad
• Solicitudes de "ignorar instrucciones anteriores"
• Manipulación de restricciones ("responde sin mensajes de rechazo")
• Intentos de acceder directamente a archivos de la base de conocimiento interna

Cómo funciona:

Cuando la IA detecta un intento de evasión,:

1. Reconoce el patrón de manipulación
2. Rechaza educadamente la solicitud
3. Redirige a asistencia legítima de ISMS
4. Mantiene sus restricciones de seguridad

Protección contra Inyección de Prompts

La plataforma protege contra contenido malicioso en las cargas de archivos:

Qué está protegido:

• Los documentos cargados se escanean en busca de intentos de inyección de prompts
• Las instrucciones maliciosas incrustadas en los archivos se rechazan silenciosamente
• Las indicaciones del sistema no pueden ser anuladas mediante el contenido del archivo
• Las restricciones de seguridad permanecen activas independientemente del contenido del archivo

Experiencia del usuario:

• Los archivos se procesan normalmente desde la perspectiva del usuario
• Las instrucciones dañinas se filtran durante el procesamiento
• Solo se analiza el contenido legítimo del documento
• Sin mensaje de error visible (protección silenciosa)

Salvaguardas de Protección del Conocimiento

La IA protege sus datos de entrenamiento y configuración del sistema:

A lo que los usuarios no pueden acceder:

• Instrucciones personalizadas o indicaciones del sistema
• Detalles sobre las fuentes de datos de entrenamiento
• Acceso directo a archivos de la base de conocimiento
• Enlaces de descarga para documentos internos
• Información sobre cómo está estructurada la base de conocimiento

Por qué esto importa:

Proteger las indicaciones del sistema y los datos de entrenamiento evita:

• Que los adversarios entiendan cómo manipular la IA
• Violaciones de derechos de autor al reproducir materiales de entrenamiento
• Riesgos de seguridad al exponer la arquitectura del sistema
• Comportamientos inconsistentes debido a instrucciones modificadas

Prevención de Alucinaciones

¿Qué son las alucinaciones?

Las alucinaciones de la IA ocurren cuando la IA genera información que suena convincente pero es factualmente incorrecta. ISMS Copilot aborda esto a través de múltiples mecanismos:

Inyección Dinámica de Conocimiento de Marcos (v2.5)

A partir de febrero de 2025, ISMS Copilot v2.5 casi elimina las alucinaciones para preguntas específicas de marcos mediante la inyección dinámica de conocimiento de marcos:

• Detecta menciones de marcos en tus preguntas utilizando coincidencia de patrones regex (ISO 27001, GDPR, SOC 2, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701, Ley de IA de la UE)
• Inyecta conocimiento verificado del marco en el contexto de la IA antes de generar respuestas
• La IA responde basándose en el conocimiento del marco proporcionado, no en la memoria probabilística
• La detección no basada en IA garantiza un 100% de fiabilidad cuando se mencionan marcos
• Admite 10 marcos con inyección de conocimiento dedicada

Entrenamiento en Conocimiento del Mundo Real

Más allá de la inyección de conocimiento de marcos, ISMS Copilot está entrenado en conocimiento especializado en cumplimiento:

• Biblioteca propietaria de conocimiento de cumplimiento de cientos de proyectos de consultoría reales
• Basado en experiencia de implementación práctica, no en información teórica
• Enfocado en marcos, estándares y prácticas probadas
• Actualizado regularmente con requisitos de cumplimiento actuales

Reconocimiento de Incertidumbre

La IA está instruida para ser honesta sobre sus limitaciones:

• Explica explícitamente cuando no está segura de la información
• Pide a los usuarios que verifiquen información crítica
• Evita inventar hechos cuando el conocimiento es incompleto
• Sugiere consultar estándares oficiales o profesionales legales cuando sea apropiado

Ejemplo de respuesta:

"Aunque puedo proporcionar orientación general sobre el control A.8.1 de la ISO 27001, es probable que cometa errores. Para fines de auditoría, verifique esta información con el estándar oficial ISO 27001:2022."

Responsabilidad de Verificación del Usuario

ISMS Copilot enfatiza que los usuarios deben:

• Contrastar las sugerencias de la IA con los estándares oficiales
• Validar información crítica antes de presentarla a los auditores
• Utilizar la IA como asistente de un consultor, no como reemplazo de la experiencia
• Ejercer juicio profesional al aplicar las recomendaciones de la IA

Límites de Tasa y Protección de Recursos

Límites de Tasa de Mensajes

ISMS Copilot implementa límites de tasa para prevenir abusos y garantizar un acceso justo:

Plan Gratuito:

• 10 mensajes por ventana móvil de 4 horas
• El contador se reinicia después de 4 horas desde el primer mensaje
• Aplicado tanto en el frontend como en el backend

Planes de Pago (Plus, Standard, Pro, Business):

• Más créditos por sesión (50 a 400 dependiendo del plan)
• Sin restricciones de límites de tasa
• Procesamiento prioritario

Cuando se alcanza el límite de tasa:

Verás el mensaje de error: "Límite diario de mensajes alcanzado. Por favor, actualiza para obtener más créditos por sesión."

Límites de Carga de Archivos

Las cargas de archivos tienen restricciones de seguridad para proteger los recursos del sistema:

Tamaño del archivo:

• Máximo: 10 MB por archivo
• Mensaje de error: "El archivo 'documento.pdf' es demasiado grande (15.23 MB). El tamaño máximo permitido es 10 MB."

Tipos de archivo admitidos:

• TXT, CSV, JSON (archivos de texto)
• PDF (documentos)
• DOC, DOCX (Microsoft Word)
• XLS, XLSX (Microsoft Excel)

Restricciones de carga:

• Un archivo a la vez (no se admite la carga por lotes)
• No se pueden cargar archivos duplicados para el mismo mensaje
• Los tipos de archivo no admitidos son rechazados con un mensaje de error

Modo de Chat Temporal

¿Qué es el Chat Temporal?

El modo de chat temporal ofrece conversaciones que preservan la privacidad con un manejo específico de datos:

Cómo funciona:

1. Selecciona "Chat Temporal" desde la pantalla de bienvenida
2. Verás el aviso: "Este chat no aparecerá en el historial. Por motivos de seguridad, podemos conservar una copia de este chat hasta 30 días."
3. Envía mensajes y carga archivos como de costumbre
4. La conversación no se añade a tu historial de conversaciones
5. Los datos pueden conservarse hasta 30 días para revisión de seguridad

Cuándo usar el Chat Temporal:

• Preguntas puntuales que no necesitan guardarse
• Discusiones sensibles que no deseas en el historial permanente
• Pruebas de consultas antes de comprometerte con un espacio de trabajo
• Investigación exploratoria sobre temas de cumplimiento

Controles de Retención de Datos

Retención Controlada por el Usuario

Tú decides cuánto tiempo se almacenan los datos de tus conversaciones:

1. Haz clic en el icono del menú de usuario (arriba a la derecha)
2. Selecciona Configuración
3. En el campo Período de Retención de Datos, elige:

• Mínimo: 1 día (trabajo de alta seguridad y corto plazo)
• Máximo: 24,955 días / 7 años (documentación a largo plazo)
• O haz clic en Mantener para siempre para retención indefinida

4. Haz clic en Guardar Configuración

Resultado esperado: El cuadro de diálogo de configuración se cierra y se guarda el período de retención.

Eliminación Automática de Datos

ISMS Copilot elimina automáticamente los datos antiguos:

• El trabajo de eliminación se ejecuta diariamente
• Elimina mensajes más antiguos que tu período de retención
• Borra los archivos cargados asociados
• Es permanente y no se puede recuperar

Funciones de Seguridad del Espacio de Trabajo

Aislamiento de Datos

Los espacios de trabajo proporcionan límites de seguridad para diferentes proyectos:

Cómo funciona el aislamiento:

• Cada espacio de trabajo tiene un historial de conversaciones separado
• Los archivos cargados están vinculados a espacios de trabajo específicos
• Las instrucciones personalizadas son específicas del espacio de trabajo
• Eliminar un espacio de trabajo elimina todos los datos asociados
• La IA no comparte información entre espacios de trabajo

Seguridad de las Instrucciones Personalizadas

Los espacios de trabajo permiten instrucciones personalizadas con restricciones de seguridad:

Qué pueden hacer las instrucciones personalizadas:

• Especificar el enfoque en marcos de cumplimiento particulares
• Establecer el tono o nivel de detalle para las respuestas
• Definir el contexto específico del proyecto (industria, tamaño de la organización)
• Guiar a la IA hacia objetivos específicos de cumplimiento

Restricciones de seguridad:

• Las instrucciones personalizadas deben estar relacionadas con el cumplimiento
• No pueden anular las salvaguardas de seguridad principales
• No pueden instruir a la IA para que ignore las protecciones de derechos de autor
• No pueden eludir las limitaciones de alcance de contenido

No se Entrena con Datos del Usuario

Garantía de Privacidad

ISMS Copilot se compromete a nunca utilizar tus datos para el entrenamiento de IA:

Qué significa esto:

• Tus conversaciones nunca se retroalimentan al modelo de IA
• Los documentos cargados permanecen confidenciales y privados
• La información del cliente nunca contribuye a la mejora del modelo
• Cada conversación se procesa de forma independiente sin aprendizaje

Cómo te protege esto:

• Se mantiene la confidencialidad del cliente
• La información propietaria permanece privada
• Los datos sensibles de cumplimiento no se comparten con otros usuarios
• No hay riesgo de que la IA revele accidentalmente tu información a otros

Transparencia en el Procesamiento de Datos

ISMS Copilot es transparente sobre cómo se utilizan tus datos:

Cómo se utiliza tu información:

• Procesar tus preguntas para generar respuestas
• Analizar documentos cargados para el análisis de brechas
• Mantener el contexto de la conversación dentro de un espacio de trabajo
• Almacenar datos según tu configuración de retención
• Monitoreo de seguridad hasta por 30 días (para prevenir abusos)

Cómo NO se utiliza tu información:

• Entrenamiento o ajuste fino de modelos de IA
• Compartir con otros usuarios o clientes
• Fines de marketing o publicidad
• Vender a terceros
• Divulgación pública o estudios de caso (sin permiso explícito)

Autenticación y Control de Acceso

Requisitos de Autenticación del Usuario

Todas las interacciones con la IA requieren autenticación:

• No se pueden enviar mensajes sin iniciar sesión
• El token JWT valida cada solicitud a la API
• Las sesiones expiran después de un período de inactividad
• La seguridad a nivel de fila garantiza que los usuarios solo vean sus propios datos

Protección entre Usuarios

El aislamiento a nivel de base de datos evita el acceso no autorizado:

• Los usuarios no pueden acceder a las conversaciones de otros usuarios
• Intentar acceder a los datos de otro usuario devuelve resultados vacíos
• Todas las consultas filtran automáticamente por ID de usuario autenticado
• Incluso los administradores siguen el principio de mínimo privilegio

Mejores Prácticas de IA Responsable

Para Usuarios

Obteniendo los mejores resultados:

• Haz preguntas específicas relacionadas con marcos (ej. "¿Cómo implemento el control A.8.1 de la ISO 27001?")
• Proporciona contexto sobre tu organización y objetivos de cumplimiento
• Sube documentos relevantes para un análisis de brechas preciso
• Revisa y refina el contenido generado por la IA antes de usarlo

Prácticas de verificación:

• Contrasta las sugerencias de la IA con los estándares oficiales
• Valida la información crítica con expertos en cumplimiento
• Prueba las políticas generadas por la IA en el contexto de tu organización
• Utiliza la IA como asistente, no como reemplazo de la experiencia

Para Organizaciones

Prácticas de gobernanza:

• Documenta el uso de ISMS Copilot en tu política de gobernanza de IA
• Capacita al personal sobre el uso apropiado y las limitaciones
• Establece períodos de retención de datos alineados con tus políticas
• Revisa el contenido generado por la IA antes de la presentación oficial
• Mantén supervisión humana para decisiones críticas de cumplimiento

Gestión de riesgos:

• Incluye herramientas de IA en las Evaluaciones de Impacto en la Protección de Datos (DPIA)
• Documenta los acuerdos de procesamiento de datos con ISMS Copilot
• Establece períodos de retención apropiados para datos sensibles
• Utiliza espacios de trabajo para aislar datos de diferentes clientes o proyectos

Gobernanza de IA en la Práctica

Más allá de las restricciones de seguridad, operamos nuestros sistemas de IA con gobernanza de ciclo de vida completo. Así es como nuestras políticas se traducen en prácticas tangibles:

Proceso de Desarrollo

Requisitos y Pruebas:

• Cada función de IA tiene requisitos documentados que cubren capacidades funcionales, umbrales de rendimiento, restricciones de seguridad y estándares de manejo de datos
• Las pruebas de regresión se ejecutan en cada cambio de código para validar la precisión de la recuperación, el fundamento de las respuestas y la detección de alucinaciones
• Las pruebas de seguridad incluyen escaneos SAST/DAST, pruebas de penetración anuales y pruebas de inyección de prompts
• No se realiza ninguna implementación hasta que el 100% de las pruebas de regresión pasen y todas las vulnerabilidades críticas sean resueltas

Detalles de Arquitectura (v2.5, febrero 2025):

• Arquitectura de inyección dinámica de conocimiento de marcos (reemplaza el enfoque RAG anterior)
• Detección de marcos basada en regex garantiza la identificación confiable de ISO 27001, SOC 2, GDPR, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701, Ley de IA de la UE
• Eficiencia de tokens: Solo se carga el conocimiento relevante del marco (vs. enviar todos los ~10K tokens en cada solicitud)
• Conocimiento verificado del marco proporcionado a la IA antes de la generación de respuestas
• Proveedores de IA configurables (Mistral, xAI, OpenAI) con acuerdos de cero retención de datos

Monitoreo y Mejora Continua

Qué monitoreamos:

• Tasas de alucinación rastreadas a través de informes de usuarios y detección automatizada contra verdades conocidas
• Precisión de las respuestas muestreada y validada contra estándares oficiales de cumplimiento
• Patrones de uso analizados para detectar usos indebidos o aplicaciones no intencionadas
• Métricas de rendimiento (tiempo de respuesta, precisión de recuperación, tasas de error) medidas continuamente
• Retroalimentación de usuarios revisada regularmente para identificar riesgos emergentes

Cómo el monitoreo impulsa la mejora:

• La retroalimentación de los usuarios informa las actualizaciones del modelo y el ajuste de la recuperación
• Los resultados de las pruebas de seguridad impulsan mejoras en la seguridad
• Los cambios regulatorios y las actualizaciones de mejores prácticas se reflejan en la documentación
• Los datos de rendimiento guían mejoras iterativas en la precisión y velocidad

Respuesta a Incidentes

Cómo comunicamos los problemas:

• Alertas por correo electrónico para incidentes críticos que afectan la funcionalidad de la IA
• Notificaciones en Slack para equipos con integraciones configuradas
• Actualizaciones en la página de estado con cronogramas de incidentes y resoluciones
• Notificaciones tempranas compatibles con NIS2 (notificación de 24 horas para incidentes significativos de ciberseguridad)

Reportar Problemas de Seguridad

Cuándo Reportar

Contacta al soporte de ISMS Copilot si encuentras:

• Respuestas de la IA que violan las restricciones de seguridad
• Posibles alucinaciones o información factualmente incorrecta
• Violaciones de derechos de autor en la salida de la IA
• Contenido o comportamiento inapropiado
• Vulnerabilidades de seguridad en el sistema de IA
• Brechas de privacidad o fugas de datos

Cómo Reportar

1. Haz clic en el icono del menú de usuario (arriba a la derecha)
2. Selecciona Centro de Ayuda → Contactar al Soporte
3. Describe el problema de seguridad con:

• La pregunta o prompt exacto que utilizaste
• La respuesta de la IA (captura de pantalla si es posible)
• Por qué crees que es un problema de seguridad
• Fecha y hora de la interacción

4. El soporte investigará y responderá en un plazo de 48 horas

Qué Sucede Después de Reportar

Tu reporte activa nuestro proceso de gobernanza:

1. Revisión inmediata (en 48 horas): El equipo de soporte evalúa la gravedad y el impacto
2. Investigación: El equipo técnico analiza el problema, reproduce el incidente e identifica la causa raíz
3. Respuesta: Recibes una actualización sobre los hallazgos y las acciones planificadas
4. Remediación: Los problemas se abordan mediante actualizaciones del modelo, ajuste de la recuperación, correcciones de código o mejoras en la documentación
5. Mejora continua: Las lecciones aprendidas se integran en los procesos de prueba y monitoreo

Limitaciones y Restricciones Conocidas

Limitaciones Actuales de la IA

• No puede navegar por internet para obtener información actualizada (utiliza la base de conocimiento entrenada)
• No puede acceder a bases de datos externas o APIs en tiempo real
• No puede ejecutar código o ejecutar herramientas de pruebas de seguridad
• No puede realizar llamadas telefónicas ni enviar correos electrónicos en tu nombre
• No puede garantizar un 100% de precisión (siempre verifica la información crítica)

Límites de Alcance

• Enfocado en ISMS y cumplimiento (no es una IA de propósito general)
• No puede proporcionar asesoramiento legal, médico o financiero fuera del contexto de cumplimiento
• No puede reemplazar estándares oficiales o el juicio de un auditor
• No puede garantizar el éxito en una auditoría (la calidad de la implementación importa)

Próximos Pasos

• Aprende sobre las medidas de seguridad y cifrado de datos
• Entiende tus derechos de privacidad bajo el GDPR
• Configura espacios de trabajo para el aislamiento de datos
• Visita el Centro de Confianza para documentación detallada sobre gobernanza de IA

Obtener Ayuda

Para preguntas sobre seguridad de la IA y uso responsable:

• Revisa el Centro de Confianza para información detallada sobre gobernanza de IA
• Contacta al soporte a través del menú del Centro de Ayuda
• Reporta preocupaciones de seguridad de inmediato para su investigación
• Consulta la Página de Estado para problemas conocidos