OpenAI ha anunciado una nueva función de seguridad en ChatGPT que permite notificar a un contacto confiable cuando se detectan riesgos graves de autolesión. Esto importa porque cruza las capacidades avanzadas de inteligencia artificial con temas muy delicados de salud mental y privacidad, generando un debate importante. El beneficio potencial de prevenir daños personales choca con el riesgo de vulnerar la privacidad y delegar alertas críticas a una IA corporativa. Más que el anuncio, lo relevante es el despliegue. ¿Es posible garantizar seguridad y respeto a la privacidad en esta función sin controles externos?

Qué se anunció y cuál es el alcance real

OpenAI ha implementado una función opcional en ChatGPT que permite a la IA detectar posibles riesgos graves de autolesión y, en ese caso, notificar a un contacto confiable designado por el usuario. El alcance real es limitado al ámbito preventivo y está bajo el control de la empresa. El texto no detalla los criterios de detección, ni cómo se protege la confidencialidad del usuario, ni el grado de autonomía de la IA en la activación de estas alertas. Tampoco se especifica qué sucede tras la notificación ni cuál es la respuesta esperada del contacto confiable.

Para qué sirve en la práctica

La función tiene como objetivo detectar señales de riesgo de autolesión y activar una red de apoyo mediante un contacto confiable. En la práctica, podría avisar a un familiar o amigo si el sistema identifica expresiones preocupantes en la conversación. No obstante, el texto no ofrece ejemplos concretos ni escenarios de uso, por lo que no se puede verificar cómo funcionaría en situaciones reales ni su efectividad en la detección o intervención temprana.

Qué riesgos abre si se despliega mal

Entre los riesgos destacados está la posible vulneración de la privacidad del usuario, dado que se comparte información sensible con terceros designados. El texto sugiere la ausencia de detalles claros sobre seguridad y transparencia, lo que dificulta evaluar si existen mecanismos para evitar falsas alarmas o abusos. También cabe el riesgo ético de que una empresa tenga control sobre alertas de salud mental, lo que plantea dudas sobre la autonomía del usuario y el posible mal uso de datos.

Qué condiciones mínimas deberían exigirse

Para un despliegue responsable se deberían establecer gobernanza clara sobre el uso de estos datos sensibles, auditorías independientes que verifiquen la fiabilidad del sistema y métricas de efectividad. Es fundamental contar con controles locales para que el usuario tenga autonomía sobre las alertas y con protocolos transparentes para el tratamiento y conservación de la información. Además, debería garantizarse la continuidad del soporte y una supervisión externa para evitar riesgos de abuso.

Conclusión

Esta función será una mejora real si se implementa con transparencia absoluta y con fuertes controles de privacidad y auditoría externa que aseguren su fiabilidad. Será un riesgo si continúa dependiendo exclusivamente del control corporativo sin mecanismos independientes que protejan al usuario y eviten abusos o errores.

Fuente: OpenAI — https://openai.com/index/introducing-trusted-contact-in-chatgpt

Nota editorial: Contenido generado y estructurado con apoyo de un editor de IA de PorqueIA.com.