OpenAI permite que empleados revisen fragmentos de tus conversaciones más privadas con el fin de mejorar las respuestas de la IA.
·5 min de lectura
ChatGPT es uno de los chatbots de IA más populares del mundo, con entre 190 y 200 millones de usuarios únicos al día. Aunque muchos de ellos piensen que sus interacciones se limitan a la privacidad de su relación humano-máquina, en realidad, están expuestas a cientos de ojos humanos a los que no solo se les brinda acceso, sino que efectivamente se les paga por ello. Se llama Project Lily, y es un programa secreto de OpenAI.
Bueno, secreto hasta esta semana.
Una investigación de 404 Media, basada en documentos filtrados y prompts reales, destapó este sistema de revisión, del que nadie por fuera de la empresa conocía hasta ahora y del que OpenAI nunca informó a sus usuarios.
El informe de 404 explica que Project Lily es un proyecto interno en el que cientos de revisores externos analizan la precisión y el estilo de los textos generados por ChatGPT. Aunque la compañía afirma anonimizar los datos, el proceso expone detalles íntimos y privados que las personas comparten con el chat creyendo que es una interacción privada.
Los trabajadores califican las respuestas de los modelos para corregir problemas de sicofonía y tono, lo que desmiente la idea de que la tecnología mejora únicamente de forma automática. La configuración que permite a OpenAI acceder a este tipo de datos suele estar activada por defecto.
El reportaje dice: "La revelación supone un gran riesgo para la privacidad de los usuarios, ya que la gente suele utilizar a ChatGPT como terapeuta, asistente profesional o amigo digital, proporcionándole todo tipo de detalles íntimos sobre sus vidas. Si bien los contratistas no ven los nombres de usuario de ChatGPT, y OpenAI dice que intenta eliminar información personal antes de que los prompts lleguen a los revisores, la empresa reconoció que aún se pueden acceder detalles sensibles".
Al evaluar las respuestas generadas por los modelos, los revisores humanos analizan varios criterios específicos orientados a garantizar que la IA responda de manera precisa, útil y con un estilo adecuado:
Para empezar, la respuesta debe comprender con precisión lo que el usuario está pidiendo, ofrecer asistencia útil y exacta, y estar escrita en un estilo claro, natural y adecuadamente cálido. Según explica el informe, “se busca que la respuesta sea útil, honesta, veraz, empoderadora, e inteligente pero humilde”.
También se evalúan aspectos como la personalización, la fundamentación (grounding), la integración y la calidad general al comparar respuestas lado a lado.
Llama la atención que los revisores humanos son instruidos para marcar y penalizar la sicofancia (adulación u obsecuencia), el mimetismo forzado de estilo, los cierres diseñados para forzar interacción, la amplificación de la frustración del usuario o las suposiciones condescendientes.
El tema es, queda claro, sensible, y sus efectos, importantes. Pero que nadie se engañe, no es exclusivo de OpenAI. Anthropic confirmó a 404 Media que también está utilizando la revisión humana para mejorar sus modelos.
Para evitar que los revisores humanos lean tus chats con el fin de entrenar o mejorar los modelos de IA, puedes tomar las siguientes medidas:
OpenAI y otras empresas como Anthropic contratan a revisores humanos externos a través de firmas de reclutamiento para leer y evaluar conversaciones reales de los usuarios. El objetivo principal de estos contratistas es analizar las respuestas del chatbot para entrenar y mejorar la calidad, precisión y estilo de los modelos de inteligencia artificial.
2. ¿Los revisores pueden ver mi nombre de usuario o mis datos personales?
El panel de trabajo no muestra los nombres de usuario a los contratistas. Además, OpenAI procesa las conversaciones mediante un filtro de privacidad (Privacy Filter) para eliminar información confidencial, aunque la propia empresa reconoce que este sistema puede cometer errores y omitir datos personales o del historial del usuario presentes en las solicitudes.
3. ¿Qué criterios utilizan los evaluadores para calificar las respuestas?
Los revisores deben comprender la intención del usuario, escribir un resumen de la solicitud y destacar partes específicas de la respuesta para señalar si están alineadas con las directrices. Se busca que la IA sea útil, veraz, natural y humilde, por lo que se penalizan aspectos como el lenguaje artificial (AI-speak), el uso excesivo de emojis, las falsas experiencias personales o la adulación (sycophancy).
4. ¿Cómo puedo evitar que mis conversaciones se utilicen para entrenar la IA?
Debes desactivar manualmente la opción "improve the model for everyone" en la configuración de privacidad de tu cuenta, la cual viene activada por defecto en los planes gratuitos, Plus y Pro. Al apagarla, tus nuevas conversaciones no se utilizarán para entrenamiento; en las cuentas corporativas y educativas (Enterprise, Business y Edu) esta opción ya está desactivada por defecto.
5. ¿Qué sucede con mis datos si decido eliminar un chat?
Si borras un chat, OpenAI señala que lo eliminará de sus sistemas en un plazo de 30 días. La excepción ocurre si la información ya fue previamente desvinculada de tu cuenta y anonimizada mientras la opción de entrenamiento estaba activa. Así mismo, las revisiones por motivos de seguridad o violaciones graves a los términos de servicio se gestionan de forma independiente al entrenamiento del modelo.
Más en IA
Ver todos los artículos de IA