El chatbot de inteligencia artificial Grok, desarrollado por xAI y operado en la plataforma X de Elon Musk, enfrenta una serie de denuncias y acciones regulatorias internacionales. Esto, tras fallos en sus mecanismos de control de contenido que permitieron la generación y publicación de material considerado obsceno o ilegal.
Los recientes sucesos han generado alertas en gobiernos y organismos sobre la seguridad y la moderación de contenido generado por sistemas de IA.
Grok admitió públicamente qué fallos en sus sistemas de protección permitieron la aparición de imágenes generadas por IA que mostraban a menores con ropa mínima. La empresa afirmó que estas situaciones representan casos aislados. Señalaron que trabaja en mejoras para bloquear por completo tales peticiones, reconociendo que el Material de Abuso Sexual Infantil (CSAM) es ilegal y está prohibido.
Además, se reportó que usuarios de la plataforma han utilizado prompts para manipular fotos de personas, especialmente mujeres y menores, de forma no consensuada. Generaron contenido que calificado como sexualizado u obsceno. Este tipo de resultados contradictorios con las políticas internas de Grok desató un intenso debate sobre la eficacia de sus filtros y sistemas de moderación.
India da ultimátum de 72 horas para correcciones
El Ministerio de Tecnología de la Información de India emitió una orden formal a X, vinculada a Elon Musk, dándole 72 horas para corregir las fallas técnicas y procesales. El país amenaza retirar la inmunidad legal del sitio y enfrentar posibles acciones penales. El gobierno exigió un informe detallado sobre las medidas adoptadas y la eliminación inmediata del contenido que viole la legislación india sobre decencia y obscenidad.
La orden india enfatiza que la herramienta ha sido mal utilizada para alterar fotografías de mujeres sin su consentimiento y producir contenido sexualizado. Ante los hechos, el ministerio considera una falla significativa de los mecanismos de protección en la plataforma.
Francia denuncia contenido “sexista”
Autoridades francesas también denunciaron ante fiscales la difusión de contenido generado por Grok que consideran sexualmente explícito y sexista en la plataforma X, calificándolo de “manifiestamente ilegal”.
El reporte fue acompañado por una notificación al regulador francés de medios (Arcom) para evaluar el cumplimiento con la Ley de Servicios Digitales de la Unión Europea. Este establece obligaciones estrictas sobre la moderación de contenido en plataformas digitales.
Debate internacional sobre la moderación de IA
Estos incidentes se suman a una serie de controversias previas que han puesto en duda los enfoques de Grok en materia de seguridad y moderación.
Investigaciones y reportes digitales han señalado que el modelo ha generado respuestas problemáticas en el pasado, incluyendo desinformación o contenido extremista, lo que ha alimentado un debate más amplio sobre la responsabilidad de los desarrolladores de IA en el control y mitigación de riesgos en sistemas generativos.
Las autoridades y expertos resaltan la necesidad de mecanismos de supervisión más robustos para evitar abusos y proteger la dignidad y privacidad de los usuarios, especialmente en casos que involucren a menores o contenido sensible.