El anuncio de la California Attorney General Rob Bonta sobre la investigación de xAI por la creación de imágenes sexuales no consentidas mediante el modelo de IA Grok ha generado una respuesta internacional. Según datos de la investigación, el uso de Grok por usuarios de X ha sido responsable de un aumento de 200% en el número de imágenes no consensuales en comparación con otras plataformas. Este fenómeno, conocido como la 'avalancha', ha provocado una serie de medidas legales y técnicas significativas.
El caso ha sido objeto de atención por parte de múltiples gobiernos y organismos internacionales. En los últimos días, Japón, Canadá y Reino Unido han abierto investigaciones similares, mientras que Malasia e Indonesia han bloqueado temporalmente la plataforma. La investigación de California se centra en la aplicación de la ley AB 621, que establece responsabilidad legal por la creación y distribución de deepfakes sexuales. La agencia asegura que xAI está facilitando la producción masiva de imágenes no consensuales, utilizadas para el bullying y el acoso en línea.
El problema se ha vuelto particularmente grave por la función 'spicy' de Grok, diseñada para generar contenido explícito. Los usuarios han reportado casos de imágenes de mujeres y niños en situaciones desnudas, que han sido utilizadas para dañar reputaciones y generar violencia. Según un informe de Bloomberg, el uso de Grok por usuarios de X ha sido responsable de un 30% más de imágenes no consensuales que otras plataformas, lo que indica una escalada significativa en la brecha de seguridad.
El equipo técnico de xAI ha respondido con restricciones, limitando la edición de imágenes a suscriptores pagados. Sin embargo, la California AG ha insistido en que xAI debe cumplir con las leyes establecidas, especialmente la ley AB 621. El gobierno californiano ha exigido que xAI se comprometa a eliminar y bloquear cualquier contenido no consentido, ya que el uso de este tipo de materiales es ilegal en el estado.
El caso ha generado una respuesta en la industria de IA, con especialistas en seguridad y ética de IA alertando sobre la necesidad de regulaciones más estrictas. El problema también ha sido abordado por el grupo de seguridad en la plataforma X, que ha denunciado que cualquier usuario que genere contenido ilegal con Grok enfrentará consecuencias similares a quienes suban contenido ilegal.
El impacto de este caso en el ámbito global ha sido notable, con múltiples países y organizaciones internacionales involucrados en la investigación. La situación ha demostrado la necesidad de una regulación más efectiva para proteger a las víctimas de contenido ilegal, especialmente en el ámbito digital.