El fenómeno identificado por GNET parte de una estética asentada en redes: personajes hechos de frutas o vegetales con ojos y expresiones caricaturescas, pensados originalmente para entretenimiento ligero o humor absurdo. Según la organización, esa apariencia amigable está siendo aprovechada para insertar, sin filtros aparentes, secuencias de violencia extrema producidas con modelos de IA capaces de generar video a partir de instrucciones de texto.
La investigación no atribuye la producción de estos materiales a un grupo extremista específico, pero advierte que la iconografía y ciertos símbolos que aparecen en los videos coinciden con referencias asociadas a organizaciones de esa naturaleza. GNET sostiene que el patrón detectado no parece accidental, sino resultado de un uso deliberado de las herramientas generativas para eludir los sistemas de moderación de contenido, entrenados históricamente para detectar violencia en imágenes realistas y no en animaciones de apariencia infantil.
La organización no ofrece en su reporte una cifra sobre el volumen total de videos identificados con este patrón, ni especifica las plataformas exactas donde circulan con mayor frecuencia, lo que limita por ahora la dimensión cuantitativa del fenómeno. GNET sí plantea que el uso de IA generativa reduce drásticamente el costo y el tiempo necesarios para producir este tipo de material, en comparación con la edición manual de video de casos anteriores.
Un vacío en la moderación automatizada
El caso ilustra un desfase señalado desde hace años por especialistas en gobernanza digital: la velocidad de desarrollo de los modelos de generación de video supera la capacidad de respuesta tanto de los reguladores como de los mecanismos de moderación de las plataformas. Los sistemas automatizados de detección de contenido violento suelen entrenarse con imágenes fotorrealistas, lo que deja un vacío frente a animaciones estilizadas que transmiten el mismo mensaje sin activar las alertas.
El antecedente más citado sobre el uso de personajes infantiles para difundir contenido inapropiado es el fenómeno conocido internacionalmente como 'Elsagate', documentado desde 2017, cuando videos con personajes de caricaturas y superhéroes disfrazados fueron usados en YouTube para mostrar violencia y situaciones perturbadoras dirigidas a audiencias infantiles. Aquel episodio derivó en cambios en las políticas de monetización y moderación de esa plataforma, aunque persistieron denuncias sobre contenidos similares en años posteriores. A diferencia de entonces, la producción con IA generativa abarata y acelera la creación de este material.
Las plataformas más utilizadas en México —entre ellas TikTok, Instagram y YouTube— cuentan con políticas de comunidad que prohíben explícitamente la representación de violencia gráfica y la promoción de organizaciones extremistas, con mecanismos de reporte de usuarios y equipos de revisión de contenido. Ninguna de estas empresas se ha pronunciado públicamente sobre el reporte específico de GNET, por lo que no existe todavía una postura oficial sobre las medidas que adoptarán frente al hallazgo.
Sin marco regulatorio específico en México
No existe en México una legislación que regule de manera específica los contenidos generados por inteligencia artificial en redes sociales. El marco vigente combina disposiciones de la Ley Federal de Telecomunicaciones y Radiodifusión, la Ley General de los Derechos de Niñas, Niños y Adolescentes —que obliga a proteger a menores de contenidos nocivos en medios digitales— y las políticas internas de cada plataforma, definidas por las propias empresas y no por autoridades nacionales.
La discusión pública en el país sobre inteligencia artificial se ha centrado hasta ahora en procesos electorales. La Secretaría de Gobernación y el Instituto Nacional Electoral (INE) han abordado en los últimos años el uso de IA en la difusión de desinformación, pero no el contenido violento dirigido a audiencias infantiles o adolescentes, ausente de la agenda regulatoria.
Organizaciones civiles dedicadas a la protección de la niñez en entornos digitales, como Aldeas Infantiles SOS y la Red por los Derechos de la Infancia en México (Redim), han insistido en años recientes en la necesidad de una regulación más específica sobre contenidos algorítmicos dirigidos a menores, aunque no se han pronunciado sobre el caso puntual documentado por GNET.
En el Congreso de la Unión, la discusión sobre un marco regulatorio para la inteligencia artificial es incipiente. Hasta ahora no existe una iniciativa consolidada ni un dictamen en la LXVI Legislatura que aborde específicamente la moderación de contenido generado por IA en redes sociales, por lo que cualquier respuesta legislativa al fenómeno seguiría, de plantearse, un proceso que podría extenderse varios periodos ordinarios.
A falta de una respuesta regulatoria inmediata, la vigilancia del fenómeno recae por ahora en las propias plataformas y en organizaciones de monitoreo como GNET, que ha anunciado que continuará el seguimiento de este tipo de contenidos. El desenlace dependerá en buena medida de si las empresas tecnológicas ajustan sus sistemas de detección automatizada para identificar violencia en formatos animados, y de si las autoridades mexicanas e internacionales incorporan estos hallazgos a futuras discusiones sobre regulación de inteligencia artificial.