Na sexta-feira, o governo enviou uma carta à X Corp. exigindo ação imediata para evitar que seu chatbot Grok AI criasse conteúdo obsceno e sexualmente explícito e dando à empresa 72 horas para enviar um relatório detalhado de conformidade.
O Ministério de Eletrônica e Tecnologia da Informação (MeitY) ordenou que X conduzisse uma revisão técnica abrangente de Grok e removesse todo o conteúdo infrator, alertando que o não cumprimento disso poderia resultar na perda de proteção legal sob a Lei de Tecnologia da Informação (TI) e possível processo.
O aviso da MeitY citava inúmeras violações legais, incluindo seções da Lei de TI que tratam de conteúdo obsceno, a Bharatiya Nyaya Sanhita (BNS), a Lei de Representação Indecente de Mulheres (Proibição) de 1986 e a Lei de Proteção de Crianças contra Ofensas Sexuais (Pocso), de 2012.
“Foi observado especificamente que o serviço ‘Grok AI’ desenvolvido por você e integrado e disponível na plataforma X está sendo utilizado indevidamente pelos usuários para criar contas falsas para postar, criar, publicar ou distribuir imagens ou vídeos obscenos de mulheres de maneira degradante ou vulgar”, disse o ministério em uma carta ao Diretor de Conformidade da X na Índia.
A ação ocorreu depois que a deputada do Parlamento Shiv Sena (UBT), Priyanka Chaturvedi, exigiu intervenção, destacando como os homens usam contas falsas para postar fotos de mulheres no X e usam dicas Grok para minimizar suas roupas e torná-las sexy.
Em uma carta ao Ministro de Eletrônica e TI, Ashwini Vaishnau Chaturvedi, disse que a tendência era um “uso inaceitável e grosseiro da funcionalidade da IA”.
“Isto é uma violação do direito das mulheres à privacidade e o uso não autorizado das suas fotografias não é apenas antiético, mas também criminoso”, disse o deputado Rajya Sabha. “Nosso país não pode ficar parado enquanto a dignidade das mulheres é violada pública e digitalmente, sem consequências, sob o pretexto de criatividade e inovação.”
Vaishnau, falando em um evento em Delhi, falou sobre isso. “As redes sociais têm um impacto tão grande na nossa sociedade hoje… elas têm de assumir a responsabilidade pelo conteúdo. A comissão permanente (parlamentar) (para comunicações e tecnologia da informação) recomendou veementemente que deveria haver leis fortes para a responsabilização das redes sociais.”
Separadamente, o chatbot também admitiu que nos últimos dias criou imagens sexualizadas de menores, violando a sua própria política de utilização aceitável, informou a Bloomberg.
Grok criou imagens de menores com roupas mínimas em resposta às dicas dos usuários nos últimos dias, disse o chatbot em uma série de postagens no X esta semana. “Identificamos lacunas nas nossas medidas de segurança e estamos a corrigi-las com urgência”, escreveu Grock na sexta-feira, acrescentando que o material de abuso sexual infantil é “ilegal e proibido”, segundo a Bloomberg. Imagens ofensivas removidas.
Durante o ano passado, X e o governo da União estiveram envolvidos em uma batalha legal sobre o Sahyog, um portal que lida com moderação de conteúdo – um mecanismo que a empresa sediada nos EUA apelidou de “portal de censura”.
Segundo pessoas familiarizadas com o assunto, X e o ministério realizam reuniões regulares como parte de um envolvimento mais amplo entre a indústria e o governo. Dois dias antes, o Ministério e X decidiram se reunir para discutir o conteúdo político e religioso que Grok divulgou nos últimos dias.
A reunião estava marcada para sábado, mas é provável que a empresa peça o adiamento, acrescentou a fonte.
O secretário do MeitY, S Krishnan, confirmou a HT que o ministério agiu após relatos de várias reclamações, inclusive do membro de Rajya Sabha, Chaturvedi.
Um aviso enviado à empresa, assinado pelo secretário adjunto Ajith Kumar, afirma que o abuso “não se limitou à criação de contas falsas, mas também teve como alvo mulheres que postam ou publicam suas imagens ou vídeos por meio de dicas, manipulação de imagens e resultados sintéticos”.
O ministério ordenou especificamente que X conduzisse imediatamente uma revisão abrangente do “processamento rápido, geração de resultados (respostas geradas usando grandes modelos de linguagem), processamento de imagens e cercas de segurança” de Grok para garantir que o programa não crie, promova ou promova conteúdo que contenha “nudez, sexualização, conteúdo sexualmente explícito ou outro conteúdo ilegal”.
X também deve fazer cumprir os termos de uso de seus usuários por meio de “severas medidas de dissuasão, como suspensão, rescisão e outras ações de fiscalização contra usuários e contas que violem as regras” e remover imediatamente todo o conteúdo infrator, disse o comunicado.
A empresa foi obrigada a apresentar um relatório detalhado sobre as ações tomadas dentro de 72 horas, que cobrirá as medidas técnicas e organizacionais específicas tomadas para Grok, o papel do diretor de conformidade, as ações tomadas contra conteúdo e contas ofensivas e mecanismos para fazer cumprir a denúncia obrigatória sob a lei penal.
O aviso alertava que “o não cumprimento dos requisitos acima deve ser levado a sério e pode resultar em graves consequências legais contra a sua plataforma, seus responsáveis e usuários da plataforma que violem a lei”.
Ao abrigo da Lei das TI, intermediários como X têm proteção contra responsabilidade por conteúdos gerados pelo utilizador, mas esta proteção está sujeita a obrigações estritas de devida diligência. O aviso do ministério afirma claramente que o não cumprimento pode resultar na perda destas isenções.
A controvérsia destaca desafios mais amplos enfrentados pelas ferramentas de imagem de IA. A Internet Watch Foundation, uma organização sem fins lucrativos que descobre abuso sexual infantil online, relatou um aumento de 400% nas imagens de abuso infantil geradas por IA nos primeiros seis meses de 2025, relata a Bloomberg.
xAI posiciona o Grok como mais permissivo do que outros modelos convencionais de IA, e no verão passado introduziu um recurso chamado “Modo Picante” que permite nudez parcial de adultos e conteúdo sexualmente explícito. O Serviço proíbe pornografia com pessoas reais e conteúdo sexual envolvendo menores, cuja criação ou distribuição é proibida.
O aviso MeitY também foi enviado aos Secretários do Ministério da Administração Interna, Ministério da Mulher e do Desenvolvimento Infantil, Ministério da Informação e Radiodifusão, Comissão Nacional para as Mulheres, Comissão Nacional para a Proteção dos Direitos da Criança e Secretários-Chefes de todos os governos estaduais e territoriais da união.
