A plataforma de microblogging X retirou cerca de 3.500 peças de conteúdo e excluiu mais de 600 contas depois que a empresa admitiu seu erro ao lidar com conteúdo questionável gerado por seu chatbot de inteligência artificial Grok e se comprometeu a cumprir a lei indiana, disseram autoridades com conhecimento do assunto no domingo.
O desenvolvimento ocorre cerca de uma semana depois que o Ministério de Eletrônica e Tecnologia da Informação (Meity) levantou pela primeira vez preocupações sobre conteúdo obsceno e sexualmente explícito vinculado ao chatbot. A medida da Índia fez parte de uma crescente repressão internacional que já viu a Indonésia suspender o acesso ao Grok e às investigações da União Europeia e do Reino Unido.
“X admitiu seu erro. A empresa disse que operará de acordo com as leis da Índia… X não permitirá imagens obscenas no futuro”, dizia a mensagem em hindi compartilhada pelas autoridades mencionadas acima.
Nem MeitY nem X fizeram qualquer comentário oficial sobre o assunto. O pedido de HT para obter mais informações sobre as ações tomadas por X ou o período durante o qual essas ações foram tomadas não suscitou uma resposta da MeitY.
O chatbot Grok AI, desenvolvido pela XAI de Musk e integrado ao X, está sob intenso escrutínio global depois que os usuários usaram seus recursos de geração e edição de imagens para criar e compartilhar imagens falsas, não consensuais e sexualmente explícitas, de pessoas reais, incluindo mulheres e menores. Estas imagens, muitas vezes de natureza nua ou sexual, tornaram-se virais no X e levantaram preocupações entre reguladores e grupos de direitos humanos. Governos na Europa, Ásia e outros países criticaram as salvaguardas da ferramenta e abriram inquéritos, enquanto X restringiu parcialmente o recurso a usuários pagos em meio a reações generalizadas.
Meity escreveu para X em 2 de janeiro, sinalizando o que ele chamou de falhas graves na prevenção de conteúdo obsceno e sexual criado com Grok. O ministério alertou que novos incumprimentos poderiam privar X da proteção legal ao abrigo da lei indiana. X solicitou uma prorrogação, citando dois feriados – Natal e Ano Novo – como o motivo pelo qual precisava de tempo extra.
Durante os dois dias que antecederam a carta de 2 de janeiro, Meiti discutiu as respostas de Grok às questões políticas e religiosas com os X-Teams em relação à resposta às questões políticas e religiosas. O prazo para respostas é até às 17h. em 7 de janeiro.
Novos detalhes sobre a remoção de conteúdo chegaram à MeitY depois que o governo expressou seu descontentamento com a resposta de X em 7 de janeiro, que as autoridades disseram não fornecer informações específicas e reiterar amplamente as políticas de usuário existentes da empresa. Este esclarecimento foi oferecido depois de o ministério ter considerado inadequada a resposta inicial de X à sua mensagem de 2 de Janeiro. Posteriormente, o ministério solicitou um relatório detalhado descrevendo medidas específicas tomadas contra conteúdos e utilizadores ofensivos.
Os responsáveis acima mencionados também destacaram a posição do governo de que Grok seria tratado como um criador de conteúdos e não apenas como uma ferramenta de plataforma, uma classificação que poderia ter implicações na responsabilidade dos intermediários. MeitY disse a X que a proteção do porto seguro sob a Seção 79 da Lei de TI só se aplica se as obrigações de devida diligência forem rigorosamente cumpridas.
Em sua carta dirigida ao Diretor de Conformidade da X, Vinay Prakash, Meiti disse: “Foi observado especificamente que os usuários estão abusando do serviço, nomeadamente ‘Grok AI’, para criar contas falsas para postar, criar, postar ou distribuir imagens obscenas ou vídeos de mulheres de maneira degradante ou vulgar para difamá-las indecentemente.
Os abusos não se limitam a contas falsas, disse o ministério. Também tem como alvo mulheres que enviam suas próprias fotos ou vídeos, que são então processados com avisos de IA e resultados sintéticos.
A carta de MeitY citava inúmeras violações legais, incluindo seções da Lei de TI que tratam de conteúdo obsceno, a Bharatiya Nyaya Sanhita (BNS), a Lei de Representação Indecente de Mulheres (Proibição) de 1986 e a Lei de Proteção de Crianças contra Ofensas Sexuais (Pocso), de 2012.
O ministério ordenou especificamente que X conduzisse imediatamente uma revisão abrangente do “processamento rápido, geração de resultados (respostas geradas usando grandes modelos de linguagem), processamento de imagens e cercas de segurança” de Grok para garantir que o programa não crie, promova ou promova conteúdo que contenha “nudez, sexualização, conteúdo sexualmente explícito ou outro conteúdo ilegal”.
X também deve fazer cumprir os termos de uso de seus usuários por meio de “severas medidas de dissuasão, como suspensão, rescisão e outras ações de fiscalização contra usuários e contas que violem as regras” e remover imediatamente todo o conteúdo infrator, disse o comunicado.
A questão também atraiu atenção política. A deputada do Shiv Sena (UBT), Priyanka Chaturvedi, acusou X de “monetizar comportamento malicioso” depois que a plataforma restringiu o recurso de criação de imagens de Grok a usuários pagos em meio a uma reação global.
Funcionários da MeitY disseram à HT que o ministério continuaria monitorando de perto a conformidade do X e de outras plataformas, alertando que quaisquer violações repetidas poderiam levar a novas ações sob a lei indiana.
Nos termos da Lei das TI, intermediários como X têm proteção contra responsabilidade por conteúdos gerados pelo utilizador, mas esta proteção está sujeita a obrigações estritas de devida diligência.
A controvérsia também destacou desafios mais amplos enfrentados pelas ferramentas de imagem de IA. A Internet Watch Foundation, uma organização sem fins lucrativos que descobre abuso sexual infantil online, relatou um aumento de 400% nas imagens de abuso infantil geradas por IA nos primeiros seis meses de 2025, relata a Bloomberg.
xAI posiciona o Grok como mais permissivo do que outros modelos convencionais de IA, e no verão passado introduziu um recurso chamado “Modo Picante” que permite nudez parcial de adultos e conteúdo sexualmente explícito. O Serviço proíbe pornografia com pessoas reais e conteúdo sexual envolvendo menores, cuja criação ou distribuição é proibida.
