As equipes estão resolvendo isso. As ferramentas de teste são cientificamente inadequadas. Os compromissos não resistem a mudanças, sejam corporativas ou políticas. E nenhuma jurisdição encontrou um modelo de governação que funcione para tornar a IA segura e responsável. Essa é a avaliação de Rumman Chowdhury, que liderou a política de segurança de IA no (anteriormente) Twitter, no governo dos EUA e na sociedade civil, falando a HT à margem da Cimeira da Índia sobre o Impacto da Inteligência Artificial.
“Uma das principais coisas que acontece em todas estas cimeiras são os novos compromissos voluntários”, disse ela. “É uma ótima RP e uma ótima ótica, mas o que isso significa fundamentalmente? Essas organizações não podem viver à mercê de empresas ou organizações políticas. Para serem codificadas ou fortalecidas, tem que ser realmente algo exigido por lei.”
Choudhury tem motivos para ser direto. Ela liderou a equipe de Ética, Transparência e Responsabilidade (META) de ML no X (antigo Twitter), que publicou pesquisas sobre amplificação algorítmica de conteúdo político. A equipe foi dissolvida após a aquisição por Elon Musk. Mais tarde, ela chefiou a divisão responsável de inteligência artificial do Departamento de Defesa, foi nomeada enviada científica dos EUA para inteligência artificial e renunciou quando a administração Trump reorganizou o escritório e rescindiu as salvaguardas da era Biden. Duas equipes responsáveis de IA, dois colapsos – um corporativo, um político.
Para Choudhury, CEO e cofundador da organização sem fins lucrativos de segurança de IA Humane Intelligence, a análise do algoritmo do Twitter – a única análise feita por uma grande empresa de tecnologia que ainda envolve pesquisadores terceirizados independentes – revelou um problema relevante para a regulamentação de segurança de IA hoje. A análise descobriu que o Twitter mostra organicamente mais conteúdo de direita.
A hipótese de trabalho de Choudhury era que isto “não é um viés algorítmico, mas uma amplificação algorítmica do comportamento humano” – um sistema que detecta aquilo com que as pessoas já estão lidando.
“Se todos estiverem envolvidos com conteúdo de direita, então estaremos trazendo mais conteúdo de direita à tona – novamente, intencionalmente”, disse ela. Em outras palavras, o algoritmo não apresentava falhas – ele foi otimizado para interações que se revelaram defeituosas durante um período de intensa polarização política. Isso levantou uma questão que a equipe não poderia responder tecnicamente porque não era uma questão técnica: “Quem decide o que é justo? Jack Dorsey decide? Não existe um órgão regulador.”
A Cimeira da Índia sobre o Impacto da Inteligência Artificial, que utiliza uma abordagem de “sete chakras”, lista a IA segura e fiável como um dos seus temas principais.
Institucionalização da segurança
Choudhury disse que mesmo quando equipes responsáveis de IA passam por mudanças de liderança, sua eficácia depende de onde elas ocupam a organização – uma questão que ela diz raramente ser discutida.
Sua equipe de ética na X era a principal divisão de engenharia de produtos. A alternativa, na sua experiência, é menos eficaz. “Muitas empresas, quando pensamos em teatro ou ótica, são puramente uma divisão de política ou pesquisa, que é pessoalmente o meu lugar menos favorito para sentar”, disse ela. “Vocês são apenas partes externas. Vocês precisam ser convidados para a mesa de produtos. Vocês não estão lá intencionalmente.”
A estrutura será aplicada ao governo. Questionado sobre a Índia, onde a gestão da IA está sob a responsabilidade do Ministério da Electrónica e TI (Meity), Chowdhury traçou um paralelo com as compras corporativas sem comentar a substância: a função tradicional de TI numa empresa envolve “análise de custo-benefício, computação e armazenamento de palavras-passe”, em vez de riscos mais amplos. “Os ministros de TI e tecnologia são o tipo de pessoa que pode ter uma opinião sobre crianças e educação, ou saúde mental e bem-estar, ou relações parassociais, ou preconceito e discriminação?” ela perguntou. “Não está na zona de conforto deles.”
É certo que a regulamentação indiana da IA depende dos reguladores da indústria, embora a maior parte da acção punitiva e da aplicação seja feita através da Meity.
As ferramentas de teste não estão funcionando
Choudhury argumentou que as ferramentas disponíveis para avaliar os sistemas de IA não são adequadas à sua finalidade – e a indústria sabe disso. “Não consigo sublinhar o suficiente que os nossos mecanismos de teste para modelos de IA da próxima geração são inadequados. Na verdade, não temos métodos científicos rigorosos para testar estes modelos de IA”, disse ela. “As empresas de modelagem da Frontier estão agitando os braços em torno disso porque estão construindo o que significa segurança na ausência de rigor científico”. Segundo ela, os benchmarks são apenas pares de perguntas e respostas. Quem os cria? Quem decide que eles são representativos?’
A equipe vermelha, onde especialistas tentam proteger as ferramentas contra quebras, não teve melhor desempenho: “um monte de gente em uma sala quebra um modelo. Não é exatamente rigoroso”. Ela disse que ambos os lados estão escolhendo a dedo: as empresas testam apenas os danos que desejam detectar, os críticos investigam até obterem o resultado que procuram. O principal problema é que a transição de modelos determinísticos de aprendizado de máquina para inteligência artificial generativa probabilística ultrapassou os métodos de estimativa desenvolvidos para tecnologias da geração anterior. “Não desenvolvemos uma tecnologia escalável e rigorosa” para testar sistemas probabilísticos, disse ela. O resultado é o que a indústria chama de “purgatório piloto” – modelos presos em demonstrações controladas porque as ferramentas de avaliação estão desconectadas das condições do mundo real.
A conversa errada sobre trabalho
Dois dias antes desta entrevista, o CEO da Microsoft AI, Mustafa Suleiman, disse que todos os empregos de colarinho branco seriam automatizados dentro de 18 meses. Chowdhury foi inequívoco: a afirmação é factualmente incorreta e politicamente perigosa.
“Nunca na história da evolução humana trabalhamos menos e criamos mais tecnologia. Sempre tivemos mais”, disse ela. Keynes previu uma semana de trabalho e lazer de 15 horas. “É uma história antiga que nunca se tornou realidade”, disse Choudhury. As melhorias na IA, acrescentou ela, não são lineares – ela citou Yann LeCun e Fei-Fei Li, que exploraram arquiteturas alternativas à medida que as abordagens atuais enfrentam retornos decrescentes, exacerbados pela aprendizagem de dados para envenenar o conteúdo gerado pela IA.
Mas o problema é como o quadro apocalíptico afecta a política. Há um movimento real entre os jovens – os estágios e as vagas iniciais estão diminuindo. “Estamos falhando com os jovens porque é verdade que é difícil conseguir um emprego como estagiário porque a IA pode fazer isso por você”, disse ela. “O que podemos construir para que as crianças de hoje não se tornem uma geração perdida? Isto é história, não daqui a 18 meses. Isto é história hoje.”
“Não podemos tomar decisões políticas abrangentes sobre o desemprego global. Podemos tomar decisões políticas sobre ajudar os jovens ou os trabalhadores iniciantes. Na verdade, esse é um problema que podemos e devemos combater.” Mas o enquadramento apocalíptico, argumentou ela, torna impossível resolver até mesmo problemas solucionáveis – comparando-o ao filme “Don’t Look Up”, em que a certeza da catástrofe paralisa qualquer resposta. “Quando você fala essa língua, você não pode fazer nada. Você alienou completamente qualquer possibilidade de fazer qualquer coisa.”
A lei deve governar
Nenhuma jurisdição tem o direito de governar a IA. Chowdhury prefere o modelo da Lei dos Serviços Digitais da UE não devido à sua implementação, mas devido à sua ambição. “Eles codificam muito claramente as coisas pelas quais as plataformas de mídia social devem ser julgadas – impacto psicológico adverso, impacto nas crianças, violação dos direitos humanos básicos”, disse ela.
Ainda não existe possibilidade técnica de testar padrões de segurança. Na opinião dela, isso é normal. “Se a lei existir, então temos a obrigação de criar uma forma de a lei ser aplicada. Será mal aplicada durante cinco a oito anos, e depois talvez melhore. Mas define a agenda.”
Os decisores políticos indianos citaram a experiência da UE – nomeadamente o RGPD – como um alerta contra a regulamentação demasiado cedo. Resposta de Choudhury: “Temos experimentado na direção (permitida) há duas décadas. Por que não tentar outra opção?”
