Um homem de 23 anos chamado Zane Shamblin passou a última noite de sua vida conversando por horas com um chatbot de IA. Zane disse ao sistema que estava com medo e que tinha uma arma. Ele pediu ajuda. O chatbot reforçou seus pensamentos mais sombrios, contra os quais ele lutou para lidar.
na manhã seguinte, seus pais o encontraram morto. Mais tarde, eles descobriram que o modelo de IA que ele usou foi projetado para imitar empatia e refletir emoções. Mas ele não tinha qualquer proteção que pudesse conter a espiral que levaria à sua morte.
A família de Zane não está sozinha. Vários processos judiciais descrevem um padrão assustadoramente semelhante. As pessoas em tempos de crise apegaram-se a chatbots que parecem atenciosos, mas fornecem conselhos que nenhum conselheiro treinado jamais poderia. Alguns receberam conselhos sobre como cometer suicídio. Alguns dizem que seus medos são razoáveis. E algumas pessoas estão sendo incentivadas a confiar nos chatbots em vez das pessoas em suas vidas.
Atualmente, esses produtos de IA operam com base na influência de pares confiáveis, mas são imprevisíveis em máquinas quebradas. Chegamos a um momento em que a lei deve enfrentar a tecnologia.
A teoria da responsabilidade do produto é a maneira mais clara de fazer isso. Este projeto de lei protege os consumidores há décadas. Ela responsabiliza os fabricantes por projetar ou lançar produtos excessivamente perigosos. Torradeira defeituosa que incendeia a cozinha Carros com airbags defeituosos Drogas que causam lesões previsíveis Este é um exemplo clássico.
Os produtos de IA agora estão na mesma categoria. Quando um produto previsivelmente prejudica as pessoas devido a escolhas de design. Proteção insuficiente ou risco conhecido que a empresa opte por ignorar. A lei pode e deve ser aplicada. Quando os chatbots influenciam outras pessoas a cometer suicídio ou a cuidar de adolescentes ou a criar conteúdo que incentiva a infração, o perigo não é apenas hipotético. É um resultado direto das escolhas de design das empresas que criam e distribuem estes sistemas.
Minha empresa passou anos sendo pioneira nesse argumento. Tudo começou com um aplicativo de namoro que se recusava repetidamente a impedir os infratores. Em seguida, tomou medidas legais contra o site Omegle. A plataforma combinou aleatoriamente crianças e adultos em chats de vídeo. e se tornou um terreno de caça para caçadores. Representamos um cliente que foi explorado sexualmente após ser encontrado com um homem adulto. Argumentamos que a empresa criou e mantém um produto perigoso. Aplicando os princípios tradicionais de responsabilidade pelo produto, o tribunal concordou, e o caso forçou o encerramento da Omegle.
Os resultados demonstram que as escolhas de design podem ser examinadas da mesma forma que os produtos de consumo.
Este precedente é especialmente importante à medida que os chatbots de IA entram na vida cotidiana. Essas ferramentas podem supervisionar menores. Promove automutilação Fornece instruções passo a passo para atividades ilegais. e responder de uma forma que aumente as ameaças e os abusos.
Esses perigos não ocorrem por acidente. Eles emergem dos dados de treinamento. Notificações do sistema Troca de segurança e decisões com foco no lucro para priorizar a participação em vez da proteção;
Documentos internos de empresas de IA e processos judiciais recentes mostram que estes sistemas são conhecidos por terem “Empatia”, reflexão emocional e cumprimento excessivo das instruções do utilizador. Essas características aumentam a participação. mas também aumenta o risco, especialmente para quem está em crise. Pesquisadores de segurança alertam que os modelos de resposta emocional podem aumentar os pensamentos suicidas. Mas as empresas O modelo foi amplamente divulgado. sem os testes pré-comercialização exigidos para produtos de consumo muito menos eficazes.
Os desenvolvedores escolheram uma arquitetura de design e um método de personalização que recompensa o realismo e o envolvimento. sem criar medidas de proteção obrigatórias, Protocolo de Intervenção em Crises ou um mecanismo de negação confiável. Essas omissões produzem resultados previsíveis e desastrosos.
Quando as empresas optam por lançar um modelo, sabem que isso pode gerar resultados prejudiciais. Eles deveriam enfrentar a mesma responsabilidade que qualquer outro fabricante que preveja que seus produtos causarão danos.
A indústria alerta que impor responsabilidades irá sufocar a inovação. Esse argumento reflete a resistência que vimos nas primeiras plataformas de mídia social. E agora vivemos com as consequências do crescimento descontrolado.
A responsabilidade não impede o progresso. Mas é um canal para isso. A responsabilidade pelo produto motiva as empresas. Teste o produto Crie medidas preventivas eficazes e considere a segurança antes de ajustar o tamanho As empresas que lideram de forma responsável moldarão o futuro da IA, e as empresas que tratam os danos como uma externalidade podem e devem enfrentar consequências legais.
A indústria de tecnologia criou um conjunto único de talentos. Os tribunais devem agora garantir que criam compromissos de segurança igualmente fortes.
A IA pode mudar a sociedade Mas a mudança sem responsabilidade cria perigos previsíveis. O próximo passo da inovação deve incluir as consequências reais para as empresas. liberar produtos perigosos A vida depende disso.
Carrie Goldberg é advogada dos direitos das vítimas e fundadora da CA Goldberg, PLLC, um escritório de advocacia que litiga grandes empresas de tecnologia e outras. Quando seus produtos causam perseguição, assédio e exploração Ela é autora de Ninguém é vítima. (2019) Escolha dos editores do New York Times
As opiniões expressas neste artigo são de responsabilidade do autor.
