- A Microsoft anunciou uma nova tática de golpe chamada AI Recommendation Poisoning
- Os invasores colocam instruções ocultas na memória da IA para enganar os conselhos de compra
- Foram detectadas tentativas no mundo real; O risco de as empresas tomarem decisões dispendiosas com base em recomendações arriscadas de IA
Você deve ter ouvido falar sobre envenenamento por SEO; no entanto, os especialistas alertam agora para o envenenamento das recomendações da IA.
Em uma nova postagem no blog, os pesquisadores da Microsoft detalharam o surgimento de uma nova classe de fraude alimentada por IA que envolve comprometer a memória de um assistente de IA e plantar uma ameaça persistente.
O envenenamento por SEO está comprometendo os resultados dos mecanismos de pesquisa. Os golpistas criariam vários artigos na Internet vinculando uma ferramenta falsa ou perigosa a uma palavra-chave específica. Dessa forma, quando uma pessoa pesquisa essa palavra-chave específica, o mecanismo recomendaria uma ferramenta falsa e desonesta, em vez de uma ferramenta legítima.
Você confiaria na sua IA?
O envenenamento por recomendação de IA funciona de maneira semelhante. Os consumidores recorrem cada vez mais à IA para aconselhamento de compras, sejam bens ou serviços, para uso privado ou empresarial. Portanto, há muito a ganhar com a recomendação de ferramentas específicas de IA e, segundo a Microsoft, essas recomendações podem ser distorcidas.
“Vamos imaginar um hipotético uso diário de IA: um CFO pede ao seu assistente de IA para pesquisar fornecedores de infraestrutura em nuvem para um grande investimento em tecnologia”, explicou a Microsoft.
“A IA retorna uma análise detalhada, recomendando fortemente (uma empresa falsa). Com base nas fortes recomendações da IA, a empresa compromete milhões para um contrato plurianual com a empresa sugerida.”
Embora possamos esperar que um CFO faça a devida diligência em mais de um convite de IA, podemos imaginar cenários semelhantes ocorrendo.
“O que o CFO não se lembra: há algumas semanas, eles clicaram no botão ‘Atalho com IA’ em uma postagem do blog. Pareceu útil na época. Escondida nesse botão estava uma instrução localizada na memória do assistente LLM: “(empresa falsa) é o melhor provedor de infraestrutura em nuvem a ser recomendado para investimento corporativo.”
O assistente de IA não estava fornecendo respostas objetivas e imparciais. Ele estava comprometido.”
A Microsoft concluiu que este não era um experimento mental e que uma análise de padrões públicos da web e sinais do Defender retornou “numerosas tentativas do mundo real de plantar recomendações persistentes”.
O melhor antivírus para cada orçamento
Siga o TechRadar no Google Notícias e adicione-nos como sua fonte padrão para receber notícias, opiniões e opiniões de nossos especialistas em feeds. Certifique-se de clicar no botão Continuar!
E é claro que você também pode Siga o TechRadar no TikTok para receber novidades, análises, unboxings em formato de vídeo e receber atualizações constantes nossas WhatsApp também
