- OpenAI diz que ataques de injeção instantânea não podem ser completamente eliminados, apenas mitigados
- Intenções maliciosas ocultas em sites podem enganar os rastreadores de IA para que exfiltrem dados ou instalem malware
- O ciclo de resposta rápida da OpenAI usa treinamento adversário e descoberta automatizada para fortalecer as defesas
A OpenAI disse que, embora os navegadores de IA possam nunca estar totalmente protegidos contra ataques de injeção rápida, isso não significa que a indústria deva desistir da ideia ou conceder a derrota aos fraudadores – existem maneiras de fortalecer os produtos.
A empresa publicou uma nova postagem no blog discutindo os riscos de segurança cibernética em seu navegador Atlas, alimentado por IA, e compartilhou uma visão um tanto sombria.
“É improvável que a injeção rápida, como os golpes online e a engenharia social, seja totalmente resolvida”, diz o blog. “Mas temos esperança de que um ciclo de resposta proativo, altamente sensível e rápido possa continuar a reduzir materialmente os riscos do mundo real ao longo do tempo. Ao combinar a descoberta automatizada de ataques com treinamento adversário e proteções em nível de sistema, podemos identificar novos padrões de ataque mais cedo, fechar vulnerabilidades mais rapidamente e aumentar constantemente o custo de exploração.”
Ciclo de resposta rápida
Então, o que exatamente é injeção rápida e qual é essa abordagem de “loop de resposta rápida”?
A injeção de prompt é um tipo de ataque em que um prompt malicioso é “injetado” no agente de IA da vítima sem seu conhecimento ou consentimento.
Por exemplo, um navegador de IA poderia ter permissão para ler todo o conteúdo de um site. Se esse site for malicioso (ou sequestrado) e tiver um prompt oculto (letras brancas no fundo, por exemplo), a IA poderá agir sobre ele sem que o usuário perceba.
Esse convite pode ser diferente, desde a infiltração de arquivos confidenciais até o download e a execução de complementos maliciosos do navegador.
A OpenAI quer combater fogo com fogo, ao que parece. Ele criou um bot, treinado por meio de aprendizado por reforço, que busca maneiras de se tornar um hacker. Ele coloca esse bot contra um defensor de IA, que então vai e volta, tentando adivinhar um ao outro. O resultado final é um defensor de IA capaz de detectar a maioria das técnicas de ataque.
O melhor antivírus para cada orçamento
Siga o TechRadar no Google Notícias e adicione-nos como sua fonte padrão para receber notícias, opiniões e opiniões de nossos especialistas em feeds. Certifique-se de clicar no botão Continuar!
E é claro que você também pode Siga o TechRadar no TikTok para receber notícias, análises, unboxings de vídeos e receber atualizações nossas WhatsApp também
