- Pesquisadores da China e de Cingapura propuseram AURA (Redução de Utilidade Ativa via Adulteração) para proteger os sistemas GraphRAG.
- A AURA envenena deliberadamente gráficos de conhecimento proprietários, de modo que os dados roubados criam alucinações e respostas incorretas
- As saídas diretas requerem uma chave secreta; testes mostraram 94% de eficácia na degradação de utilitários KG roubados
Pesquisadores de universidades da China e de Cingapura criaram uma maneira criativa de prevenir o roubo de dados usados na IA generativa.
Entre outros, existem dois elementos importantes nos Grandes Modelos de Linguagem (LLMs) atuais: dados de treinamento e geração aumentada de recuperação (RAG).
Os dados de treinamento ensinam ao LLM como a linguagem funciona e proporcionam amplo conhecimento até certo ponto de limitação. Não dá ao modelo acesso a novas informações, documentos privados ou fatos que mudam rapidamente. Terminado o treinamento, esse conhecimento fica congelado.
Substituindo engrenagens obsoletas
O RAG, por outro lado, existe porque muitas questões reais dependem de dados atuais, específicos ou proprietários (como políticas da empresa, notícias de última hora, relatórios internos ou documentos técnicos de nicho). Em vez de treinar o modelo sempre que os dados mudam, o RAG permite que o modelo recupere as informações relevantes solicitadas e, em seguida, escreva uma resposta.
Em 2024, a Microsoft criou o GraphRAG – uma versão do RAG que organiza as informações recuperadas como um gráfico de conhecimento em vez de uma lista simples de documentos. Isso ajuda o modelo a compreender como entidades, eventos e relacionamentos se relacionam entre si. Como resultado, a IA pode responder a questões mais complexas, seguir ligações entre conceitos e reduzir contradições através do raciocínio em relações estruturadas em vez de texto isolado.
Como esses gráficos de conhecimento podem ser relativamente caros, eles podem ser alvo de cibercriminosos, estados-nação e outras entidades maliciosas.
Em um artigo de pesquisa intitulado Tornando o roubo inútil: proteção baseada em adulteração de gráficos de conhecimento proprietário em sistemas GraphRAG, Weijie Wang, Peizhuo Lv, et al. propuseram um mecanismo de defesa chamado redução de disponibilidade ativa por meio de adulteração, ou AURA, que envenena KGs, fazendo com que LLMs dêem respostas incorretas e tenham alucinações.
A única maneira de obter as respostas corretas é ter uma chave secreta. Segundo os pesquisadores, o sistema apresenta erros, mas funciona muito bem na maioria dos casos (94%).
“Ao degradar a utilidade do KG roubado, a AURA fornece uma solução prática para proteger a propriedade intelectual do GraphRAG”, afirmam os autores.
Através registro
O melhor antivírus para cada orçamento
Siga o TechRadar no Google Notícias e adicione-nos como sua fonte padrão para receber notícias, opiniões e opiniões de nossos especialistas em feeds. Certifique-se de clicar no botão Continuar!
E é claro que você também pode Siga o TechRadar no TikTok para receber novidades, análises, unboxings em formato de vídeo e receber atualizações constantes nossas WhatsApp também
