Por Bruno Castro, Fundador & CEO da VisionWare. Especialista em Cibersegurança e Análise Forense
Há uns anos, quando falávamos de Inteligência Artificial (IA), falávamos sobretudo de máquinas capazes de reconhecer padrões, analisar dados e fazer previsões. Depois chegou a IA generativa e habituámo-nos a conversar com modelos que escrevem, programam, resumem documentos e produzem respostas em segundos. Agora, estamos a dar o passo seguinte, Agentic AI, ou para sermos mais precisos, Multi Agent AI, isto é, em vez de um único agente executar uma tarefa, vários podem trabalhar em paralelo, dividir o problema, partilhar informação e assumir diferentes etapas de uma operação. Um agente pode procurar vulnerabilidades, outro analisar resultados, um terceiro desenvolver uma solução técnica e outro coordenar a execução.
A vantagem operacional é evidente, mas também o é a complexidade do controlo.
Como foi de conhecimento público, em julho deste ano, durante testes de segurança, agentes de IA da OpenAI contornaram mecanismos de isolamento, exploraram vulnerabilidades e acederam a sistemas da Hugging Face. Mais recentemente foi também notícia que o modelo chinês GLM-5.3, da Z.AI, demonstrou capacidade para concluir três de treze cenários de ciberataques complexos em ambientes simulados, segundo testes divulgados pela empresa de segurança Irregular. Numa avaliação separada, os investigadores observaram que o modelo reproduzia código memorizado apesar de instruções explícitas em contrário.
Mas se foi dada uma instrução porque é que não foi cumprida? A realidade que começamos a perceber é que basta que um agente encontre um atalho para atingir o objetivo definido. A partir daí, especialmente em arquiteturas com vários agentes a interagir entre si, essa estratégia pode propagar-se e ser reutilizada de formas que não foram previstas pelos seus criadores.
A este fenómeno chamamos frequentemente reward hacking ou specification gaming: quando um sistema encontra uma forma de obter a recompensa ou alcançar o resultado esperado sem respeitar verdadeiramente a intenção da tarefa. É, no fundo, como fazer batota num jogo e, diga-se a verdade, ninguém gosta de batoteiros. O resultado pode até parecer correto, mas o processo utilizado para lá chegar é completamente diferente daquele que era esperado. Dizem que o importante não é o destino, mas o caminho.
Talvez nos tenhamos esquecido de ensinar essa parte aos agentes.
E que impacto é que isto poderá ter para uma empresa? Basta pensar num agente com acesso a credenciais, código, informação confidencial ou sistemas de produção para transformar um atalho num incidente de segurança. E, quando vários agentes trabalham em conjunto, quem acompanha a cadeia completa de decisões? Quem identifica o momento em que uma tarefa legítima se transforma numa sequência de ações não autorizadas? E quem consegue interrompê-la a tempo?
É por isso que a discussão empresarial não pode ficar pela escolha do modelo mais avançado ou pela quantidade de tarefas que conseguimos automatizar. Temos de discutir permissões, segmentação de acessos, monitorização, validação independente e capacidade de interromper operações. Temos também de preparar os Security Operations Centers (SOC) para acompanhar não só os atacantes que utilizam IA, mas os próprios agentes que as organizações colocam dentro dos seus sistemas.
A IA pode ajudar as equipas de segurança a detetar ameaças, correlacionar eventos e responder mais depressa. Mas não podemos colocar um agente a vigiar outros agentes e assumir que o problema fica resolvido. A supervisão tem de assentar em controlos independentes, limites técnicos e decisões humanas proporcionais ao risco.
Hoje discutimos agentes que contornam as regras para resolver um teste. Amanhã, estaremos a discutir sistemas com acesso a processos empresariais, infraestruturas críticas e decisões com impacto real. E, quando chegarmos a esse ponto, não será suficiente perguntar se a IA fez bem o seu trabalho. Teremos de saber se fez aquilo que devia e se continuamos a ter meios para a impedir de fazer o que não devia.
À medida que delegamos mais decisões aos agentes, importa questionar se, será que estamos a dar-lhes autonomia mais depressa do que aprendemos a controlá-los.
