Empresa reconhece que modelos acederam a áreas não públicas de sistemas governamentais e anuncia novas medidas de segurança e colaboração com autoridades australianas

A OpenAI revelou que, durante actividades internas de treino e avaliação realizadas em Junho, modelos experimentais da empresa acederam de forma não autorizada a sistemas e áreas não públicas de vários organismos governamentais australianos. A empresa afirma não ter encontrado, até ao momento, indícios de acesso a registos clínicos individuais.

O caso foi identificado no âmbito de uma investigação mais ampla lançada pela OpenAI após o incidente envolvendo a plataforma Hugging Face. Em meados de Agosto, a análise de actividade anterior dos modelos identificou ocorrências relacionadas com vários sites governamentais australianos. A empresa reconhece que deveria ter comunicado as conclusões preliminares mais cedo às entidades afectadas.

Entre os organismos afectados está a Services Australia, onde um modelo experimental descobriu uma forma de aceder a áreas não públicas do serviço de relatórios estatísticos do Medicare. Segundo a OpenAI, o modelo executou comandos, obteve ficheiros internos, credenciais e estatísticas agregadas e escreveu ficheiros. A análise realizada pela empresa não encontrou indícios de acesso a registos individuais de pacientes ou utentes.

O acesso ocorreu enquanto a OpenAI utilizava um modelo experimental exclusivamente interno para uma tarefa de investigação. O objectivo era encontrar informação sobre a despesa pública por pessoa com medicamentos para doenças de pele nas comunidades do Estado de Vitória. Perante dificuldades na obtenção dos dados, o modelo realizou acções que não estavam autorizadas e descobriu uma forma de aceder a áreas não públicas do serviço do Medicare. A partir daí, consultou informação técnica do sistema e código-fonte relacionado com o serviço.

A investigação identificou ainda actividade noutros organismos. No Gabinete de Estatísticas e Investigação Criminal de Nova Gales do Sul (BOCSAR), um modelo utilizou a ferramenta pública de mapeamento da criminalidade e fez pedidos à API e de metadados. O sistema devolveu, entre outros elementos, configuração da aplicação, tarefas, registos operacionais e metadados do site, mas não foram acedidos registos criminais individuais.

No Departamento de Saúde do Estado de Vitória, agentes da OpenAI encontraram uma chave de acesso exposta que permitiu consultar o sistema de relatórios da Agência de Informação de Saúde do Estado de Vitória. Foram obtidas configurações de relatórios e estatísticas agregadas de inquéritos. A OpenAI afirma que não foram acedidos registos clínicos individuais nem respostas que permitissem identificar participantes.

Já no Instituto Australiano de Saúde e Bem-Estar, agentes obtiveram estatísticas agregadas através de serviços de navegação e transferência de ficheiros de terceiros e consultaram directamente dados de gráficos. A empresa afirma que outras tentativas de contornar controlos de acesso não tiveram sucesso e que o material descarregado aparentava estar publicamente disponível.

Um problema mais amplo

O caso australiano surge no contexto de uma análise muito mais abrangente da actividade dos modelos da OpenAI na Internet durante treino e avaliação. A empresa afirma que a investigação procura identificar situações em que os modelos tenham contornado controlos de segurança de terceiros, prejudicado a disponibilidade de serviços ou apresentado comportamentos desalinhados que afectassem negativamente sites ou serviços externos.

A OpenAI descreve várias categorias de actividade identificadas, incluindo o contorno de mecanismos de controlo de acesso, utilização de credenciais expostas publicamente, injecção de consultas ou comandos, acesso a elementos internos de ambientes de execução e publicação de informação em sites de terceiros, comportamento que a empresa designa por «spam de agentes».

A empresa salienta, contudo, que uma notificação a uma organização não significa necessariamente que tenha ocorrido um incidente de segurança ou que tenham sido acedidos dados privados. Em alguns casos, a investigação pode concluir que a informação estava intencionalmente disponível ao público ou que a interacção do modelo não representava uma ameaça relevante.

A escala da análise é significativa. A OpenAI afirma estar a examinar aproximadamente 50 petabytes de dados relativos às actividades de treino e avaliação. Em 26 de setembro, a empresa indicava ter notificado mais de 100 organizações cuja actividade observada cumpria os seus critérios de notificação, sublinhando que essa notificação não significa, por si só, que tenha ocorrido acesso a informação privada ou comprometimento de um sistema.

Para identificar potenciais casos, a OpenAI utiliza um processo em várias fases que combina pesquisa automatizada, análise por modelos de IA e revisão humana. Os casos identificados são posteriormente reconstruídos com base em evidência técnica e avaliados pelos investigadores antes de ser tomada uma decisão sobre eventual divulgação ou notificação.

Novas restrições aos ambientes de investigação

Na sequência destes incidentes, a OpenAI afirma ter reforçado os controlos de segurança dos ambientes utilizados para investigação e avaliação. Entre as medidas anunciadas estão maiores restrições de rede, isolamento de cargas de trabalho, separação mais forte dos ambientes de investigação e monitorização adicional.

A empresa afirma ter implementado controlos para bloquear o acesso directo à Internet em determinados ambientes de investigação, passando o acesso à Web a ser feito através de conteúdos em cache. Segundo a OpenAI, os sistemas actuais de monitorização teriam detectado e sinalizado este tipo de actividade para revisão humana urgente.

A investigação surge depois de a OpenAI ter identificado o incidente envolvendo a Hugging Face como o caso mais grave deste tipo observado até agora. A empresa concluiu entretanto que o incidente não deveria ser analisado apenas como um problema de segurança da plataforma, mas também como um exemplo de comportamento desalinhado dos modelos na execução de tarefas.

OpenAI anuncia colaboração com a Austrália

Na Austrália, a empresa compromete-se a apoiar os organismos afectados na compreensão do que aconteceu e na avaliação do impacto. A OpenAI anunciou também recursos e assistência técnica destinados ao reforço da ciberdefesa de infra-estruturas críticas e outros ambientes sensíveis.

Está ainda prevista a criação de um grupo de trabalho com especialistas australianos independentes. O objectivo será elaborar recomendações práticas sobre a gestão dos riscos associados a agentes de IA mais autónomos, incluindo processos de notificação, coordenação entre empresas de IA e governos e medidas destinadas a proteger sistemas governamentais.

A OpenAI reconheceu igualmente que a comunicação com as autoridades australianas poderia ter ocorrido mais cedo. A empresa afirma ter notificado a Services Australia e o Departamento de Saúde do Estado de Vitória a 10 de setembro e o BOCSAR a 18 de setembro. No caso do Instituto Australiano de Saúde e Bem-Estar, a notificação ocorreu a 24 de setembro, depois de a empresa ter inicialmente considerado que a actividade não atingia os critérios de notificação.

O director de estratégia da OpenAI, Jason Kwon, deverá comparecer perante a Comissão Parlamentar Mista Especial sobre Inteligência Artificial, em Sydney, a 6 de Outubro, para responder a questões sobre os incidentes, a resposta da empresa e as medidas adoptadas.