• Início
  • Notícias
  • “A IA pode tornar mais longa a cadeia de decisão, mas não pode tornar mais curta a cadeia de responsabilidade”
Notícias

“A IA pode tornar mais longa a cadeia de decisão, mas não pode tornar mais curta a cadeia de responsabilidade”

564

Security Magazine – Como considera que o modelo “Corporate Governance Gravity” poderá ajudar os Conselhos de Administração (CA) a integrarem temas como Cibersegurança e IA nas suas agendas e que modelo é este?
Bruno Horta Soares – Deixe-me responder da perspectiva de quem prepara uma apresentação para o Conselho de Administração (CA) e não do lado de quem a recebe. Quem leva cibersegurança ou IA a um CA conhece uma experiência muito específica: sai da sala com a sensação de que correu tudo bem, de que houve boas perguntas e sem nenhuma decisão. Isso quase nunca é falta de atenção do CA, é manifestação de um reflexo.

Ao longo de mais de 20 anos vi a mesma conversa repetir-se com um substantivo diferente. Primeiro foram as tecnologias de informação, depois os dados, depois a cibersegurança, depois a transformação digital, agora a IA. Cada vez que uma organização entende que estamos perante algo sem precedentes, conclui que é preciso uma estrutura nova. Cria-se um grupo de trabalho, uma comissão, um relatório trimestral e um “Chief Something Officer”. Cinco anos mais tarde, o tema normalmente acaba onde sempre iria acabar: dentro das responsabilidades que o CA já tinha, sem que a estrutura nova tivesse acrescentado autoridade nenhuma.

O Corporate Governance Gravity Model descreve esse mecanismo. Representa o Corporate Governance como um centro estável, feito de quatro responsabilidades permanentes: supervisão, risco, cultura e contenção. À volta desse centro, novos domínios entram no perímetro fiduciário à medida que se tornam materiais para o propósito, valor, risco, conduta ou responsabilização da empresa. O perímetro expande-se, a evidência muda, os instrumentos podem ter de mudar, mas o centro não se desloca.

Para quem prepara a ida ao CA, isto tem uma consequência prática imediata. Se chegar a dizer que a IA é sem precedentes e que precisa de uma governança própria, activa o reflexo e o resultado provável é um grupo de trabalho sem poder de decisão. Se chegar a dizer que aquela capacidade toca a supervisão e o risco, e que num ponto concreto os instrumentos existentes já não a alcançam, está a falar a língua institucional da sala e é muito mais provável que saia com uma decisão.

O erro mais comum não é ser tecnicamente insuficiente, é ser tecnicamente irrepreensível mas institucionalmente ilegível.

Diante da proliferação de exigências regulatórias (DORA, NIS2, AI Act), qual é o maior risco que os CA correm quando tentam responder a cada regulamento criando silos independentes de compliance?
O maior risco é a fragmentação da responsabilização e vale a pena dizer que os silos raramente nascem no CA. Nascem abaixo dele e muitas vezes nascem com os “especialistas”. O mecanismo é compreensível.

Cada regulamento chega com o seu prazo, o seu patrocinador e o seu orçamento próprio, e a forma mais rápida de responder é montar um programa dedicado. Multiplique-se isso por “N” requisitos e a empresa passa a ter “N” programas, “N” conjuntos de indicadores, “N” apetites de risco implícitos e “N” narrativas. O problema é o que isso produz na sala do CA. Passa a receber “N” estados de conformidade e não consegue saber onde é que se sobrepõem, onde é que se contradizem, nem qual é a exposição agregada da empresa. Cada participante consegue apontar para outra parte do sistema e quando toda a gente pode apontar para outro lado, a cadeia deixou de ser de responsabilização e passou a ser de culpabilização.

Há um segundo risco, mais subtil e mais frequente: o compliance passa a ser aceite como prova de boa governança. Já temos exemplos suficientes em Portugal e no mundo para perceber que são coisas distintas. O DORA, a NIS2 e o AI Act perguntam se a organização cumpre, mas nenhum deles pergunta se a empresa devia estar a fazer aquilo, que dependências está a criar, que conduta está a normalizar, ou quem responde quando o resultado for inaceitável.

Uma organização pode estar integralmente conforme e ter perdido a capacidade de se dirigir a si própria.

Do lado prático, a recomendação que faço a quem prepara estes dossiês é inverter a ordem da apresentação. Não levar “N” estados de conformidade, mas levar um mapa das dependências materiais da empresa, mostrando qual é o regulamento que toca cada uma (um Excel pode bastar). O CA passa a ver uma organização com obrigações, em vez de “N” obrigações à procura de uma organização.

Uma organização pode estar integralmente conforme e ter perdido a capacidade de se dirigir a si própria.

Quando a tomada de decisão é delegada ou assistida por algoritmos, onde começa e acaba a responsabilidade jurídica e moral do CA em caso de falha grave?
Comecemos pelo que não muda. As organizações sempre delegaram. Os CAs delegam na gestão e a gestão delega em equipas, fornecedores ou sistemas. O Corporate Governance nunca assentou na ficção de que os administradores tomam pessoalmente todas as decisões consequentes; sempre assentou numa cadeia de acção autorizada em que o propósito, os limites, o reporte e a responsabilização permanecem inteligíveis.

A IA Agêntica torna essa cadeia mais longa. Um sistema pode interpretar um objectivo, escolher passos intermédios, invocar outras ferramentas, interagir com clientes e ajustar-se a condições que mudam. Quanto mais capaz é o agente, mais fácil se torna falar como se a responsabilidade tivesse viajado com a capacidade de agir. No entanto, o CA pode delegar autoridade para agir;
não pode delegar a responsabilidade por ter autorizado essa capacidade de agir. Por isso, a pergunta central não é se foi um agente que decidiu. É se a organização consegue reconstruir a cadeia pela qual aquela decisão se tornou autorizada. Qual era o objectivo que o sistema perseguia? Sob autoridade de quem? Dentro de que limites? Com base em que evidência? Quem podia ter parado aquilo? Quem responde pelas consequências?

Se estas perguntas não têm resposta, o problema não é a máquina ter-se tornado responsável; é a responsabilidade humana ter-se tornado difusa. Este pode ser um dos contributos mais valiosos que um responsável de risco ou de segurança pode dar hoje: tornar essa cadeia reconstituível antes de ser precisa. Depois de um incidente grave, a reconstrução faz-se sob pressão, com advogados na sala e memórias que divergem. Feita no dia em que a capacidade entra em produção, pode custar uma hora e fazer toda a diferença.

Juridicamente, a fronteira da responsabilidade varia com a jurisdição e continuará a mover-se. No plano ético, a questão é mais estável: quem decide delegar poder não deixa de responder pela forma como esse poder foi delegado, limitado e supervisionado. A IA pode tornar mais longa a cadeia de decisão, mas não pode tornar mais curta a cadeia de responsabilidade.

Um CA experiente sabe que toda a informação foi filtrada e desconfia sempre de quem age como se não tivesse sido.

Quais são as métricas ou evidências de governança reais que um Administrador deve exigir à Gestão Executiva?
Talvez seja importante começar por fazer uma distinção entre métricas e evidência porque esta é provavelmente a razão pela qual tantos dashboards excelentes não produzem decisão nenhuma.

Métricas um CA já recebe em excesso: disponibilidade, incidentes, tempo médio de detecção, cobertura de controlos, desempenho de modelos. São necessárias e representam trabalho sério, mas respondem sempre à mesma pergunta: o sistema está a funcionar como foi concebido? Nenhuma delas responde à pergunta fiduciária: a organização deve usar aquilo naqueles termos? É muitas vezes por isso que um dashboard todo verde pode ser apresentado a um CA sem provocar uma única decisão. Pode estar tecnicamente certo e ser institucionalmente mudo.

A evidência que destaco no livro, no que refere ao tema da IA, é de outra natureza e são quatro coisas. Primeiro, a estabilidade da Responsabilidade: quem detém, com nome próprio, a autoridade delegada sobre cada capacidade materialmente consequente, com que direitos de decisão e contra que norma, e se isso se mantém coerente à medida que as circunstâncias mudam. Segundo, a Latência de decisão: qual é a janela de intervenção, quanto tempo decorre entre algo começar a correr mal e a consequência ficar fixada. Terceiro, a Explicabilidade: para que decisão é que a explicação disponível é suficiente, o que é diferente de discutir se o modelo é explicável em abstracto. Quarto, a Reversibilidade: uma decisão tomada pelo sistema consegue ser interrompida, contestada ou desfeita depois de produzir efeitos, ou é efectivamente final.

Adicionaria mais uma exigência sobre a própria informação: que o relatório diga o que excluiu. Sei que parece contra-intuitivo apresentar-se perante um CA a declarar os limites do que trouxe, mas na prática é o que constrói mais credibilidade. Um CA experiente sabe que toda a informação foi filtrada e desconfia sempre de quem age como se não tivesse sido.

Dou um exemplo concreto que discuto muitas vezes com as áreas de risco. É frequente levarem-se ao CA os três riscos digitais críticos. O que peço é que se leve o top 3 dos riscos digitais naquele momento, com os restantes visíveis por baixo. A diferença entre as duas abordagens parece semântica, mas não é. No primeiro caso, o CA recebe três riscos e não tem maneira de saber se são os três mais relevantes, se são os três que alguém conseguiu documentar a tempo, ou se são os três que a organização se sente confortável a discutir. No segundo, o CA recebe três riscos e a informação de que existe uma lista, de onde estes vieram e
o que ficou logo abaixo.

Qual é a Red Flag mais frequente que encontra nas organizações quando a cibersegurança e a IA começam a tornar-se estrategicamente críticas?
A mais frequente é também a mais confortável e é por isso que passa despercebida: a reunião que corre bem e não muda nada.
O CA recebe uma apresentação longa e competente, faz boas perguntas sobre controlos, agradece e sai da sala convencido de que despachou do tema. Examinou como o sistema funciona sem nunca ter chegado ao propósito, ao valor, à exposição, à conduta e à
responsabilização. Este cenário é perigoso precisamente porque se parece com diligência. Toda a gente saiu satisfeita e nada foi decidido, autorizado ou limitado.

Se a reunião termina sem uma decisão, sem uma autoridade atribuída ou sem um limite escrito, o CA não governou, recebeu um relatório. São coisas diferentes e só uma delas pode proteger a organização daqui a dois anos.

Há um teste simples para detectar outra Red Flag. Perguntar na sala quem autorizou aquela capacidade a operar naqueles termos. Se a resposta for o nome de um projecto, de um programa ou de um fornecedor em vez do nome de uma pessoa, encontrou-a. Há outro sinal, mais linguístico do que documental, interessante. Reparar em quem é o sujeito das frases. Quando as pessoas começam a dizer “o sistema decidiu”, “o modelo recusou”, “a plataforma sinalizou”, é a gramática que está a fazer o trabalho que a governança devia estar a fazer. Os sistemas executam, decidir é um acto humano e institucional que quando desaparece da linguagem costuma já ter desaparecido da prática.

Um board que queira aplicar o Corporate Governance Gravity a partir de hoje, qual deve ser o primeiro passo prático para simplificar a governança de risco cibernético e tecnológico?
Antes do passo, uma clarificação sem a qual a resposta podia seria mal interpretada. O modelo não diz que a Cibersegurança, a IA ou quem sabe daqui a uns anos Sabres de Luz dispensam governança própria. Existe uma AI Governance e existe uma Cybersecurity Governance, com objecto próprio, disciplina própria e referenciais maduros para as sustentar. A função Govern da NIST CSF 2.0 é exactamente isso, e é uma boa peça de engenharia institucional.

A ISO/IEC 42001 faz o mesmo para a IA e o COBIT fá-lo para a Informação e Tecnologia. Nada no modelo sugere que esse trabalho seja dispensável ou secundário. É indispensável e um CA não pode governar por afirmação: precisa de trabalho especializado sólido por baixo dele.

O que o modelo diz é que esse trabalho acontece ao nível de um domínio, dentro de autoridade delegada pela empresa e que o facto de existir não constitui o Corporate Governance daquele domínio. São dois patamares distintos e as perguntas de cada um são diferentes. A AI Governance pergunta se o sistema está desenhado e a operar como pretendido. O Corporate Governance da IA pergunta se a empresa deve usar e depender daquilo naqueles termos, que valor se espera criar, que exposição está disposta a aceitar, que conduta aquilo normaliza e quem responde quando algo corre mal.

O risco não é a ausência das duas perspectivas, é a confusão entre elas. Um CA pode ser exaustivamente informado sobre a governança de um domínio, com qualidade técnica irrepreensível e sair da sala convencido de que tratou do Corporate Governance da IA, tendo examinado controlos sem nunca ter chegado a propósito, valor, exposição, conduta e responsabilização.

Feita a distinção, o primeiro passo prático não é adoptar mais um referencial, porque essa camada, na maioria das organizações com que trabalho, já existe e está razoavelmente bem servida. O que falta quase sempre é a linha que liga uma camada à outra.
Como exercício, pode escolher uma capacidade de IA já em produção, de preferência uma que toque clientes ou colaboradores, e reconstruir a cadeia pela qual foi autorizada. Quem definiu o objectivo? Quem aprovou os limites? Quem tem autoridade delegada hoje? Que evidência chega ao CA e com que regularidade. Quem pode interromper aquilo? Quanto custaria fazê-lo? Depois seguem-se as quatro perguntas de fronteira: Temos janela de intervenção suficiente? A explicação disponível chega para a decisão que temos de tomar? A responsabilização mantém-se agarrada a pessoas identificáveis? Conseguimos remediar a decisão errada e as suas consequências?

Isto ocupa meia manhã, não precisa de autorização do CA e ensina mais do que qualquer avaliação de maturidade, porque obriga a olhar para o que já está a acontecer em vez de descrever o que se gostaria que acontecesse. Não é uma auditoria da AI Governance, é um teste à relação entre ela e o CA.

A simplificação vem daí, e vem por subtracção. Na esmagadora maioria dos casos a conclusão é que os instrumentos do CA chegam, desde que se lhes dê melhor evidência, cadência mais curta, autoridade delegada explícita e limites escritos. Só quando as quatro condições são persistentemente violadas é que se justifica uma estrutura especializada ao nível do CA, e mesmo então ela deve ficar amarrada por mandato claro, autoridade delimitada e escalamento ininterrupto. Estende o alcance do CA sem transferir a sua responsabilização. O que se cria nesse caso é uma extensão do centro, não um centro paralelo.

O que o levou a abraçar este novo projecto e o que perspectiva nos próximos tempos?
Levou-me aquela conhecida sensação do filme Feitiço do Tempo quando o Bill Murray acorda todas as manhãs com a mesma música na rádio. Passei mais de 20 anos em salas de CA e em salas de aula a dizer a organizações diferentes, em sectores diferentes e em países diferentes, mais ou menos a mesma coisa sobre tecnologias que se apresentavam como radicalmente
distintas umas das outras. Faltava-me um nome para esse fenómeno e acabou por resultar num livro.

Quanto ao que se segue, este projecto tem menos de investigação académica e mais de terapia de grupo entre profissionais (ou como é mais correcto dizer, boas práticas profissionais). É a partilha de alguém que passou anos incomodado com um fenómeno, na convicção de que esse incómodo é o incómodo de muitos outros. Espero que seja lido por colegas de profissão e, quem sabe, desafiado por colegas do meio académico, porque a este fenómeno ainda lhe falta evidência científica.

A IA ou a Cibersegurança foram a oportunidade, não o assunto. Daqui a alguns anos teremos esta conversa outra vez, com outra tecnologia e outros regulamentos, e a pergunta será a mesma: isto pertence ao CA, e por que caminho é que o que se sabe lá dentro chega até ele. O meu contributo, se existir, é que da próxima vez a sala perca menos tempo a discutir se aquilo é sem precedentes.

Termino com aquilo que me parece mais útil para quem lê esta revista, que raramente é quem se senta no CA e quase sempre é quem lá leva os temas. O desalinhamento entre o CA e as funções de risco e segurança quase nunca é desacordo, é muitas vezes cada lado a responder a uma pergunta diferente e a supor que é a mesma. De baixo para cima envia-se a resposta a “está a funcionar como foi concebido”. De cima para baixo espera-se a resposta a “devemos usar isto nestes termos e quem responde se correr mal”. As duas perguntas são legítimas, ambas precisam de ser feitas e nenhuma substitui a outra.

O alinhamento faz-se no ponto onde as duas se encontram, que é o ponto da delegação. De cima têm de vir propósito, limites e apetite de risco explícitos, porque sem eles ninguém abaixo pode decidir sem estar a adivinhar. De baixo tem de vir evidência que permita contestação genuína e uma cadeia de autorização que se consiga reconstruir. Quando isso existe, a conversa deixa de ser uma prestação de contas técnica e passa a ser uma decisão partilhada.

E se o livro não servir para mais nada, que sirva ao menos para deixar escrito que, na minha opinião, há muito mais para dizer para lá do “a culpa é do informático”.

Notícias relacionadas