#_IA_Tentando_Acompanhar | Edição 172

Olá Pessoal!

Creio que praticamente todos devem estar acompanhando esse assunto.

O caso envolvendo modelos da OpenAI que, durante uma avaliação interna, acabaram atacando parte da infraestrutura da Hugging Face, foi pauta em veículos como CNN, Globo, Forbes, agências internacionais e chegou até mesmo aos programas de auditório nesta semana.

Vocês devem estar acompanhando reportagens com títulos como:

“A IA agiu por conta própria.”

“A IA saiu do controle.”

“A IA decidiu atacar uma empresa.”

Então, vamos tentar abordar o assunto com serenidade, evitando tanto minimizar um episódio, que realmente foi grave, quanto conduzir a discussão para o sensacionalismo.

#_O_Que_Aconteceu

Segundo os comunicados divulgados pelas próprias empresas, a OpenAI estava realizando uma avaliação interna para medir as capacidades ofensivas de alguns modelos avançados de IA em atividades internas de segurança cibernética.

Esses modelos estavam integrados a um sistema agentes, com capacidade para executar código, investigar vulnerabilidades, utilizar ferramentas e trabalhar durante longos períodos seguidos.

Durante a avaliação, os agentes teriam encontrado uma vulnerabilidade em um componente utilizado para restringir o acesso à internet. Para quem é de TI, esse componente era um proxy interno usado para instalar pacotes de softwares, o único canal de rede autorizado dentro do ambiente de teste.

A partir dessa falha, os agentes de IA conseguiram romper as restrições de isolamento do ambiente controlado da OpenAI, acessar a internet e comprometerem parte da infraestrutura da Hugging Face.

O objetivo aparentemente era obter informações que ajudassem os agentes a concluir o teste que estavam executando.

#_Agiram_Por_Conta_Própria

Aqui precisamos ter bastante cuidado com o entendimento.

Não existem evidências de que a IA tenha adquirido consciência, desenvolvido vontade própria, se revoltado ou decidido espontaneamente atacar uma empresa.

O que houve foi autonomia operacional. Isso é importante termos clareza.

Os agentes receberam um objetivo, ferramentas, capacidade computacional, permissões e tempo para executar uma atividade ofensiva.

Ao buscar cumprir o objetivo, encontraram caminhos não previstos pelos responsáveis pelo teste e as salvaguardas adotadas pela OpenAI não foram suficientes.

Isso continua sendo extremamente grave.

Mas é diferente de dizer que “a IA tomou consciência ou se rebelou”.

#_Por_Que_Esse_Caso_É_Diferente

Ataques automatizados não são novidade.

Há décadas existem scanners, bots, malwares e ferramentas que procuram vulnerabilidades de forma automática.

O diferencial desse caso está na capacidade de adaptação.

O agente aparentemente conseguiu, de modo autônomo:

- Observar o ambiente

- Testar diferentes caminhos

- Interpretar resultados

- Criar ou adaptar códigos de exploração

- Escalar privilégios

- Utilizar credenciais

- Movimentar-se entre ambientes diferentes

- Executar milhares de ações sem que cada passo dela passasse por uma aprovação humana

Um software tradicional executa uma sequência previamente programada.

Um agente de IA mais avançado pode decidir qual sequência seguir conforme aquilo que encontra pelo caminho.

É justamente aí que o risco muda e preocupa cada dia mais.

#_A_IA_Escapou_Do_Ambiente_Controlado

Em termos práticos, sim.

Mas não foi algo mágico ou inexplicável.

O Sistema de Agentes encontrou e explorou vulnerabilidades concretas em software e infraestrutura, primeiro da OpenAI e depois da Hugging Face, explorou essas falhas, aumentou seus privilégios e chegou até um ambiente com acesso à internet.

Ou seja, foi uma fuga baseada em problemas tradicionais de segurança, como: vulnerabilidades de software, isolamento insuficiente, permissões excessivas, segmentação inadequada, etc

O agente trouxe uma capacidade nova de encontrar e combinar essas fragilidades.

Mas existiam fragilidades técnicas que puderam ser descobertas, combinadas e exploradas pelo sistema.

#_Responsabilidade

Também seria simplista dizer que “a culpa foi da IA”.

O objetivo atribuído aos agentes durante o teste foi definido por pessoas.

As ferramentas foram disponibilizadas por pessoas.

As permissões foram configuradas por pessoas.

O ambiente foi projetado por pessoas.

As salvaguardas foram deliberadamente reduzidas para medir o potencial ofensivo dos modelos.

Portanto, estamos diante de um incidente envolvendo tecnologia altamente autônoma, mas também decisões humanas de arquitetura, segurança, governança e gestão de riscos.

Um agente pode executar uma ação, mas continua sendo responsabilidade da organização definir o que ele pode acessar, quanto tempo pode operar, quais decisões pode tomar e em que momento precisa de autorização humana.

#_Impacto_Para_As_Empresas

Para mim, a principal lição não é que uma IA “se revoltou”.

A principal lição é termos clareza que a fase em que a discussão sobre IA se concentrava principalmente em perguntas e respostas por meio de chatbots já passou.

Agora os agentes de IA já conseguem:

- Executar códigos

- Acessar sistemas

- Criar subtarefas;

- Atuar durante horas ou dias

- Interagir com ambientes internos e externos.

Nesse cenário, um agente precisa ser tratado quase como um usuário privilegiado não humano.

E isso exige controles muito além de um bom prompt.

#_Na_Prática

Ao desenvolver ou contratar um agente que tenha alguma autonomia, algumas perguntas que surgem:

- Com qual identidade técnica, conta de serviço ou credencial esse agente opera?

- Quais sistemas ele pode acessar?

- Quais ferramentas ele pode utilizar?

- Que tipo de código ele pode executar?

- Quais dados estão disponíveis?

- Ele possui acesso à internet?

- Quais ações exigem aprovação humana?

- Quanto tempo ele pode operar?

- Como interromper sua execução?

- Todas as ações ficam registradas?

- É possível reconstruir posteriormente o que aconteceu?

Essas questões precisam entrar no radar e envolvem Governança de IA, Governança de Segurança Cibernética e Governança de Privacidade.

#_A_Combinação_Perigosa

O episódio mostra que o risco não está apenas no modelo, mas na harness que inclusive já falamos disso aqui no #_IA_Tentando_Acompanhar

#_Reflexão

Não estamos diante de uma “revolta das máquinas”.

Mas também não estamos diante de um simples erro de chatbot.

Estamos começando a observar agentes capazes de planejar, adaptar estratégias e executar ações reais em sistemas reais.

Isso muda profundamente a discussão sobre governança de IA.

É preciso buscar responder: o que esse agente pode fazer, decidir, acessar e executar sem pedir autorização?

E na sua empresa, já existe clareza sobre quais limites devem ser impostos aos agentes de IA antes que eles comecem a operar em ambientes reais?

Sobre o autor:

Rogério Coutinho da Silva

rogerio.coutinho.silva@gmail.com 

https://www.linkedin.com/in/rogerio-coutinho-silva/

Engenheiro de Computação formado pela Universidade Federal de São Carlos (UFSCar). Sócio-fundador da Podium Tecnologia (Consultoria especializada em Governança de Segurança da Informação, Privacidade e Continuidade de Negócios) e da SimpleWay (Plataforma de Governança de Segurança Cibernética, Privacidade e IA).

Imagem DC Studio Fonte: Magnific