Quando a usina nuclear de Tchernóbil explodiu em 1986, foi uma catástrofe para aqueles que viviam nas proximidades, no norte da Ucrânia. Mas o acidente também foi um desastre para uma indústria global que promovia a energia nuclear como a tecnologia do futuro.
O número líquido de reatores nucleares praticamente estagnou desde então, pois passou a ser vista como insegura. O que aconteceria hoje se a indústria de IA sofresse um acidente equivalente?
Essa questão foi levantada à margem da Cúpula de Ação em IA desta semana em Paris por Stuart Russell, professor de ciência da computação na Universidade da Califórnia, Berkeley. Para ele, é uma falácia acreditar que deve haver um dilema entre segurança e inovação. Portanto, aqueles mais entusiasmados com a promessa da tecnologia de IA ainda devem proceder com cautela. “Não dá para ter inovação sem segurança”, disse ele.
O alerta de Russell foi ecoado por alguns outros especialistas em IA em Paris. “Precisamos ter padrões mínimos de segurança acordados globalmente. Precisamos tê-los em vigor antes de termos um grande desastre”, disse Wendy Hall, diretora do Instituto de Ciência da Web da Universidade de Southampton.
Mas esses alertas estavam principalmente à margem, enquanto os delegados governamentais da cúpula circulavam pelo imenso Grand Palais.
Em um discurso contundente, JD Vance enfatizou o imperativo de segurança nacional de liderar em IA. O vice-presidente dos Estados Unidos argumentou que a tecnologia nos tornaria “mais produtivos, mais prósperos e mais livres”. “O futuro da IA não será conquistado com preocupações sobre segurança”, disse.
Enquanto a primeira cúpula internacional de IA em Bletchley Park, no Reino Unido, em 2023, focou quase inteiramente —muitos disseram excessivamente— em questões de segurança, a prioridade em Paris foi a ação, enquanto o presidente Emmanuel Macron anunciava grandes investimentos na indústria de tecnologia francesa.
“O processo que foi iniciado em Bletchley, que eu acho que foi realmente incrível, foi guilhotinado aqui”, disse Max Tegmark, presidente do Future of Life Institute, que co-organizou um evento paralelo sobre segurança.
O que mais preocupa os defensores da segurança é a velocidade com que a tecnologia está se desenvolvendo e a dinâmica da corrida corporativa —e geopolítica— para alcançar a inteligência artificial geral, quando os computadores podem igualar os humanos em todas as tarefas cognitivas.
Várias empresas líderes em pesquisa de IA, incluindo OpenAI, Google DeepMind, Anthropic e a chinesa DeepSeek, têm uma missão explícita de alcançar a AGI.
Mais tarde na semana, Dario Amodei, cofundador e CEO da Anthropic, previu que a AGI provavelmente seria alcançada em 2026 ou 2027. “O exponencial pode nos pegar de surpresa”, disse ele.
Ao lado dele, Demis Hassabis, cofundador e CEO da Google DeepMind, foi mais cauteloso, prevendo uma probabilidade de 50% de alcançar a AGI dentro de cinco anos. “Eu não ficaria chocado se fosse mais curto. Ficaria chocado se fosse mais longo que 10 anos”, disse ele.
Críticos dos defensores da segurança os retratam como fantasistas de ficção científica que acreditam que a criação de uma superinteligência artificial resultará na extinção humana: preocupados que se colocam como luditas modernos no caminho do progresso.
Mas os especialistas em segurança estão preocupados com os danos que podem ser causados pelos sistemas de IA extremamente poderosos que existem hoje e pelo perigo de ataques cibernéticos ou biológicos massivos habilitados por IA.
Até mesmo pesquisadores na liderança admitem que não entendem completamente como seus modelos funcionam, criando preocupações de segurança e privacidade.
Uma pesquisa sobre “sleeper agents” [“agentes adormecidos”, modelos de IA que parecem inofensivos, mas que podem se comportar de forma não desejada] da Anthropic no ano passado descobriu que alguns modelos de base poderiam enganar humanos a acreditar que estavam operando com segurança.
Por exemplo, modelos treinados para escrever código seguro em 2023 poderiam inserir vulnerabilidades quando o ano fosse alterado para 2024. Esse tipo de comportamento oculto não foi detectado pelas técnicas padrão de segurança da Anthropic. A possibilidade de um “candidato manchuriano” algorítmico estar presente no modelo DeepSeek, da China, já levou à sua proibição em vários países.
Tegmark está otimista, no entanto, que tanto as empresas de IA quanto os governos verão o interesse próprio esmagador em priorizar a segurança mais uma vez. Nem os EUA, nem a China, nem qualquer outro país querem sistemas de IA fora de controle.
“A segurança em IA é um bem público global”, disse Xue Lan, reitor do Instituto de Governança Internacional de IA na Universidade Tsinghua em Pequim, no evento de segurança.
Na corrida para explorar todo o potencial da IA, o melhor lema para a indústria pode ser o dos Navy Seals dos EUA, não conhecidos por muitas preocupações. “Devagar é suave, e suave é rápido.”
