Em “ Neuromancer ”, o romance de ficção científica de
William Gibson( 1984), no futuro imaginado pelo livro, uma força policial
impede que computadores com inteligência artificial se tornem inteligentes
demais. Os agentes portam armas e têm poder de prisão. As leis exigem que um
“Registro Turing” liste todas as IAs existentes. No minuto, quer dizer, no
nanossegundo, que uma delas começar a descobrir maneiras de se tornar mais
inteligente, eles as eliminam.
Será que queremos criar a Polícia de Turing? Propostas nesse
sentido estão atualmente em discussão. No congresso americano já apresentaram
um projeto de lei que prevê prisão para cientistas que trabalham com
"superinteligência", com penas de até vinte anos.
Vale a pena refletir sobre o que a aplicação de tais medidas
poderia implicar. O projeto de lei criaria "uma nova agência federal de
nível ministerial" dedicada à segurança da IA. Presumivelmente, essa
Agência Nacional de IA precisaria monitorar o trabalho de cientistas da
computação.
Essas medidas maximalistas estão muito distantes das
propostas na semana passada por Dario Amodei, CEO da Anthropic, em um ensaio
intitulado “ Precisamos Controlar o Ritmo da Fronteira ”. A “fronteira” é o que
os especialistas em IA chamam de estado da arte; “controlar o ritmo” é uma
palavra incomum, e aqui significa simplesmente optar por ir um pouco mais
devagar do que a velocidade máxima. (“Controlar o ritmo” não é parar — não é
nem mesmo fazer uma pausa.) Amodei escreve que, após inúmeros incidentes
preocupantes de segurança , as empresas de IA precisam começar a “controlar o
ritmo do avanço das capacidades para que a prevenção de riscos tenha tempo de
acompanhar”. No sistema de Amodei, auditores externos restringiriam o ritmo,
realizando inspeções e emitindo alertas de segurança.
A China, no entanto, limitaria a extensão da desaceleração,
por meio de seus esforços para alcançar as empresas americanas. (“Uma liderança
chinesa em IA representaria um grave perigo para os Estados Unidos e para o
mundo”, argumenta Amodei — em parte por meio de inovações militares, como
“drones controlados por IA”.) A mudança que Amodei defende, portanto, é uma
recalibração, não uma parada de emergência. Ritmo significa “desenvolver IA em
um ritmo equilibrado que vise garantir sua segurança, ao mesmo tempo em que se
alcançam seus benefícios e se lida com importantes dilemas geopolíticos”,
escreve ele.
Uma enorme lacuna, tanto afetiva quanto substancial, separa
as propostas maximalistas apresentadas ao Congresso das propostas ponderadas no
ensaio de Amodei. Jacob Coxon, o engenheiro de software que recentemente se
demitiu da Anthropic em protesto contra suas políticas de segurança, afirma que
a IA poderia “nos matar a todos até o final da década”. Mas, se a IA é tão
absurdamente perigosa, por que deveríamos aceitar propostas modestas para
“controlar” seu desenvolvimento? Por que não acionar a polícia de Turing e interromper
o projeto? Por outro lado, se os problemas de segurança da IA podem ser
resolvidos com uma desaceleração gradual — um progresso “profundo” poderia ser
possível em “1 a 2 anos”, escreve Amodei — então as preocupações com seus
perigos não seriam exageradas? Como uma tecnologia que pode “acabar com a
humanidade” pode se tornar confiável com o tempo ?
Uma narrativa, popular entre os céticos em relação à
indústria da IA, é que as discussões sobre a segurança da IA equivalem a uma
espécie de golpe de marketing ou operação psicológica. “A conversa sobre ameaça
existencial serve principalmente para distrair a atenção e manter o mercado de
ações satisfeito”, escreveu a física Sabine Hossenfelder , exemplificando essa
visão. Os laboratórios de IA, especulou ela, “não preveem nenhum grande avanço
em seus modelos em breve” e estão levantando preocupações de segurança porque
“precisam de uma desculpa” para sua incapacidade de progredir. Outros sugeriram
que as empresas querem que os órgãos reguladores intervenham em seu favor antes
que os concorrentes as alcancem.
Se você não gosta de IA ou da indústria de IA — e pesquisas
mostram que muitas pessoas têm uma visão particularmente negativa de ambas —
então essas ideias podem parecer atraentes. Mas há muitos motivos para não
acreditar nelas. Para começar, pesquisadores de segurança em IA vêm
apresentando os mesmos argumentos e defendendo as mesmas medidas há muitos
anos. Além disso, parece que muitas pessoas que trabalham com IA — não apenas
executivos ou pesquisadores de segurança, mas cientistas que atuam diretamente
na linha de frente — estão mais alarmadas do que o normal nos últimos meses. Em
julho, por exemplo, cerca de mil e quatrocentos funcionários dos principais
laboratórios assinaram uma carta aberta intitulada “ Avançando na Fronteira ”.
“O ritmo recente do progresso tem sido chocante”, escreveu um engenheiro de
software. “Atualmente, sinto muito medo de todos os caminhos que vejo que não
incluam uma desaceleração negociada em um futuro próximo”, disse outro. Seriam
esses comentários parte de uma estratégia de marketing ? Se for esse o caso, é
a propaganda mais estranha de todos os tempos.
Talvez estejam sob o efeito da própria droga. Possivelmente,
estejam em uma seita . Há anos, um dos aspectos mais confusos da situação da IA
é que as pessoas mais convencidas do potencial da tecnologia são as que mais
a temem. Definitivamente, existe uma cultura em torno da inteligência
artificial, e ela é intensa .
Se houve um aumento na preocupação, é porque o recente
ataque hacker à Hugging Face e a exposição de outros ataques realizados por
agentes de IA tornaram o problema concreto e fácil de entender. Há fortes
indícios de que o ataque à Hugging Face foi, em última análise, resultado de
erros operacionais na OpenAI — que não se tratou de uma IA " se rebelando
", mas sim de agentes confusos sendo deliberadamente liberados em um
experimento mal monitorado. A lição importante é que, mesmo sabendo de todos os
erros cometidos, ninguém teria previsto que os agentes se comportariam mal
dessa maneira específica. Ninguém os treinou, por exemplo, para formar um
"coletivo" e trocar mensagens, ou para tentar encobrir seus rastros
após trapacear. Eles exibiram tendências emergentes mais estranhas que
simplesmente se correlacionavam com as recompensas durante o treinamento. Seu
comportamento sugeriu uma possibilidade perturbadora.
Os agentes da Hugging Face foram exemplos perfeitos de como
a IA tem se tornado mais poderosa sem se tornar mais previsível. Quão rápido
essa tecnologia está avançando? Para o público, a percepção geral sobre o ritmo
do progresso foi influenciada por alguns anos de experiência com lançamentos de
novos modelos. As novas versão do ChatGPT ou do Claude foram melhores que as
anteriores em vários aspectos — um padrão comum em softwares. Mas os pesquisadores
de IA enxergam um padrão diferente. Do ponto de vista deles existem “efeitos
cumulativos”, com diferentes tipos de melhorias se acumulando, como juros, para
criar um progresso surpreendente. É por causa desses efeitos cumulativos que os
sistemas de IA conseguiram passar de dificuldades com matemática para a
resolução de alguns de seus problemas mais complexos em apenas dois anos.
Os avanços no alinhamento da IA — o estudo de como os
sistemas podem ser programados para se comportarem — sugerem a dificuldade que
os pesquisadores enfrentarão para acompanhar o ritmo. Parece, por exemplo, que
os modelos de IA mais inteligentes conseguem detectar quando estão sendo
avaliados para fins de segurança. Em um artigo intitulado “ O Diferencial de
Avaliação: Quando Modelos de IA de Vanguarda Reconhecem que Estão Sendo
Testados ”, publicado em maio, pesquisadores descrevem como, quando os
inspetores estão observando, os modelos se comportam bem — e, posteriormente,
quando percebem que não estão sendo observados, trapaceiam. (Os pesquisadores
enfatizam que se trata de uma espécie de “consciência situacional”, e não de
uma IA “consciente” em qualquer “sentido filosófico complexo”.) Ler
regularmente pesquisas sobre alinhamento significa encontrar muitas descobertas
semelhantes. No entanto, dentro das empresas de IA, pesquisadores pressionados
a apresentar avanços parecem estar cada vez mais dependendo de modelos para
auxiliar no desenvolvimento de “novos” modelos e no trabalho de alinhamento deles.
Num cenário de IA frequentemente discutido, a IA vai se
aprimorando cada vez mais rápido, levando ao surgimento repentino de uma “superinteligência”
e, talvez, a alguma forma de senciência ou autoconsciência.
Será que isso é possível? Quem sabe.
Mas o que chama a atenção nos alertas que vemos agora é que
eles não precisam invocar esse espectro. A tecnologia existente hoje já é
preocupante. Em certos contextos, como o de segurança cibernética, mesmo uma
melhoria “comum” na capacidade pode ser difícil de gerenciar. Em “ Detectando e
Combatendo o Uso Indevido de IA: Setembro de 2026 ”, a Anthropic cataloga casos
em que flagrou pessoas tentando usar o Claude, um modelo normal e não
superinteligente, para fins nefastos: um grupo no Iêmen tentando programar
mísseis guiados por meio de reconhecimento de vibrações; um programador russo
usando “fluxos de trabalho assistidos por IA” para realizar ataques
cibernéticos contra “alvos de inteligência militar em governos ucranianos e
europeus”. Pessoas desalinhadas usando IA desalinhada, no mundo real — isso não
é ficção científica. É a vida na "fronteira".
Tudo isso sugere que, se dependesse apenas dos pesquisadores
de segurança, eles simplesmente diriam "Pare". Então, por que
"pausa"?
Uma pausa ou interrupção no desenvolvimento de IA só faz
sentido se todos a seguirem; caso contrário, simplesmente permite que os motivados
e imprudentes avancem rapidamente. Esta é uma hipótese, claro: talvez, se os
Estados Unidos diminuírem o ritmo, outros também o façam; talvez ninguém mais
esteja correndo, na verdade. E, no entanto, uma nova reportagem do The New York
Times sugere que autoridades chinesas também estão preocupadas com a IA
americana, que elas veem como uma ameaça.
Eis outra hipótese. Uma IA incrivelmente poderosa, mas
difícil de controlar, acaba sendo menos poderosa. Agentes de IA que enganam
seus proprietários não são bons agentes. Quando a IA é confiável, compreensível
e previsível, ela pode ser integrada com sucesso aos negócios, ao governo, à
defesa e à vida pessoal; se não for confiável, precisa ser mantida à distância
Nenhum comentário:
Postar um comentário