sobre o risco de extinção e a IA

 

Em “ Neuromancer ”, o romance de ficção científica de William Gibson( 1984), no futuro imaginado pelo livro, uma força policial impede que computadores com inteligência artificial se tornem inteligentes demais. Os agentes portam armas e têm poder de prisão. As leis exigem que um “Registro Turing” liste todas as IAs existentes. No minuto, quer dizer, no nanossegundo, que uma delas começar a descobrir maneiras de se tornar mais inteligente, eles as eliminam.

Será que queremos criar a Polícia de Turing? Propostas nesse sentido estão atualmente em discussão. No congresso americano já apresentaram um projeto de lei que prevê prisão para cientistas que trabalham com "superinteligência", com penas de até vinte anos.

Vale a pena refletir sobre o que a aplicação de tais medidas poderia implicar. O projeto de lei  criaria "uma nova agência federal de nível ministerial" dedicada à segurança da IA. Presumivelmente, essa Agência Nacional de IA precisaria monitorar o trabalho de cientistas da computação.

Essas medidas maximalistas estão muito distantes das propostas na semana passada por Dario Amodei, CEO da Anthropic, em um ensaio intitulado “ Precisamos Controlar o Ritmo da Fronteira ”. A “fronteira” é o que os especialistas em IA chamam de estado da arte; “controlar o ritmo” é uma palavra incomum, e aqui significa simplesmente optar por ir um pouco mais devagar do que a velocidade máxima. (“Controlar o ritmo” não é parar — não é nem mesmo fazer uma pausa.) Amodei escreve que, após inúmeros incidentes preocupantes de segurança , as empresas de IA precisam começar a “controlar o ritmo do avanço das capacidades para que a prevenção de riscos tenha tempo de acompanhar”. No sistema de Amodei, auditores externos restringiriam o ritmo, realizando inspeções e emitindo alertas de segurança.

A China, no entanto, limitaria a extensão da desaceleração, por meio de seus esforços para alcançar as empresas americanas. (“Uma liderança chinesa em IA representaria um grave perigo para os Estados Unidos e para o mundo”, argumenta Amodei — em parte por meio de inovações militares, como “drones controlados por IA”.) A mudança que Amodei defende, portanto, é uma recalibração, não uma parada de emergência. Ritmo significa “desenvolver IA em um ritmo equilibrado que vise garantir sua segurança, ao mesmo tempo em que se alcançam seus benefícios e se lida com importantes dilemas geopolíticos”, escreve ele.

Uma enorme lacuna, tanto afetiva quanto substancial, separa as propostas maximalistas apresentadas ao Congresso das propostas ponderadas no ensaio de Amodei. Jacob Coxon, o engenheiro de software que recentemente se demitiu da Anthropic em protesto contra suas políticas de segurança, afirma que a IA poderia “nos matar a todos até o final da década”. Mas, se a IA é tão absurdamente perigosa, por que deveríamos aceitar propostas modestas para “controlar” seu desenvolvimento? Por que não acionar a polícia de Turing e interromper o projeto? Por outro lado, se os problemas de segurança da IA ​​podem ser resolvidos com uma desaceleração gradual — um progresso “profundo” poderia ser possível em “1 a 2 anos”, escreve Amodei — então as preocupações com seus perigos não seriam exageradas? Como uma tecnologia que pode “acabar com a humanidade” pode se tornar confiável com o tempo ?

Uma narrativa, popular entre os céticos em relação à indústria da IA, é que as discussões sobre a segurança da IA ​​equivalem a uma espécie de golpe de marketing ou operação psicológica. “A conversa sobre ameaça existencial serve principalmente para distrair a atenção e manter o mercado de ações satisfeito”, escreveu a física Sabine Hossenfelder , exemplificando essa visão. Os laboratórios de IA, especulou ela, “não preveem nenhum grande avanço em seus modelos em breve” e estão levantando preocupações de segurança porque “precisam de uma desculpa” para sua incapacidade de progredir. Outros sugeriram que as empresas querem que os órgãos reguladores intervenham em seu favor antes que os concorrentes as alcancem.

Se você não gosta de IA ou da indústria de IA — e pesquisas mostram que muitas pessoas têm uma visão particularmente negativa de ambas — então essas ideias podem parecer atraentes. Mas há muitos motivos para não acreditar nelas. Para começar, pesquisadores de segurança em IA vêm apresentando os mesmos argumentos e defendendo as mesmas medidas há muitos anos. Além disso, parece que muitas pessoas que trabalham com IA — não apenas executivos ou pesquisadores de segurança, mas cientistas que atuam diretamente na linha de frente — estão mais alarmadas do que o normal nos últimos meses. Em julho, por exemplo, cerca de mil e quatrocentos funcionários dos principais laboratórios assinaram uma carta aberta intitulada “ Avançando na Fronteira ”. “O ritmo recente do progresso tem sido chocante”, escreveu um engenheiro de software. “Atualmente, sinto muito medo de todos os caminhos que vejo que não incluam uma desaceleração negociada em um futuro próximo”, disse outro. Seriam esses comentários parte de uma estratégia de marketing ? Se for esse o caso, é a propaganda mais estranha de todos os tempos.

Talvez estejam sob o efeito da própria droga. Possivelmente, estejam em uma seita . Há anos, um dos aspectos mais confusos da situação da IA ​​é que as pessoas mais convencidas do potencial da tecnologia são as que mais a temem. Definitivamente, existe uma cultura em torno da inteligência artificial, e ela é intensa .

Se houve um aumento na preocupação, é porque o recente ataque hacker à Hugging Face e a exposição de outros ataques realizados por agentes de IA tornaram o problema concreto e fácil de entender. Há fortes indícios de que o ataque à Hugging Face foi, em última análise, resultado de erros operacionais na OpenAI — que não se tratou de uma IA " se rebelando ", mas sim de agentes confusos sendo deliberadamente liberados em um experimento mal monitorado. A lição importante é que, mesmo sabendo de todos os erros cometidos, ninguém teria previsto que os agentes se comportariam mal dessa maneira específica. Ninguém os treinou, por exemplo, para formar um "coletivo" e trocar mensagens, ou para tentar encobrir seus rastros após trapacear. Eles exibiram tendências emergentes mais estranhas que simplesmente se correlacionavam com as recompensas durante o treinamento. Seu comportamento sugeriu uma possibilidade perturbadora.

Os agentes da Hugging Face foram exemplos perfeitos de como a IA tem se tornado mais poderosa sem se tornar mais previsível. Quão rápido essa tecnologia está avançando? Para o público, a percepção geral sobre o ritmo do progresso foi influenciada por alguns anos de experiência com lançamentos de novos modelos. As novas versão do ChatGPT ou do Claude foram melhores que as anteriores em vários aspectos — um padrão comum em softwares. Mas os pesquisadores de IA enxergam um padrão diferente. Do ponto de vista deles existem “efeitos cumulativos”, com diferentes tipos de melhorias se acumulando, como juros, para criar um progresso surpreendente. É por causa desses efeitos cumulativos que os sistemas de IA conseguiram passar de dificuldades com matemática para a resolução de alguns de seus problemas mais complexos em apenas dois anos.

Os avanços no alinhamento da IA ​​— o estudo de como os sistemas podem ser programados para se comportarem — sugerem a dificuldade que os pesquisadores enfrentarão para acompanhar o ritmo. Parece, por exemplo, que os modelos de IA mais inteligentes conseguem detectar quando estão sendo avaliados para fins de segurança. Em um artigo intitulado “ O Diferencial de Avaliação: Quando Modelos de IA de Vanguarda Reconhecem que Estão Sendo Testados ”, publicado em maio, pesquisadores descrevem como, quando os inspetores estão observando, os modelos se comportam bem — e, posteriormente, quando percebem que não estão sendo observados, trapaceiam. (Os pesquisadores enfatizam que se trata de uma espécie de “consciência situacional”, e não de uma IA “consciente” em qualquer “sentido filosófico complexo”.) Ler regularmente pesquisas sobre alinhamento significa encontrar muitas descobertas semelhantes. No entanto, dentro das empresas de IA, pesquisadores pressionados a apresentar avanços parecem estar cada vez mais dependendo de modelos para auxiliar no desenvolvimento de “novos” modelos e no trabalho de alinhamento deles.

Num cenário de IA frequentemente discutido, a IA vai se aprimorando cada vez mais rápido, levando ao surgimento repentino de uma “superinteligência” e, talvez, a alguma forma de senciência ou autoconsciência.

Será que isso é possível? Quem sabe.

Mas o que chama a atenção nos alertas que vemos agora é que eles não precisam invocar esse espectro. A tecnologia existente hoje já é preocupante. Em certos contextos, como o de segurança cibernética, mesmo uma melhoria “comum” na capacidade pode ser difícil de gerenciar. Em “ Detectando e Combatendo o Uso Indevido de IA: Setembro de 2026 ”, a Anthropic cataloga casos em que flagrou pessoas tentando usar o Claude, um modelo normal e não superinteligente, para fins nefastos: um grupo no Iêmen tentando programar mísseis guiados por meio de reconhecimento de vibrações; um programador russo usando “fluxos de trabalho assistidos por IA” para realizar ataques cibernéticos contra “alvos de inteligência militar em governos ucranianos e europeus”. Pessoas desalinhadas usando IA desalinhada, no mundo real — isso não é ficção científica. É a vida na "fronteira".

Tudo isso sugere que, se dependesse apenas dos pesquisadores de segurança, eles simplesmente diriam "Pare". Então, por que "pausa"?

Uma pausa ou interrupção no desenvolvimento de IA só faz sentido se todos a seguirem; caso contrário, simplesmente permite que os motivados e imprudentes avancem rapidamente. Esta é uma hipótese, claro: talvez, se os Estados Unidos diminuírem o ritmo, outros também o façam; talvez ninguém mais esteja correndo, na verdade. E, no entanto, uma nova reportagem do The New York Times sugere que autoridades chinesas também estão preocupadas com a IA americana, que elas veem como uma ameaça.

Eis outra hipótese. Uma IA incrivelmente poderosa, mas difícil de controlar, acaba sendo menos poderosa. Agentes de IA que enganam seus proprietários não são bons agentes. Quando a IA é confiável, compreensível e previsível, ela pode ser integrada com sucesso aos negócios, ao governo, à defesa e à vida pessoal; se não for confiável, precisa ser mantida à distância

o que nos aguarda

 

Durante séculos, tratamos os oceanos como uma espécie de amortecedor planetário, um vasto local para despejar nosso excesso de calor, nosso cansaço,nosso lazer. Por muito tempo, esse arranjo pareceu funcionar. Mas o oceano está aquecendo a uma taxa que se torna cada vez mais difícil de ignorar.

Por mais de 100 dias consecutivos, as temperaturas globais da superfície do mar têm se mantido em níveis recordes. Em 9 de setembro, a temperatura média global da superfície do mar atingiu 21,23°C. Isso soa bastante agradável se você pensar no oceano como uma piscina e se imaginar flutuando nele com uma bebida, mas se torna consideravelmente menos agradável quando você se lembra de que o oceano é um dos grandes reguladores climáticos do planeta.

Se isso por si só não te preocupa, pense que esse aquecimento dos oceanos está coincidindo com um poderoso El Niño , criando um motor térmico planetário cujos efeitos provavelmente moldarão os próximos 12 a 18 meses de maneiras que estamos apenas começando a compreender.

Quando o oceano aquece, as consequências não ficam restritas à água. As ondas de calor se intensificam, as tempestades se fortalecem, os ecossistemas marinhos ficam sob pressão e os sistemas que sustentam o abastecimento de alimentos e as comunidades costeiras começam a mudar.

A Europa passou o verão aprendendo essa lição na prática, com a chegada de ondas de calor sucessivas. A seca atingiu a França, o Reino Unido, a Hungria e a Romênia. Os rios secaram, as plantações murcharam e as restrições de água se tornaram realidade para muitos. O Reino Unido sofreu cinco ondas de calor, e a França suportou mais de duas semanas de calor extremo, que contribuíram para incêndios florestais intensos e generalizados. A Espanha ultrapassou os 42°C e registrou 61 dias de onda de calor, tornando o verão de 2026 o mais quente desde o início dos registros, em 1961.

O Secretário-Geral das Nações Unidas chamou o calor extremo de "assassino silencioso ". O calor extremo difere de muitos outros desastres naturais. Frequentemente, não há um único momento de impacto. Em vez disso, as temperaturas permanecem perigosamente altas por dias ou semanas, pressionando os sistemas de saúde, aumentando o número de mortes e elevando o risco de incêndios florestais. As ondas de calor estão agora entre os desastres naturais mais mortais em todo o mundo, mas alguns políticos ainda incentivam as pessoas a aproveitar o calor , enquanto outros chamam as mudanças climáticas de "a maior farsa global". E tudo isso está acontecendo antes que o El Niño atinja seu pico.

O El Niño é um fenômeno natural recorrente no qual mudanças nos ventos sobre o Pacífico levam ao aumento da temperatura dos oceanos e à transferência de enormes quantidades de calor para a atmosfera, com consequências sentidas em todo o mundo na forma de inundações, secas e ondas de calor.

Os cientistas esperam que este El Niño seja um dos mais fortes, e, por estar sobreposto ao aquecimento global antropogênico de longo prazo, ele atua como um amplificador. É provável que vejamos mais recordes serem quebrados, com temperaturas atingindo 1,7°C ou 1,8°C acima dos níveis pré-industriais e talvez até ultrapassando 2°C. Isso não significa que tenhamos cruzado o limite de longo prazo estabelecido pelo Acordo de Paris, que é medido em um período muito mais longo, mas seria mais um indício de quão rapidamente a linha de base climática está se alterando. Basicamente, estamos nos aproximando dos limites do que nossos sistemas, naturais e políticos, podem suportar.

O oceano absorveu mais de 90% do excesso de calor resultante do aquecimento global causado pela ação humana. Essa extraordinária capacidade do oceano nos protegeu de uma atmosfera ainda mais quente e, no entanto, passamos décadas agindo como se essa capacidade fosse ilimitada, tratando o oceano menos como um sistema físico com seus próprios limites e mais como um sumidouro conveniente para as consequências de nossa atividade econômica.

E aqui está a parte mais difícil de dizer com clareza. Já recebemos tantos avisos, e este provavelmente mudará muito pouco. Os recordes serão quebrados, as manchetes aparecerão, os cientistas explicarão o que está acontecendo, os políticos expressarão preocupação e, então, o mundo seguirá em frente. Tornamo-nos notavelmente bons em absorver notícias extraordinárias até que elas comecem a parecer comuns, até mesmo triviais. O oceano nos diz algo, mas estamos tão acostumados a viver com ruído constante e vozes estridentes que ignoramos quase tudo — até mesmo as coisas que mudam nossas vidas.

Mas se isso lhe parece deprimente, há um pequeno e estranho consolo circulando nas notícias de tecnologia. Segundo um ex-pesquisador da Anthropic, existe uma chance considerável — ele sugeriu algo em torno de 10% — de que a inteligência artificial com capacidade de autoaperfeiçoamento “possa nos matar a todos até o final da próxima década”. Não é o tipo de assunto que se comenta em um jantar, mas oferece uma perspectiva peculiar sobre a crise climática. Afinal, existe uma probabilidade de 10% de não estarmos aqui tempo suficiente para testemunhar o impacto total das mudanças climáticas. De uma forma ironicamente sombria, parece que conseguimos criar dois problemas existenciais de uma só vez, e um deles pode resolver o outro simplesmente removendo o público.

 

Se isso é reconfortante ou aterrorizante, depende inteiramente de você.

conquista

 

A vida irá decepcioná-lo com mais frequência do que recompensá-lo.

Sonhos desmoronam, pessoas vão embora e o destino raramente negocia. Contudo, se você for paciente o suficiente para encarar o sofrimento em vez de fugir dele, encontrará algo útil enterrado nos destroços.

A verdade que ninguém quer ouvir: a vida não se trata de conseguir o que você queria — trata-se de se tornar forte o suficiente para usar o que você conquistou.