A humanidade pode sobreviver à IA?

Garrison Lovely * - Traduzido do original em https://jacobin.com/2024/01/can-humanity-survive-ai

Com o desenvolvimento da inteligência artificial (IA) avançando a uma velocidade vertiginosa, alguns dos homens mais ricos do mundo podem estar decidindo o destino da humanidade neste momento.

O cofundador do Google, Larry Page, acredita que a IA superinteligente é “apenas o próximo passo na evolução”.¹ Na verdade, Page, que vale cerca de 120 bilhões de dólares, teria alegadamente argumentado² que os esforços para prevenir a extinção provocada pela IA e proteger a consciência humana são “especistas” e “absurdos sentimentais”.³

Em julho, Richard Sutton, ex-cientista sênior do Google DeepMind – um dos pioneiros do aprendizado por reforço, um importante subcampo da IA – disse que a tecnologia “poderia acabar com nossa existência” e que “não deveríamos resistir à sucessão”.⁴ Em uma palestra de 2015 , Sutton perguntou: “É tão ruim que os humanos não sejam a forma final de vida inteligente no universo?”, ao considerar a hipótese de que “tudo falhe” e a IA “mate todos nós”.⁵

“Extinção biológica, esse não é o ponto”, disse-me Sutton, de 66 anos. “A luz da humanidade e nossa compreensão, nossa inteligência – nossa consciência, se você preferir – pode continuar sem carne humana.”

Yoshua Bengio, de 59 anos, é o segundo cientista vivo mais citado, conhecido por seu trabalho fundamental sobre aprendizagem profunda. Respondendo a Page e Sutton, Bengio me disse: “O que eles querem é jogar dados com o futuro da humanidade. Pessoalmente, acho que isso deveria ser criminalizado".⁶ Um pouco surpreso, perguntei o que exatamente ele queria que fosse proibido, e ele disse que seriam esforços para construir “sistemas de IA que pudessem nos dominar e ser projetados para atuar em interesse próprio”. Em maio, Bengio começou a escrever e a falar sobre como os sistemas avançados de IA podem tornar-se desonestos e representar um risco de extinção para a humanidade.⁷

Bengio postulaque futuros sistemas de IA de nível genuinamente humano poderiam melhorar suas próprias capacidades, criando uma espécie nova e funcionalmente mais inteligente.⁸ A humanidade extinguiu centenas de outras espécies, em grande parte por acidente. Ele teme que possamos ser os próximos – e ele não está sozinho.

Bengio compartilhou o Prêmio Turing 2018, o Prêmio Nobel da computação, com os colegas pioneiros do aprendizado profundo Yann LeCun e Geoffrey Hinton. Hinton, o cientista vivo mais citado, causou sensação em maio quando renunciou ao seu cargo sênior no Google para falar mais livremente sobre a possibilidade de futuros sistemas de IA poderem exterminar a humanidade.⁹ Hinton e Bengio são os dois pesquisadores de IA mais proeminentes a se juntarem à comunidade do “risco-x”. Às vezes referido como defensor da segurança da IA ou destruidor da mesma, este grupo pouco unido teme que a IA represente um risco existencial para a humanidade.

No mesmo mês em que Hinton demitiu-se da Google, centenas de investigadores de IA e figuras notáveis assinaram uma carta aberta afirmando: “Mitigar o risco de extinção representado pela IA deve ser uma prioridade global, juntamente com outros riscos de alcance social, como pandemias e guerra nuclear”.¹⁰ Hinton e Bengio foram os principais signatários, seguidos pelo CEO da OpenAI, Sam Altman, e pelos chefes de outros laboratórios importantes de IA.

Hinton e Bengio foram também os primeiros autores de um documento de posicionamento de outubro alertando sobre o risco de “uma perda irreversível de controle humano sobre sistemas autônomos de IA”, acompanhados por acadêmicos famosos como o prêmio Nobel Daniel Kahneman e o autor de Sapiens Yuval Noah Harari.¹¹

LeCun, que dirige a IA na Meta, concorda que a IA a nível humano está chegando, mas disse num debate público contra Bengio sobre a extinção da IA: “Se for perigosa, não a construiremos”.¹²

O aprendizado profundo alimenta os sistemas de IA mais avançados do mundo, desde o modelo de enovelamento de proteínas da DeepMind até grandes modelos de linguagem (LLMs), como o ChatGPT da OpenAI. Ninguém realmente entende como funcionam os sistemas de aprendizado profundo, mas mesmo assim seu desempenho continua a melhorar. Esses sistemas não são projetados para funcionar de acordo com um conjunto de princípios bem compreendidos, mas são “treinados” para analisar padrões em grandes conjuntos de dados, com comportamentos complexos – como a compreensão da linguagem – surgindo como consequência.¹³ O desenvolvedor de IA Connor Leahy me disse: “É mais como se estivéssemos cutucando algo em uma placa de Petri” do que escrevendo um trecho de código. O documento de posicionamento de outubro alerta que “atualmente ninguém sabe como alinhar de forma confiável o comportamento da IA com valores complexos”.¹⁴

Apesar de toda esta incerteza, as empresas de IA vêem-se numa corrida para tornar estes sistemas tão poderosos quanto possível – sem um plano viável para compreender como as coisas que estão criando realmente funcionam, ao mesmo tempo que poupam esforços na segurança para ganhar mais participação de mercado.¹⁵ A inteligência artificial geral (IAG) é o Santo Graal para o qual os principais laboratórios de IA estão trabalhando explicitamente. IAG é frequentemente definida como um sistema que é pelo menos tão bom quanto os humanos em quase todas as tarefas intelectuais. É também o que Bengio e Hinton acreditam que pode levar ao fim da humanidade.

Estranhamente, muitas das pessoas que promovem ativamente as capacidades de IA pensam que há uma chance significativa de que isso acabe causando o apocalipse. Uma pesquisa de 2022 com pesquisadores de aprendizado de máquina descobriu que quase metade deles pensava que havia pelo menos 10% de chance de que a IA avançada pudesse levar à “extinção humana ou ao enfraquecimento igualmente permanente e grave” da humanidade.¹⁶ Poucos meses antes de tornar-se cofundador da OpenAI, Altman disse: “A IA provavelmente levará ao fim do mundo, mas, enquanto isso, haverá grandes empresas”.¹⁷

A opinião pública sobre a IA azedou, especialmente no ano desde o lançamento do ChatGPT. Em todas as pesquisas de 2023, exceto uma, mais americanos pensaram que a IA poderia representar uma ameaça existencial para a humanidade. Nos raros casos em que os investigadores perguntaram às pessoas se queriam a IA de nível humano ou além, a grande maioria nos Estados Unidos e no Reino Unido disse que não.¹⁸

Até agora, quando os socialistas opinam sobre a IA, é geralmente para realçar a discriminação alimentada pela IA ou para alertar sobre o impacto potencialmente negativo da automação num mundo de sindicatos fracos e capitalistas poderosos. Mas a esquerda tem estado visivelmente calada sobre o cenário de pesadelo de Hinton e Bengio – que a IA avançada poderia matar-nos a todos.

Capacidades preocupantes

Embora grande parte da atenção da comunidade do risco-x concentre-se na ideia de que a humanidade poderá eventualmente perder o controle da IA, muitos também estão preocupados com o fato de sistemas menos capazes empoderarem maus atores em prazos muito curtos.

Felizmente, é difícil fabricar uma arma biológica. Mas isso pode mudar em breve. Anthropic, um laboratório líder de IA fundado por ex-funcionários da OpenAI, trabalhou recentemente com especialistas em biossegurança para ver o quanto um LLM poderia ajudar um aspirante a bioterrorista.¹⁹ Testemunhando perante um subcomitê do Senado em julho, o CEO da Anthropic, Dario Amodei, relatou que certas etapas na produção de armas biológicas não podem ser encontradas em livros didáticos ou mecanismos de busca, mas que “as ferramentas de IA de hoje podem preencher algumas dessas etapas, embora de forma incompleta”, e que “uma extrapolação direta dos sistemas atuais para aqueles que esperamos ver dentro de dois a três anos sugere um risco substancial de que os sistemas de IA sejam capazes de fornecer todas as peças que faltam.”²⁰

Em outubro de 2023 a New Scientist informou que a Ucrânia fez o primeiro uso no campo de batalha de armas autônomas letais (LAWs) – literalmente robôs assassinos. Os Estados Unidos, a China e Israel estão desenvolvendo as suas próprias leis.²¹ A Rússia juntou-se aos Estados Unidos e a Israel na oposição ao novo direito internacional sobre as LAWs.

No entanto, a ideia mais ampla de que a IA representa um risco existencial tem muitos críticos, e o turbulento discurso da IA é difícil de analisar: pessoas igualmente credenciadas fazem afirmações opostas sobre se o risco-x da IA é real, e os capitalistas de risco estão assinando cartas abertas com eticistas de IA progressistas.²² E embora a ideia do risco-x pareça estar ganhando terreno mais rapidamente, uma importante publicação traz um ensaio aparentemente todas as semanas argumentando que o risco-x desvia a atenção dos danos existentes. Enquanto isso, muito mais dinheiro e pessoas estão discretamente dedicados a tornar os sistemas de IA mais poderosos do que a torná-los mais seguros ou menos tendenciosos.

Alguns temem não o cenário de “ficção científica”, onde os modelos de IA se tornam tão capazes que arrancam o controle de nossas mãos, mas em vez disso, que confiaremos demasiada responsabilidade a sistemas tendenciosos,²³frágeis²⁴ e confabuladores,²⁵ abrindo uma caixa de Pandora mais pedestre, cheia de problemas terríveis, mas familiares, que aumentam de acordo com os algoritmos que os causam. Esta comunidade de investigadores e defensores – muitas vezes rotulada de “ética em IA” – tende a concentrar-se nos danos imediatos causados pela IA, explorando soluções que envolvem a responsabilização do modelo, a transparência algorítmica e a justiça da aprendizagem automática.

Falei com algumas das vozes mais proeminentes da comunidade de ética em IA, como as cientistas da computação Joy Buolamwini,²⁶ 33 anos, e Inioluwa Deborah Raji,²⁷ 27 anos. Cada uma conduziu pesquisas inovadoras sobre os danos existentes causados por modelos de IA discriminatórios e falhos, cujos impactos, na sua opinião, são obscurecidos num dia e exagerados no dia seguinte. Tal como o de muitos investigadores de ética em IA, o seu trabalho combina ciência e ativismo.

Aqueles com quem conversei no mundo da ética da IA expressaram em grande parte a opinião de que, em vez de enfrentar desafios fundamentalmente novos, como a perspectiva de desemprego tecnológico completo ou extinção,²⁸ o futuro da IA se parece mais com uma discriminação racial intensificada no encarceramento²⁹ e nas decisões de empréstimos,³⁰ na amazonificação dos locais de trabalho,³¹ataques aos trabalhadores pobres³² e uma elite tecnológica ainda mais enraizada³³ e enriquecida.³⁴

Um argumento frequente desta multidão é que a narrativa da extinção exagera as capacidades dos produtos da Big Tech e perigosamente “desvia a atenção” dos danos imediatos da IA.³⁵ Na melhor das hipóteses, dizem eles, alimentar a ideia do risco-x é uma perda de tempo e dinheiro. Na pior das hipóteses, leva a ideias políticas desastrosas.

Mas muitos dos que acreditam no risco-x realçaram que as posições “a IA causa danos agora” e “a IA pode acabar com o mundo” não são mutuamente exclusivas. Alguns investigadores tentaram explicitamente colmatar a divisão entre aqueles que se concentram nos danos existentes e aqueles que se concentram na extinção, destacando potenciais objetivos políticos partilhados.³⁶ O professor de IA Sam Bowman, outra pessoa cujo nome está na citada carta de extinção, fez pesquisas para revelar e reduzir o viés algorítmico e revisou os trabalhos para a principal conferência de ética em IA. Simultaneamente, Bowman apelou a que mais pesquisadores trabalhassem na segurança da IA e escreveu sobre os “perigos de subestimar” as capacidades dos LLMs.³⁷

A comunidade do risco-x invoca habitualmente a defesa do clima como uma analogia, perguntando se o foco na redução dos danos a longo prazo das alterações climáticas desvia perigosamente a atenção dos danos a curto prazo da poluição atmosférica e dos derrames de petróleo.

Mas, como eles próprios admitem, nem todos do lado do risco-x foram tão diplomáticos. Em um fio de discussão agressivo de agosto de 2022 sobre políticas de IA, o cofundador da Anthropic, Jack Clark, tuitou que “Algumas pessoas que trabalham em políticas de longo prazo/estilo IAG tendem a ignorar, minimizar ou simplesmente não considerar os problemas imediatos de implantação/danos de IA.”³⁸

“A IA salvará o mundo”

Um terceiro grupo preocupa-se com o fato de, quando se trata de IA, não estarmos avançando suficientemente rápido. Capitalistas proeminentes como o bilionário Marc Andreessen concordam com o pessoal da segurança de que a IAG é possível, mas argumentam que, em vez de nos matar a todos, inaugurará uma idade de ouro indefinida de abundância radical e tecnologias quase mágicas.³⁹ Este grupo, em grande parte oriundo de Silicon Valley e comummente referido como impulsionador da IA, tende a preocupar-se muito mais com o fato de a reação regulatória exagerada sobre a IA sufocar uma tecnologia transformadora e salvadora do mundo no seu berço, condenando a humanidade à estagnação econômica.

Alguns tecno-otimistas imaginam uma utopia alimentada pela IA que faz Karl Marx parecer sem imaginação. O Guardian lançou recentemente um minidocumentário com entrevistas de 2016 a 2019 com o cientista-chefe da OpenAI, Ilya Sutskever, que declara resolutamente: “A IA resolverá todos os problemas que temos hoje. Resolverá o emprego, resolverá as doenças, resolverá a pobreza. Mas também criará novos problemas.”⁴⁰

Andreessen está com Sutskever – até o “mas”. Em junho, Andreessen publicou um ensaio chamado “Por que a IA salvará o mundo”,⁴¹ onde explica como a IA tornará “melhor tudo o que nos interessa”, desde que não a regulemos até a morte. Ele seguiu em outubro com seu “Manifesto Tecno-Otimista”,⁴² que, além de elogiar um fundador do fascismo italiano, nomeou como inimigas do progresso ideias como “risco existencial”, “sustentabilidade”, “confiança e segurança” e “ética tecnológica”. Andreessen não mede palavras, escrevendo: “Acreditamos que qualquer desaceleração da IA custará vidas. Mortes que poderiam ser evitadas pela IA que foi impedida de existir são uma forma de assassinato.”

Andreessen, juntamente com o “mano farmacêutico” Martin Shkreli, é talvez o mais famoso proponente do “aceleracionismo eficaz”,⁴³ também chamado em inglês de “e/acc”, uma rede majoritariamente online que mistura cientificismo de culto, hipercapitalismo e a falácia naturalista. E/acc, que se tornou viral neste verão, baseia-se na teoria do aceleracionismo do escritor reacionário Nick Land, que argumenta que precisamos intensificar o capitalismo para nos impulsionarmos para um futuro pós-humano, movido pela IA. E/acc pega essa ideia e adiciona uma camada de física e memes, integrando-a a um certo subconjunto das elites do Vale do Silício. Foi formada em reação aos apelos de “desaceleração” para diminuir o ritmo de desenvolvimento  da IA, que vieram significativamente da comunidade do altruísmo eficaz (AE), da qual a e/acc deriva o seu nome.

O impulsionador de IA Richard Sutton – o cientista pronto para se despedir dos “humanos de carne” – está agora trabalhando na Keen AGI, uma nova start-up de John Carmack, o lendário programador por trás do videogame Doom dos anos 1990. A missão da empresa, segundo Carmack: “IAG ou fracasso, por meio da Ciência Alucinada!”⁴⁴

O capitalismo torna tudo pior

Em Fevereiro, Sam Altman tuitou que Eliezer Yudkowsky poderia eventualmente “merecer o Prémio Nobel da Paz”.⁴⁵ Por que? Porque Altman pensava que o pesquisador autodidata e autor de fan-fiction de Harry Potter tinha feito “mais para acelerar a IAG do que qualquer outra pessoa”. Altman citou como Yudkowsky ajudou a DeepMind a garantir o financiamento fundamental em estágio inicial de Peter Thiel, bem como o papel “crítico” de Yudkowsky “na decisão de iniciar o OpenAI”.⁴⁶

Yudkowsky era um aceleracionista antes mesmo de o termo ser cunhado. Aos dezessete anos – farto das ditaduras, da fome mundial e até da própria morte – publicou um manifesto exigindo a criação de uma superinteligência digital para “resolver” todos os problemas da humanidade.⁴⁷ Durante a década seguinte da sua vida, a sua “tecnofilia” transformou-se em fobia e, em 2008, escreveu sobre a sua história de conversão, admitindo que “dizer que quase destruí o mundo! teria sido demasiado elogioso”.⁴⁸

Yudkowsky agora é famoso por popularizar a ideia de que a IAG poderia matar todos, e ele tornou-se o mais destruidor dos destruidores da IA. Uma geração de técnicos cresceu lendo as postagens do blog de Yudkowsky, mas muitos deles (talvez mais consequentemente, Altman) internalizaram seus argumentos de que a IAG seria a coisa mais importante do que suas crenças sobre o quão difícil seria fazer com que ela não nos matasse..

Durante nossa conversa, Yudkowsky comparou a IA a uma máquina que “imprime ouro” até “acender a atmosfera”. E, independentemente de inflamar ou não a atmosfera, essa máquina está imprimindo ouro mais rápido do que nunca. O boom da “IA generativa” está tornando algumas pessoas muito, muito ricas. Desde 2019, a Microsoft investiu um total acumulado de US$ 13 bilhões na OpenAI.⁴⁹ Impulsionada pelo grande sucesso do ChatGPT, a Microsoft ganhou quase US$ 1 trilhão em valor no ano seguinte ao lançamento do produto.⁵⁰ Hoje, a empresa com quase cinquenta anos vale mais do que o Google e o Meta juntos.

Os atores que maximizam os lucros continuarão avançando, externalizando riscos que o resto de nós nunca concordou em suportar, na busca de riquezas -- ou simplesmente da glória de criar superinteligência digital que, como Sutton tuitou, "será a maior conquista intelectual de todos os tempos... cujo significado está além da humanidade, além da vida, além do bem e do mal.”⁵¹ As pressões do mercado provavelmente levarão as empresas a transferir cada vez mais poder e autonomia para os sistemas de IA à medida que estes avancem.

Um pesquisador de IA do Google me escreveu: “Acho que as grandes empresas estão com tanta pressa para ganhar participação no mercado que a segurança é vista como uma espécie de distração boba”. Bengio me disse que vê “uma corrida perigosa entre empresas” que pode ficar ainda pior.

Em pânico em resposta ao mecanismo de busca Bing, baseado em OpenAI, o Google declarou um “código vermelho”, “recalibrou” seu apetite ao risco e correu para liberar Bard, seu LLM, apesar da oposição da equipe.⁵² Nas discussões internas, os funcionários chamavam Bard de “mentiroso patológico” e “digno de vergonha”. O Google publicou de qualquer maneira.⁵³

Dan Hendrycks, diretor do Centro para Segurança da IA, disse que “reduzir custos na segurança... é em grande parte o que impulsiona o desenvolvimento da IA... Na verdade, não creio que, na presença destas intensas pressões competitivas, as intenções sejam particularmente importantes.”⁵⁴ Ironicamente, Hendrycks também é consultor de segurança do xAI, o mais recente empreendimento de Elon Musk.

Os três principais laboratórios de IA começaram como organizações independentes e orientadas para missões específicas, mas agora são subsidiárias integrais de gigantes da tecnologia (Google DeepMind) ou assumiram tantos bilhões de dólares em investimentos de empresas trilionárias que as suas missões altruístas podem ter sido substituidas pela busca incessante por valor para os acionistas (a Anthropic recebeu até US$ 6 bilhões do Google e da Amazon combinados,⁵⁵ e os US$13 bilhões da Microsoft compraram para a empresa 49% do braço com fins lucrativos da OpenAI⁵⁶). O New York Times informou recentemente que os fundadores da DeepMind ficaram “cada vez mais preocupados com o que o Google faria com suas invenções. Em 2017, eles tentaram se separar da empresa. O Google respondeu aumentando os salários e pacotes de prêmios em ações dos fundadores da DeepMind e de sua equipe. Eles não se mexeram."⁵⁷

Um desenvolvedor de um laboratório líder escreveu-me em outubro de 2023 que, como a liderança desses laboratórios normalmente acredita realmente que a IA evitará a necessidade de dinheiro, a busca por lucro é “em grande parte instrumental” para fins de arrecadação de fundos. Mas “então os investidores (seja uma empresa de capital de risco ou a Microsoft) exercem pressão na busca de lucro”.

Entre 2020 e 2022, mais de 600 bilhões de dólares em investimento empresarial fluiram para a indústria,⁵⁸ e uma única conferência sobre IA em 2021 acolheu quase trinta mil pesquisadores.⁵⁹ Ao mesmo tempo, uma estimativa de setembro de 2022 revelou apenas quatrocentos pesquisadores de segurança da IA em tempo integral,⁶⁰ e a principal conferência de ética da IA teve menos de novecentos participantes em 2023.⁶¹

Da mesma forma que o software “devorou o mundo”, deveríamos esperar que a IA exibisse uma dinâmica semelhante em que o vencedor leva tudo, que levará a concentrações ainda maiores de riqueza e poder.⁶² Altman previu que o “custo da inteligência” cairá para perto de zero como resultado da IA, e em 2021 escreveu que “ainda mais poder passará do trabalho para o capital”.⁶³ Ele continuou: “Se as políticas públicas não se adaptarem adequadamente, a maioria das pessoas acabará em situação pior do que está hoje”. Também em seu tópico “apimentado”, Jack Clark escreveu: “O capitalismo de economia de escala é, por natureza, antidemocrático, e a IA com uso intensivo de investimentos é, portanto, antidemocrática”.⁶⁴

Markus Anderljung é o chefe de política do GovAI, um importante think-tank de segurança de IA, e o primeiro autor de um influente white paper focado na regulamentação da “IA de fronteira”. Ele escreveu-me e disse: “Se estamos preocupados com o capitalismo na sua forma atual, deveríamos estar ainda mais preocupados com um mundo onde grande parte da economia é gerida por sistemas de IA explicitamente treinados para maximizar o lucro”.

Sam Altman, por volta de junho de 2021, concordou, contando a Ezra Klein sobre a filosofia fundadora da OpenAI: “Um dos incentivos que nos deixava muito nervosos era o incentivo ao lucro ilimitado, onde mais é sempre melhor. . . . E acho que com esses sistemas de IA de uso geral muito poderosos, em particular, você não quer um incentivo para maximizar o lucro indefinidamente.”⁶⁵

Em um movimento impressionante que se tornou amplamente visto como o maior ponto crítico no debate sobre segurança da IA até agora, o conselho da organização sem fins lucrativos da OpenAI demitiu o CEO Sam Altman em 17 de novembro de 2023, sexta-feira antes do Dia de Ação de Graças. O conselho, de acordo com o estatuto incomum da OpenAI , tem um dever fiduciário para com a “humanidade”, e não para com investidores ou funcionários.⁶⁶ Como justificativa, o conselho citou vagamente a falta de franqueza de Altman, mas depois, ironicamente, manteve silêncio sobre a sua decisão.

Por volta das 3h da manhã da segunda-feira seguinte, a Microsoft anunciou que Altman criaria um laboratório de pesquisa avançada com cargos para todos os funcionários da OpenAI,⁶⁷ a grande maioria dos quais assinou uma carta ameaçando aceitar a oferta da Microsoft se Altman não fosse reintegrado.⁶⁸ (Embora ele pareça ser um CEO popular, vale a pena notar que a demissão interrompeu uma venda planejada de ações de propriedade de funcionários da OpenAI avaliada em US$ 86 bilhões.) Pouco depois da 1h da manhã de quarta-feira, a OpenAI anunciou o retorno de Altman como CEO e dois novos membros do conselho: o ex-presidente do conselho do Twitter e o ex-secretário do Tesouro Larry Summers.

Em menos de uma semana, os executivos da OpenAI e Altman colaboraram com a Microsoft e a equipe da empresa para planejar seu retorno bem-sucedido e a remoção da maioria dos membros do conselho responsáveis por sua demissão.⁶⁹ A primeira preferência da Microsoft era ter Altman de volta como CEO. A demissão inesperada inicialmente fez com que as ações do gigante da tecnologia despencassem 5% (US$ 140 bilhões),⁷⁰ e o anúncio da reintegração de Altman levou-as a um nível mais alto de todos os tempos.⁷¹ Relutante em ser “pega de surpresa” novamente, a Microsoft está agora ocupando um lugar sem direito a voto no conselho da organização sem fins lucrativos.⁷²

Imediatamente após a demissão de Altman, X explodiu, e surgiu uma narrativa amplamente alimentada por rumores online e artigos de fontes anônimas de que altruístas eficazes focados na segurança no conselho haviam demitido Altman por sua comercialização agressiva dos modelos da OpenAI em detrimento da segurança. Capturando o teor da resposta esmagadora do e/acc, o então fundador de pseudônimo @BasedBeffJezos postou: “AEs são basicamente terroristas. Destruir 80 bilhões de valor durante a noite é um ato de terrorismo.”⁷³

A imagem que emergiu dos relatórios subsequentes foi que uma desconfiança fundamental em Altman, e não preocupações imediatas sobre a segurança da IA, motivou a escolha do conselho. O Wall Street Journal descobriu que “não houve um incidente que os levou à decisão de expulsar Altman, mas uma erosão lenta e consistente da confiança ao longo do tempo que os deixou cada vez mais inquietos”.⁷⁴

Semanas antes da demissão, Altman teria usado táticas desonestas para tentar remover a conselheira Helen Toner por causa de um artigo acadêmico de sua autoria que ele considerava crítico ao compromisso da OpenAI com a segurança da IA. No artigo, Toner, uma pesquisadora de governança de IA alinhada à AE, elogiou a Anthropic por evitar “o tipo de corte frenético que o lançamento do ChatGPT pareceu estimular”.

A New Yorker relatou que “alguns dos seis membros do conselho consideraram Altman manipulador e conivente”.⁷⁵ Dias após a demissão, um pesquisador de segurança de IA da DeepMind que trabalhava para a OpenAI escreveu que Altman “mentiu para mim em várias ocasiões” e “era enganoso, manipulador e pior para os outros”, uma avaliação ecoada por reportagens recentes na Time.⁷⁶

Esta não foi a primeira vez que Altman foi demitido. Em 2019, o fundador da Y Combinator, Paul Graham, removeu Altman do comando da incubadora por preocupações de que ele estava priorizando seus próprios interesses em detrimento dos da organização. Graham disse anteriormente : “Sam é extremamente bom em se tornar poderoso”.⁷⁷

O estranho modelo de governança da OpenAI foi estabelecido especificamente para evitar a influência corruptora da procura de lucro, mas, como a Atlantic proclamou corretamente, “o dinheiro vence sempre”.⁷⁸ E mais dinheiro do que nunca está sendo investido no avanço das capacidades da IA.

Velocidade máxima à frente

O progresso recente da IA foi impulsionadopelo culminar de muitas tendências de décadas: aumento no poder de computação e dados utilizados para treinar modelos de IA, que foram amplificados por melhorias significativas na eficiência algorítmica.⁷⁹ Desde 2010, o poder computacional para treinar modelos de IA aumentoucerca de cem milhões de vezes.⁸⁰ A maioria dos avanços que vemos agora são produto de um campo que na época era muito menor e mais pobre.⁸¹

E embora o ano passado tenha certamente tido mais do que o seu quinhão de entusiasmo pela IA,⁸² a confluência destas três tendências levou a resultados quantificáveis. O tempo que os sistemas de IA levam para atingir um desempenho de nível humano em muitas tarefas de referência diminuiu drasticamentena última década.⁸³

É possível, claro, que os ganhos de capacidade da IA cheguem a um impasse. Os pesquisadores podem ficar sem bons dados para usar. A lei de Moore – a observação de que o número de transistores num microchip duplica a cada dois anos – acabará por se tornar história.⁸⁴ Os acontecimentos políticos podem perturbar as cadeias de produção e de abastecimento, aumentando os custos do setor de informática. E a ampliação dos sistemas pode não levar mais a um melhor desempenho.

Mas a realidade é que ninguém conhece os verdadeiros limites das abordagens existentes. Um clipede uma entrevista de Yann LeCun em janeiro de 2022 reapareceu no Twitter este ano.⁸⁵ LeCun disse: “Não acho que possamos treinar uma máquina para ser inteligente puramente a partir de texto, porque acho que a quantidade de informação sobre o mundo contida no texto é pequena em comparação com o que precisamos saber”. Para ilustrar seu argumento, ele deu um exemplo: “Pego um objeto, coloco em cima da mesa e empurro a mesa. É completamente óbvio para você que o objeto seria empurrado com a mesa.” Porém, com “um modelo baseado em texto, se você treinar uma máquina, por mais poderosa que seja, seu ‘GPT-5000’. . . nunca vai aprender sobre isso."

Mas se você der esse exemplo ao ChatGPT-3.5, ele instantaneamente fornecerá a resposta correta.

Em uma entrevistapublicada quatro dias antes de sua demissão, Altman disse: “Até treinarmos esse modelo, será como um divertido jogo de adivinhação para nós. Estamos tentando melhorar nisso, porque acho importante, do ponto de vista da segurança, prever as capacidades. Mas não posso dizer exatamente o que o GPT-4 fará e o que o GPT-4 não fez.”⁸⁶

A história está repleta de previsões erradas sobre o ritmo da inovação. Um editorial do New York Times afirmou que poderia levar “um milhão a dez milhões de anos” para desenvolver uma máquina voadora – sessenta e nove dias antes dos irmãos Wright voarem pela primeira vez.⁸⁷ Em 1933, Ernest Rutherford, o “pai da física nuclear”, descartou com segurança a possibilidade de uma reação em cadeia induzida por nêutrons, inspirando o físico Leo Szilard a formular a hipótese de uma solução funcional no dia seguinte – uma solução que acabou sendo fundamental para a criação da bomba atômica.⁸⁸

Uma conclusão que parece difícil de evitar é que, recentemente, as pessoas que são melhores na construção de sistemas de IA acreditam que a IAG é possível e iminente. Talvez os dois principais laboratórios de IA, OpenAI e DeepMind, tenham trabalhado em IAG desde o seu início, começando num momento em que admitir que você acreditava que a IAG era possível em breve poderia fazer você rir da sala. (Ilya Sutskever liderou um canto de “Feel the AGI” na festa de Natal de 2022 da OpenAI.⁸⁹)

Trabalhadores Perfeitos

Os empregadores já usam a IA para vigiar,⁹⁰ controlar⁹¹ e explorar⁹²os trabalhadores. Mas o verdadeiro sonho é tirar os humanos do circuito. Afinal, como escreveu Marx: “A máquina é um meio de produzir mais-valia”.

A pesquisadora de risco de IA da Open Philanthropy (OP), Ajeya Cotra, escreveu-me que “o ponto final lógico de uma economia capitalista ou de mercado maximamente eficiente” não envolveria humanos porque “os humanos são apenas criaturas muito ineficientes para ganhar dinheiro”. Valorizamos todas estas emoções “comercialmente improdutivas”, escreve ela, “por isso, se acabarmos por nos divertir e gostar do resultado, será porque começamos com o poder e moldamos o sistema para se acomodar aos valores humanos. ”

OP é uma fundação inspirada na AE, financiada pelo cofundador do Facebook, Dustin Moskovitz. É o principal financiador de organizações de segurança de IA, muitas das quais são mencionadas neste artigo.⁹³ A OP também concedeu US$ 30 milhões à OpenAI para apoiar o trabalho de segurança de IA dois anos antes de o laboratório criar um braço com fins lucrativosem 2019.⁹⁴ Anteriormente, recebi uma doação única para apoiar o trabalho de publicação na New York Focus, uma organização de notícias investigativas sem fins lucrativos que cobre a política de Nova York, dos EA Funds, que recebe financiamento da OP. Depois de conhecer a AE pela primeira vez em 2017, comecei a doar 10 a 20 por cento do meu rendimento para organizações sem fins lucrativos globais de saúde e anti-agroindústria, voluntariei-me como organizador de grupo local e trabalhei numa organização sem fins lucrativos global contra a pobreza. A AE foi uma das primeiras comunidades a se envolver seriamente com o risco existencial da IA, mas olhei para o pessoal da IA com alguma cautela, dada a incerteza do problema e o sofrimento imenso e evitável que está acontecendo agora.

Uma IAG complacente seria o trabalhador com que os capitalistas só podem sonhar: incansável, motivado e sem necessidade de pausas para ir ao banheiro. Gestores, de Frederick Taylor a Jeff Bezos, ressentem-se das diversas maneiras pelas quais os humanos não são otimizados para a produção – e, portanto, para os resultados financeiros de seus empregadores. Mesmo antes dos dias da gestão científica de Taylor, o capitalismo industrial tem procurado tornar os trabalhadores mais parecidos com as máquinas com as quais trabalham e pelas quais são cada vez mais substituídos. Como observou prescientemente o Manifesto Comunista, o uso extensivo de maquinaria pelos capitalistas transforma o trabalhador num “apêndice da máquina”.

Mas, de acordo com a comunidade de segurança da IA, as mesmas capacidades desumanas que fariam Bezos salivar também tornam a IAG um perigo mortal para os humanos.

Explosão: O Caso de Extinção

O argumento comum do risco-x é: assim que os sistemas de IA atingirem um determinado limite, eles serão capazes de se auto-aperfeiçoar recursivamente, dando início a uma “explosão de inteligência”. Se um novo sistema de IA tornar-se inteligente – ou apenas ampliado – o suficiente, será capaz de enfraquecer permanentemente a humanidade.

O documento de posicionamento de outubro afirma: "Não há razão fundamental para que o progresso da IA diminua ou pare quando atingir capacidades de nível humano... Em comparação com os humanos, os sistemas de IA podem agir mais rapidamente, absorver mais conhecimento e comunicar com uma largura de banda muito maior. Além disso, eles podem ser dimensionados para usar imensos recursos computacionais e podem ser replicados aos milhões."⁹⁵

Esses recursos já possibilitaram habilidades sobre-humanas: os LLMs podem “ler” grande parte da Internet em meses, e o AlphaFold da DeepMind pode realizar anos de trabalho humano de laboratório em poucos dias.

Aqui está uma versão estilizada da ideia de crescimento “populacional” estimulando uma explosão de inteligência: se os sistemas de IA rivalizarem com os cientistas humanos em pesquisa e desenvolvimento, os sistemas proliferarão rapidamente, levando ao equivalente a um enorme número de novos trabalhadores altamente produtivos entrando na economia. Dito de outra forma, se o GPT-7 puder executar a maioria das tarefas de um trabalhador humano e custar apenas alguns dólares para colocar o modelo treinado para trabalhar nas tarefas diárias, cada instância do modelo seria extremamente lucrativa, disparando um ciclo de feedback positivo. Isto poderia levar a uma “população” virtual de bilhões ou mais de trabalhadores digitais, cada um valendo muito mais do que o custo da energia necessária para o seu funcionamento.⁹⁶ Sutskeveracredita que é provável que “toda a superfície da Terra seja coberta por painéis solares e data centers”.⁹⁷

Estes trabalhadores digitais poderão ser capazes de melhorar os nossos projetos de IA e iniciar o seu caminho para a criação de sistemas “superinteligentes”, cujas capacidades Alan Turing especulou em 1951 que em breve “ultrapassariam os nossos fracos poderes”.⁹⁸ E, como argumentam alguns defensores da segurança da IA , um modelo individual de IA não precisa ser superinteligente para representar uma ameaça existencial; pode ser necessário apenas haver cópias suficientes dele.⁹⁹ Muitas das minhas fontes compararam as corporações a superinteligências, cujas capacidades excedem claramente as dos seus membros constituintes.

"Basta desconectá-los”, diz a objeção comum. Mas quando um modelo de IA for suficientemente poderoso para ameaçar a humanidade, será provavelmente a coisa mais valiosa que existe. Talvez seja mais fácil “desconectar” a Bolsa de Valores de Nova York ou a Amazon Web Services.

Uma superinteligência preguiçosa pode não representar um grande risco, e céticos como Oren Etzioni, CEO do Allen Institute for AI, a professora de estudos de complexidade Melanie Mitchell e a diretora-gerente do AI Now Institute, Sarah Myers West, me disseram que não viram evidências convincentes de que os sistemas de IA são tornando-se mais autônomos. Dario Amodei, da Anthropic, parece concordar que os sistemas atuais não apresentam um nível preocupante de agência.¹⁰⁰ No entanto, um sistema completamente passivo, mas suficientemente poderoso, exercido por um malfeitor é suficiente para preocupar pessoas como Bengio.

Além disso, tanto os académicos como os industriais estão a aumentar os esforços para tornar os modelos de IA mais autónomos. Dias antes da sua demissão, Altman disseao Financial Times: “Tornaremos estes agentes cada vez mais poderosos... e as ações ficarão cada vez mais complexas a partir daqui... A quantidade de valor comercial que resultará da capacidade de fazer isso em todas as categorias, eu acho, é muito boa.”¹⁰¹

O que há por trás do Hype?

O medo que mantém muitas pessoas do risco-x acordadas à noite não é que uma IA avançada “acorde”, “torne-se má” e decida matar todos por maldade, mas sim que ela passe a nos ver como um obstáculo para quaisquer que sejam os objetivos que tenha. Em seu último livro, Brief Answers to the Big Questions, Stephen Hawking articulou isso, dizendo : “Você provavelmente não é um odiador de formigas ruim que pisa em formigas por maldade, mas se você é responsável pelo projeto de uma hidrelétrica verde e tem um formigueiro na região para ser inundado, azar das formigas.”¹⁰²

Comportamentos inesperados e indesejáveis podem resultar de objetivos simples, seja o lucro ou uma função de recompensa da IA. Num mercado “livre”, a procura do lucro leva a monopólios, esquemas de marketing multinível, ar e rios envenenados e inúmeros outros danos.

Existem exemplos abundantes de sistemas de IA que apresentam comportamentos surpreendentes e indesejados.¹⁰³ Um programa destinado a eliminar erros de classificação em uma lista excluiutotalmente a lista.¹⁰⁴ Um pesquisador ficou surpreso ao encontrar um modelo de IA “fingir-se de morto” para evitar ser identificado em testes de segurança.¹⁰⁵

Outros ainda veem uma conspiração da Big Tech surgindo por trás dessas preocupações. Algumas pessoas focadas nos danos imediatos da IA argumentam que a indústria está promovendo ativamente a ideia de que seus produtos podem acabar com o mundo, como Myers West, do AI Now Institute, que diz “ver as narrativas em torno do chamado risco existencial como realmente um estratagema para tirar todo o ar da sala, a fim de garantir que não haja movimento significativo no momento presente.” Estranhamente, Yann LeCun¹⁰⁶e o cientista-chefe da IA do Baidu, Andrew Ng,¹⁰⁷afirmam concordar.

Quando apresentei a ideia aos que acreditam no risco-x, eles muitas vezes responderam com uma mistura de confusão e exasperação. Ajeya Cotra, da OP, respondeu: “Gostaria que a preocupação com o risco-x fosse menos associada à indústria, porque acho que é fundamentalmente, no mérito, uma crença muito anti-indústria... Se as empresas estão construindo coisas que vão matar todos nós, isso é muito ruim, e elas deveriam ser restringidas de forma muito rigorosa pela lei.”

Markus Anderljung, do GovAI, chamou os receios de captura regulatória de “uma reação natural que as pessoas têm”, mas enfatizou que as suas políticas preferidas podem muito bem prejudicar os maiores agentes da indústria.

Uma fonte compreensível de suspeita é que Sam Altman é agora uma das pessoas mais associadas à ideia do risco existencial, mas a sua empresa fez mais do que qualquer outra para avançar a fronteira da IA de uso geral.

Além disso, à medida que a OpenAI se aproximava da lucratividade e Altman se aproximava do poder, o CEO mudou seu tom público. Em uma sessão de perguntas e respostas de janeiro de 2023, quando questionado sobre seu pior cenário para IA, ele respondeu : “Luzes apagadas para todos nós”.¹⁰⁸ Mas ao responder a uma pergunta semelhante sob juramento perante senadores em maio, Altman não menciona a extinção.¹⁰⁹ E, talvez em sua última entrevista antes de sua demissão, Altman disse : “Na verdade, não acho que todos seremos extintos. Eu acho que vai ser ótimo. Acho que estamos caminhando para o melhor mundo de todos.”¹¹⁰

Altman implorou ao Congresso em maio que regulamentasse a indústria de IA,¹¹¹ mas uma investigação de novembro¹¹² descobriu que a Microsoft, empresa quase controladora da OpenAI, foi influente no lobby malsucedido para excluir “modelos fundacionais” como o ChatGPT da regulamentação da próxima Lei de IA da União Europeia.¹¹³ E Altman fez muito lobby na UE,¹¹⁴ ameaçando mesmo retirar-se da região se as regulamentações se tornassem demasiado onerosas (ameaças que ele rapidamente desconsiderou¹¹⁵). Falando num painel de CEOs em São Francisco, dias antes de sua demissão, Altman disse que “os modelos atuais estão bem. Não precisamos de regulamentação pesada aqui. Provavelmente nem mesmo nas próximas gerações.”¹¹⁶

A recente ordem executiva "abrangente" do presidente Biden sobre IA parece concordar: os seus requisitos de repasse de informações de testes de segurança afetam apenas modelos maiores do que qualquer outro que provavelmente tenha sido treinado até agora.¹¹⁷ Myers West chamou esses tipos de “limiares de escala” de “exclusão massiva”. Anderljung escreveu-me que a regulamentação deveria ser escalonada de acordo com as capacidades e a utilização de um sistema, e disse que “gostaria de alguma regulamentação dos modelos mais capazes e amplamente utilizados de hoje”, mas acha que “será muito mais politicamente viável impor requisitos a sistemas que ainda não foram desenvolvidos.”

Inioluwa Deborah Raji arriscou que se os gigantes da tecnologia “souberem que têm que ser os bandidos em alguma dimensão... eles prefeririam que fosse abstrato e de longo prazo.” Isso me parece muito mais plausível do que a ideia de que a Big Tech realmente queira promover a ideia de que seus produtos têm uma chance razoável de literalmente matar todo mundo .

Quase setecentas pessoas assinaram a carta de extinção, a maioria delas acadêmicas.¹¹⁸ Apenas uma delas dirige uma empresa de capital aberto: o financiador do OP, Moskovitz, que também é cofundador e CEO da Asana, um aplicativo de produtividade. Não havia nenhum funcionário da Amazon, Apple, IBM ou de qualquer empresa líder de hardware de IA. Nenhum executivo da Meta assinou.

Se os chefes das grandes empresas tecnológicas queriam amplificar a narrativa da extinção, por que não acrescentaram os seus nomes à lista?

Por que construir a “Máquina do Fim dos Tempos?”

Se a IA realmente salvar o mundo, quem quer que a tenha criado poderá esperar ser elogiado como um Júlio César moderno. E mesmo que isso não aconteça, quem primeiro construir “a última invenção que o homem alguma vez precisou fazer” não terá de se preocupar em ser esquecido pela história – a menos, claro, que a história termine abruptamente após a sua invenção.¹¹⁹

Connor Leahy pensa que, no nosso caminho atual, o fim da história seguirá em breve o advento da IAG. Com seu cabelo esvoaçante e cavanhaque despenteado, ele provavelmente se sentiria em casa usando uma placa onde se lê “O fim está próximo” – embora isso não o tenha impedido de ser convidado para discursar na Câmara dos Lordes britânica ou na CNN. O CEO da Conjecture, de 28 anos, e cofundador da EleutherAI, um influente coletivo de código aberto, me disse que grande parte da motivação para construir IA se resume a: “'Oh, você está construindo a máquina de destruição definitiva que rende bilhões de dólares e também o torna rei-imperador da terra ou mata todo mundo?' Sim, isso é como o sonho masculino. Você fica tipo, 'Porra, sim. Eu sou o rei da desgraça.'” Ele continua: “Tipo, eu entendi. Isso está muito presente na estética do Vale do Silício.”

Leahy também transmitiu algo que não surpreenderá as pessoas que passaram um tempo significativo na Bay Area ou em certos cantos da Internet:

Existem empresários e tecnólogos tecnoutópicos reais, completamente irresponsáveis, não eleitos, vivendo principalmente em São Francisco, que estão dispostos a arriscar a vida de vocês, de seus filhos, de seus netos e de toda a humanidade futura, só porque podem ter uma chance. viver para sempre.

Em março, o MIT Technology Review informou que Altman “diz que esvaziou sua conta bancária para financiar dois... objetivos: energia ilimitada e prolongar a vida.”¹²⁰

Tendo em conta tudo isto, seria de esperar que a comunidade da ética visse a comunidade de segurança como um aliado natural numa luta comum para controlar as elites tecnológicas irresponsáveis que estão consrtruindo unilateralmente produtos arriscados e prejudiciais. E, como vimos anteriormente, muitos defensores da segurança fizeram aberturas aos especialistas em ética da IA. Também é raro que pessoas da comunidade de risco-x ataquem publicamente a ética da IA (embora o inverso seja... não verdadeiro¹²¹), mas a realidade é que os defensores da segurança têm sido por vezes difíceis de engolir.

Os especialistas em ética da IA, tal como as pessoas que ekes defendem, muitas vezes relatam que se sentem marginalizadas e afastadas do poder real, travando uma batalha difícil com empresas de tecnologia que as vêem como uma forma de se protegerem e não como uma verdadeira prioridade. Para dar crédito a esse sentimento está a destruição das equipes de ética de IA em muitas grandes empresas de tecnologia nos últimos anos (ou dias). E, em vários casos, estas empresas retaliaram contra denunciantes¹²² e organizadores sindicais orientados pela ética.¹²³

Isso não implica necessariamente que essas empresas estejam priorizando seriamente o risco-x. O conselho de ética do Google DeepMind, que incluía Larry Page e o proeminente pesquisador de risco existencial Toby Ord, teve sua primeira reunião em 2015, mas nunca teve uma segunda.¹²⁴ Um pesquisador de IA do Google me escreveu que “não falam sobre riscos de longo prazo... no escritório”, continuando, “o Google está mais focado na construção de tecnologia e na segurança no sentido de legalidade e agressividade”.

A engenheira de software Timnit Gebru co-liderou a equipe ética de IA do Google até ser forçada a deixar a empresa no final de 2020, após uma disputa sobre um rascunho de documento – agora uma das publicações de aprendizado de máquina mais famosas de todos os tempos. No artigo sobre “papagaios estocásticos”,¹²⁵ Gebru e seus co-autores argumentam que os LLMs prejudicam o meio ambiente, amplificam os preconceitos sociais e usam estatísticas para unir a linguagem “ao acaso” “sem qualquer referência ao significado”.

Gebru, que não é fã da comunidade de segurança de IA, pediu proteções aprimoradas de denunciantes para pesquisadores de IA,¹²⁶ o que também é uma das principais recomendações feitas no white paper do GovAI.¹²⁷ Desde que Gebru foi expulsa do Google, quase 2.700 funcionários assinaram uma carta solidária,¹²⁸ mas o "googler" Geoff Hinton não era um deles. Quando questionado na CNN por que ele não apoiava um colega denunciante, Hinton respondeu que as críticas de Gebru à IA “eram preocupações bastante diferentes das minhas” que “não são tão existencialmente sérias quanto a ideia de que essas coisas se tornem mais inteligentes do que nós e assumam o controle."¹²⁹

Raji disse-me que “muitos dos motivos de frustração e animosidade” entre os campos da ética e da segurança é que “um lado tem muito mais dinheiro e poder do que o outro lado”, o que “permite que eles impulsionem a sua agenda de forma mais direta.”

De acordo com uma estimativa, a quantidade de dinheiro transferida para startups e organizações sem fins lucrativos de segurança de IA em 2022 quadruplicou desde 2020, atingindo US$144 milhões.¹³⁰ É difícil encontrar um número equivalente para a comunidade ética da IA. Contudo, a sociedade civil de ambos os campos é ofuscada pelos gastos da indústria. Apenas no primeiro trimestre de 2023, a OpenSecrets relatou que cerca de US$94 milhões foram gastos em lobby de IA nos Estados Unidos.¹³¹ A LobbyControl estimou que as empresas tecnológicas gastaram €113 milhões em 2023 em lobby junto da UE,¹³² e recordemos que centenas de bilhões de dólares estão sendo investidos na indústria da IA neste momento.

Algo que pode impulsionar a animosidade ainda mais do que qualquer diferença percebida em poder e dinheiro é a linha de tendência. Após livros amplamente elogiados como Weapons of Math Destruction de 2016, da cientista de dados Cathy O'Neil, e descobertas bombásticas de preconceito algorítmico, como o artigo “Gender Shades” de 2018 de Buolamwini e Gebru, a perspectiva da ética da IA capturou a atenção e o apoio do público.¹³³

Em 2014, a causa do risco-x da IA teve o seu próprio best-seller surpresa, Superinteligência do filósofo Nick Bostrom, que argumentou que a IA além-humana poderia levar à extinção -- e recebeu elogios de figuras como Elon Musk e Bill Gates. Mas Yudkowsky disse-me que, antes do ChatGPT, fora de certos círculos do Vale do Silício, considerar seriamente a tese do livro faria as pessoas olharem para você de forma engraçada. Os primeiros proponentes da segurança da IA, como Yudkowsky, ocuparam a estranha posição de manter laços estreitos com a riqueza e o poder através dos técnicos da Bay Area, permanecendo, ao mesmo tempo, marginalizados no discurso mais amplo.

No mundo pós-ChatGPT, os ganhadores do prêmio Turing e os que ganharam o Nobel estão saindo do armário de segurança da IA e abraçando argumentos popularizados por Yudkowsky, cuja publicação mais conhecida é uma peça de fan-fiction de Harry Potter, totalizando mais de 660.000 palavras.¹³⁴

Talvez o presságio mais chocante deste novo mundo tenha sido transmitido em novembro, quando os apresentadores de um podcast de tecnologia do New York Times, Hard Fork, perguntaram à presidente da Comissão Federal de Comércio: “Qual é a sua estimativa, Lina Khan? Qual é a sua probabilidade de que a IA mate todos nós?” A conversa sobre bebedouros da AE se tornou popular. (Khan disse que é “otimista” e deu uma estimativa “baixa” de 15%.)¹³⁵

Seria fácil observar todas as cartas abertas e círculos mediáticos e pensar que a maioria dos investigadores em IA estão mobilizados contra o risco existencial. Mas quando perguntei a Bengio sobre como o risco-x é percebido hoje na comunidade de aprendizado de máquina, ele disse: “Ah, mudou muito. Costumava ser cerca de 0,1% das pessoas que prestavam atenção à questão. E talvez agora seja 5%.”

Probabilidades

Como muitos outros preocupados com o risco-x da IA, o renomado filósofo da mente David Chalmers apresentou um argumento probabilístico durante nossa conversa: “Esta não é uma situação em que você tenha que estar 100% certo de que teremos uma IA de nível humano para se preocupar. sobre isso. Se for 5%, temos que nos preocupar com isso.”

Esse tipo de pensamento estatístico é popular na comunidade de AE e é um motivo relevante que levou seus membros a se concentrarem na IA em primeiro lugar. Se você aceitar argumentos de especialistas, poderá ficar mais confuso. Mas se você tentar calcular a média da preocupação dos especialistas a partir de um punhado¹³⁶ de pesquisas,¹³⁷ poderá acabar pensando que há pelo menos uma pequena chance de que a extinção pela IA possa acontecer, o que poderia ser suficiente para torná-la a coisa mais importante do mundo. E se atribuirmos algum valor a todas as gerações futuras que possam existir, a extinção humana é categoricamente pior do que catástrofes passíveis de sobrevivência.

No entanto, no debate sobre IA, abundam as alegações de arrogância. Céticos como Melanie Mitchell e Oren Etzioni disseram-me que não havia provas que apoiassem o argumento do risco-x, enquanto crentes como Bengio e Leahy apontam para ganhos de capacidade surpreendentes e perguntam: e se o progresso não parar? Um amigo pesquisador acadêmico de IA comparou o advento da IAG a jogar a economia e a política globais em um liquidificador.

Mesmo que, por alguma razão, a IAG só consiga igualar e não exceder a inteligência humana, a perspectiva de partilhar a Terra com um número quase arbitrariamente grande de agentes digitais de nível humano é assustadora, especialmente quando provavelmente estarão tentando ganhar dinheiro de alguém.

Existem demasiadas ideias políticas sobre como reduzir o risco existencial da IA para serem discutidas adequadamente aqui. Mas uma das mensagens mais claras provenientes da comunidade de segurança da IA é que devemos “desacelerar”. Os defensores de tal desaceleração esperam que ela dê aos decisores políticos e à sociedade em geral a oportunidade de recuperar o atraso e decidir ativamente como uma tecnologia potencialmente transformadora é desenvolvida e implementada.¹³⁸

Cooperação internacional

Uma das respostas mais comuns a qualquer esforço para regulamentar a IA é a objeção “mas e a China!?” Altman, por exemplo, disse numa comissão do Senado em maio que “queremos que a América lidere” e reconheceu que o perigo de abrandar é que “a China ou qualquer outra pessoa faça progressos mais rápidos”.¹³⁹

Anderljung escreveu-me que esta “não é uma razão suficientemente forte para não regulamentar a IA”.

Num artigo da Foreign Affairs de junho, Helen Toner e dois cientistas políticos relataram que os investigadores chineses de IA que entrevistaram pensavam que os LLM chineses estão pelo menos dois a três anos atrás dos modelos de última geração americanos.¹⁴⁰ Além disso, os autores argumentam que, uma vez que os avanços da IA chinesa “dependem muito da reprodução e do ajuste da investigação publicada no estrangeiro”, um abrandamento unilateral “provavelmente desaceleraria” também o progresso chinês. A China também agiu mais rapidamente do que qualquer outro grande país para regulamentar significativamente a IA,¹⁴¹ como observou o chefe de políticas da Anthropic, Jack Clark.¹⁴²

Yudkowsky diz: “Na verdade, não é do interesse da China cometer suicídio juntamente com o resto da humanidade”.

Se a IA avançada realmente ameaça o mundo inteiro, a regulamentação interna por si só não será suficiente. Mas restrições nacionais robustas poderiam sinalizar de forma credível a outros países a seriedade com que encaramos os riscos. O proeminente especialista em ética em IA, Rumman Chowdhury, pediu supervisão global. Bengio diz que “temos que fazer as duas coisas”.¹⁴³

Yudkowsky, sem surpresa, assumiu uma posição maximalista, dizendo-me que “a direção correta parece mais colocar todo o hardware de IA num número limitado de centros de dados sob supervisão internacional por órgãos com um tratado simétrico segundo o qual ninguém – incluindo os militares, governos , a China ou a CIA – podem fazer qualquer uma das coisas realmente terríveis, incluindo a construção de superinteligências.”¹⁴⁴

Num controverso artigo de opinião da Time de março de 2024, Yudkowsky defendeu "encerrar tudo”, propondo uma moratória internacional sobre “novas grandes sessões de treino” apoiadas pela ameaça da força militar.¹⁴⁵ Dadas as fortes crenças de Yudkowsky de que a IA avançada seria muito mais perigosa do que qualquer arma nuclear ou biológica, esta posição radical surge naturalmente.

Todos os vinte e oito países presentes na recente Cúpula de Segurança da IA, incluindo os Estados Unidos e a China, assinaram a Declaração de Bletchley, que reconheceu os danos existentes da IA e o fato de que “riscos substanciais podem surgir do potencial uso indevido intencional ou de problemas de controle não intencionais relacionados com o alinhamento com a intenção humana.”¹⁴⁶

Na Cúpula, o governo britânico anfitrião encarregou Bengio de liderar a produção do primeiro relatório “Estado da Ciência” sobre as “capacidades e riscos da IA de fronteira”, num passo significativo em direção a um órgão especializado permanente como o Painel Intergovernamental sobre Alterações Climáticas.¹⁴⁷

A cooperação entre os Estados Unidos e a China será imperativa para uma coordenação internacional significativa no desenvolvimento da IA. E quando se trata de IA, os dois países não estão exatamente nas melhores condições. Com os controles de exportação da Lei CHIPS de 2022, os Estados Unidos tentaram limitar as capacidades de IA da China, algo que um analista da indústria teria anteriormente considerado um “ato de guerra”.¹⁴⁸ Tal como a Jacobin relatou em maio de 2023,¹⁴⁹ alguns pesquisadsores de políticas orientados para o risco-x provavelmente desempenharam um papel na aprovação dos onerosos controles. Em outubro, os Estados Unidos reforçaram as restrições da Lei CHIPS para preencher lacunas.

No entanto, num sinal encorajador, Biden e Xi Jinping discutiram a segurança da IA e a proibição da IA em sistemas de armas letais em novembro. Um comunicado de imprensa da Casa Branca declarou: “Os líderes afirmaram a necessidade de abordar os riscos dos sistemas avançados de IA e melhorar a segurança da IA através de conversações governamentais entre os EUA e a China”.¹⁵⁰

As armas letais autônomas são também uma área de relativo acordo nos debates sobre IA. Em seu novo livro Unmasking AI:  My Mission to Protect What Is Human in a World of Machines, Joy Buolamwini defende a campanha "Stop Killer Robots", ecoando uma preocupação de longa data de muitos defensores da segurança da IA. O Future of Life Institute, uma organização sobre o risco-x, reuniu opositores ideológicos para assinar uma carta aberta de 2016 apelando à proibição de leis ofensivas, incluindo Bengio, Hinton, Sutton, Etzioni, LeCun, Musk, Hawking e Noam Chomsky.¹⁵¹

Um assento à mesa

Após anos de inação, os governos mundiais estão finalmente voltando a sua atenção para a IA.¹⁵² Mas ao não se envolverem seriamente naquilo que os sistemas futuros poderão fazer, os socialistas estão cedendo o seu lugar à mesa.

Em grande parte devido aos tipos de pessoas que se sentiram atraídas pela IA, muitos dos primeiros partidários sérios da ideia do risco-x decidiram envolver-se em investigação extremamente teórica sobre como controlar a IA avançada ou criaram empresas de IA.¹⁵³ Mas para um outro tipo de pessoa, a resposta ao acreditar que a IA pode acabar com o mundo é tentar fazer com que as pessoas parem de construí-la.

Os defensores continuam dizendo que o desenvolvimento da IA é inevitável – e se um número suficiente de pessoas acreditar, isso se tornará verdade. Mas “não há nada inevitável na inteligência artificial”, escreve o AI Now Institute.¹⁵⁴ O diretor administrativo Myers West repetiu isso, mencionando que a tecnologia de reconhecimento facial parecia inevitável em 2018, mas desde então foi proibida em muitos lugares.¹⁵⁵ E, como aponta Katja Grace, pesquisadora do risco-x , não deveríamos sentir a necessidade de construir todas as tecnologias simplesmente porque podemos.¹⁵⁶

Além disso, muitos legisladores estão observando os avanços recentes da IA e enlouquecendo. O senador Mitt Romney está “mais aterrorizado com a IA” do que otimista,¹⁵⁷ e seu colega Chris Murphy diz: “As consequências de tantas funções humanas serem terceirizadas para a IA são potencialmente desastrosas”.¹⁵⁸ Os congressistas Ted Lieu¹⁵⁹ e Mike Johnson¹⁶⁰ estão literalmente “assustados” com a IA. Se certos técnicos forem as únicas pessoas dispostas a reconhecer que as capacidades da IA melhoraram dramaticamente e poderão representar uma ameaça a nível de espécie no futuro, serão a eles que os decisores políticos darão ouvidos desproporcionalmente. Em maio, o professor e especialista em ética em IA Kristian Lum tuitou: “Há um risco existencial que tenho certeza que os LLMs representam e é sobre a credibilidade do campo da FAccT¹⁶¹ /IA Ética, se continuarmos promovendo a narrativa do óleo de cobra sobre eles”.¹⁶²

Mesmo que a ideia da extinção impulsionada pela IA lhe pareça mais fictícia do que científica, ainda poderá haver um enorme impacto na influência sobre a forma como uma tecnologia transformadora é desenvolvida e quais os valores que ela representa. Assumir que podemos conseguir que uma IAG hipotética faça o que queremos levanta talvez a questão mais importante que a humanidade alguma vez enfrentará: O que deveríamos querer que ela quisesse?

Quando perguntei a Chalmers sobre isto, ele disse: “Em algum momento recapitulamos todas as questões da filosofia política: que tipo de sociedade realmente queremos e que realmente valorizamos?”

Uma forma de pensar sobre o advento da IA a nível humano é que seria como criar a constituição de um novo país (a “IA constitucional” da Anthropic interpreta esta ideia literalmente,¹⁶³ e a empresa recentemente experimentou incorporar elementos democráticos no documento fundamental do seu modelo¹⁶⁴). Os governos são sistemas complexos que exercem um enorme poder. A base sobre a qual estão estabelecidas pode influenciar a vida de milhões de pessoas agora e no futuro. Os americanos vivem sob o jugo de homens mortos que tinham tanto medo do público que construíram medidas antidemocráticas, que continuam a atormentar o nosso sistema político mais de dois séculos depois.

A IA pode ser mais revolucionária do que qualquer inovação anterior. É também uma tecnologia exclusivamente normativa, dado o quanto a construímos para refletir as nossas preferências. Como Jack Clark disse recentemente à Vox: “É realmente estranho que este não seja um projeto governamental”.¹⁶⁵ Chalmers me disse: “Quando de repente tivermos as empresas de tecnologia tentando incorporar esses objetivos em sistemas de IA, teremos que realmente confiar nas empresas de tecnologia para acertar essas questões sociais e políticas muito profundas". Não tenho certeza se sim. Ele enfatizou: “Você não está fazendo apenas uma reflexão técnica sobre isso, mas uma reflexão social e política”.

Falsas escolhas

Talvez não precisemos esperar para encontrar sistemas superinteligentes que não priorizem a humanidade. Agentes sobre-humanos otimizam implacavelmente uma recompensa às custas de qualquer outra coisa que nos interesse.¹⁶⁶ Quanto mais capaz for o agente e mais implacável for o otimizador,¹⁶⁷ mais extremos serão os resultados.

Soa familiar? Se sim, você não está sozinho. O AI Objectives Institute (AOI) considera tanto o capitalismo quanto a IA como exemplos de otimizadores desalinhados. Co-fundado pela ex-apresentadora de um programa de rádio público Brittney Gallagher¹⁶⁸ e pelo “herói da privacidade” Peter Eckersley pouco antes de sua morte inesperada¹⁶⁹, o laboratório de pesquisa examina o espaço entre a aniquilação e a utopia, “uma continuação das tendências existentes de concentração de poder em menos mãos – reforçadas pelo avanço da IA – em vez de uma ruptura brusca com o presente.”¹⁷⁰ O presidente da AOI, Deger Turan, me disse: “Risco existencial é a falha na coordenação diante de um risco”. Ele diz que “precisamos criar pontes" entre a segurança da IA e a ética da IA.

Uma das ideias mais influentes nos círculos de risco-x é a maldição do unilateralista, um termo para situações em que um ator solitário pode arruinar as coisas para todo o grupo.¹⁷¹ Por exemplo, se um grupo de biólogos descobre uma maneira de tornar uma doença mais mortal, basta apenas um para publicá-la. Nas últimas décadas, muitas pessoas ficaram convencidas de que a IA poderia acabar com a humanidade, mas apenas os mais ambiciosos e tolerantes ao risco deram início às empresas que estão agora avançando na fronteira das capacidades da IA, ou, como Sam Altman disse recentemente, afastando o “véu da ignorância”.¹⁷² Como alude o CEO, não temos como saber verdadeiramente o que está além do limite tecnológico.

Alguns de nós entendemos perfeitamente os riscos, mas seguimos em frente mesmo assim. Com a ajuda de cientistas de ponta, a ExxonMobil descobriu conclusivamente em 1977 que o seu produto causava o aquecimento global.¹⁷³ Eles então mentiram ao público sobre isso, enquanto construíam suas plataformas de petróleo cada vez maiores.

A ideia de que a queima de carbono poderia aquecer o clima foi levantada pela primeira vez no final do século XIX,¹⁷⁴ mas o consenso científico sobre as alterações climáticas demorou quase cem anos a formar-se. A ideia de que poderíamos perder permanentemente o controle para as máquinas é mais antiga do que a computação digital, mas permanece longe de um consenso científico. E se o progresso recente da IA continuar a ritmo acelerado, poderemos não ter décadas para formar um consenso antes de agirmos de forma efetiva.

O debate que se desenrola em praça pública pode levar-nos a acreditar que temos de escolher entre abordar os danos imediatos da IA e os seus riscos existenciais inerentemente especulativos. E há certamente prós e contras que requerem uma consideração cuidadosa.

Mas quando olhamos para as forças materiais em jogo, surge uma imagem diferente: num canto estão empresas de bilionárias tentando tornar os modelos de IA mais poderosos e lucrativos; em ooutro, encontramos grupos da sociedade civil tentando fazer com que a IA reflita valores que rotineiramente colidem com a maximização do lucro.

Em suma, é capitalismo versus humanidade.

(*) Garrison Lovely é um escritor freelancer e apresentador do podcast "The Most Interesting People I Know": https://www.garrisonlovely.com/about-me