"Humanos no circuito" devem encontrar os erros mais difíceis de detectar, em velocidade sobre-humana

Cory Doctorow *
Traduzido do original em https://pluralistic.net/2024/04/23/maximal-plausibility/#reverse-centau…

Se a inteligência artificial (IA) tiver futuro (um grande "se"), terá de ser economicamente viável. Uma indústria não pode gastar 1.700% mais em chips Nvidia do que ganha indefinidamente – nem mesmo sendo a Nvidia o principal investidor em seus maiores clientes.¹

Uma empresa que paga US$0,36/consulta por eletricidade e água (escassa e doce) não pode distribuir indefinidamente essas consultas aos milhões para pessoas que devem revisar essas consultas dezenas de vezes antes de obter a versão perfeita de "instruções para remover um sanduíche de queijo grelhado de um videocassete no estilo da Bíblia do Rei James".²

Eventualmente, a indústria terá de descobrir alguma combinação de aplicações que cubra os seus custos operacionais, nem que seja para manter as luzes acesas face à desilusão dos investidores (isto não é opcional – a desilusão dos investidores é uma parte inevitável de cada bolha).

Agora, existem muitas aplicações de baixo risco para IA que podem funcionar perfeitamente na atual tecnologia de IA, apesar de seus muitos – e aparentemente inevitáveis – erros (“alucinações”). Pessoas que usam IA para gerar ilustrações de seus personagens de D&D envolvidos em aventuras épicas de sua sessão de jogo anterior não se importam com um dedo extra. Se o chatbot que alimenta a ferramenta automática de conversão de texto em voz para um turista errar algumas palavras, ainda será muito melhor do que a alternativa de falar lenta e alto em seu próprio idioma enquanto faz gestos enfáticos com as mãos.

Existem muitos desses aplicativos, e muitas das pessoas que se beneficiam deles sem dúvida pagariam algo por eles. O problema – do ponto de vista de uma empresa de IA – é que estes não são apenas riscos baixos, mas também de baixo valor. Seus usuários pagariam algo por eles, mas não muito.

Para que a IA mantenha os seus servidores ligados durante o período de desilusão que se aproxima, terá também de localizar aplicações de elevado valor. Economicamente falando, a função das aplicações de baixo valor é absorver o excesso de capacidade e produzir valor nas margens depois que as aplicações de alto valor pagam as contas. As aplicações de baixo valor são um acompanhamento, como os assentos de um avião cujas despesas operacionais totais são pagas antecipadamente pelos passageiros da classe executiva. Sem a principal receita dos aplicativos de alto valor, os servidores são desligados e os aplicativos de baixo valor desaparecem.³

Agora, existem muitas aplicações de alto valor que a indústria de IA identificou para seus produtos. Em termos gerais, estas aplicações de alto valor partilham o mesmo problema: são todas de alto risco, o que significa que são muito sensíveis a erros. Erros cometidos por aplicativos que produzem códigos, dirigem carros ou identificam massas cancerígenas em radiografias de tórax têm consequências extremamente graves.

Algumas empresas podem ser insensíveis a essas consequências. A Air Canada substituiu sua equipe humana de atendimento ao cliente por chatbots que simplesmente mentiam para os passageiros, roubando-lhes centenas de dólares no processo. Mas o processo para recuperar seu dinheiro depois de ser fraudado pelo chatbot da Air Canada é tão oneroso que apenas um passageiro se preocupou em passar por isso, passando dez semanas esgotando todos os mecanismos de revisão interna da Air Canada antes de lutar pelo seu caso por mais semanas no regulador.⁴

Nunca há apenas uma formiga. Se esse usuário foi fraudado por um chatbot da Air Canada, o mesmo aconteceu com centenas ou milhares de outros clientes. A Air Canada não precisa reembolsá-los. A empresa afirma tacitamente que, sendo a principal companhia aérea do país e quase monopolista, é demasiado grande para falir e demasiado grande para ser detida, o que significa que é demasiado grande para se importar.

A empresa mostra que, para alguns clientes empresariais, a IA não precisa ser capaz de realizar o trabalho de um trabalhador para ser uma compra inteligente: um chatbot pode substituir um trabalhador, falhar no trabalho do trabalhador e ainda assim economizar dinheiro para a empresa.

Não posso prever se os monopolistas sociopatas do mundo são numerosos e poderosos o suficiente para manter as luzes acesas para as empresas de IA através de contratos de sistemas de automação que lhes permitem cometer fraudes livres de consequências, substituindo trabalhadores por chatbots que servem como áreas de desmoralização para clientes furiosos.

Mas mesmo estipulando que isto é suficiente, é intrinsecamente instável. Qualquer coisa que não possa durar para sempre eventualmente para, e a substituição em massa de humanos por software fraudulento de alta velocidade parece provavelmente alimentar a já ardente fornalha do antitruste moderno.⁵

É claro que as empresas de IA têm a sua própria resposta para este enigma. Um cliente de alto risco/alto valor ainda pode demitir trabalhadores e substituí-los por IA – eles só precisam contratar menos trabalhadores mais baratos para supervisionar a IA e monitorá-la em busca de “alucinações”. Essa é a solução “humano no circuito”.

O humano nessa história tem algumas lacunas gritantes. Do ponto de vista do trabalhador, servir como humano num esquema que reduz as folhas salariais através da IA é um pesadelo – o pior tipo possível de automatização.

Vamos fazer uma pequena pausa na teoria da automação aqui. A automação pode aumentar um trabalhador. Podemos chamar isto de “centauro” – o trabalhador descarrega uma tarefa repetitiva, ou uma que requer um elevado grau de vigilância, ou (o pior de tudo) ambas. Eles são uma cabeça humana em um corpo de robô (daí “centauro”). Pense no sistema de sensor/visão do seu carro que emite um sinal sonoro se você ativar a seta enquanto um carro está no seu ponto cego. Você está no comando, mas recebe uma segunda opinião do robô.

Da mesma forma, considere uma ferramenta de IA que verifique novamente o diagnóstico de uma radiografia de tórax feita por um radiologista e sugira uma segunda análise quando sua avaliação não corresponder à do radiologista. Mais uma vez, o humano está no comando, mas o robô está servindo como proteção e auxílio, usando sua inesgotável vigilância robótica para aumentar a habilidade humana.

Isso são centauros. Eles são a boa automação. Depois, há a má automação: o centauro reverso, quando o humano é usado para ampliar a capacidade do robô.

Os selecionadores de armazém da Amazon ficam em um só lugar enquanto as estantes robóticas chegam até eles em alta velocidade; então, as pulseiras hápticas presas em seus pulsos zumbem para eles, orientando-os a pegar itens específicos e movê-los para uma cesta, enquanto um terceiro sistema de automação os penaliza por fazerem pausas para ir ao banheiro ou mesmo apenas andarem e sacudirem os membros para evitar uma lesão por esforço repetitivo. Esta é uma cabeça robótica usando um corpo humano – e destruindo-o no processo.

Um radiologista assistido por IA processa menos radiografias de tórax todos os dias, custando mais ao seu empregador, além do custo da IA. Não é isso que as empresas de IA estão vendendo. Eles estão oferecendo aos hospitais o poder de criar centauros reversos: IAs assistidas por radiologistas. Isso é o que significa “humano no circuito”.

Isto é um problema para os trabalhadores, mas também é um problema para os seus chefes (assumindo que esses chefes realmente se preocupam em corrigir as alucinações da IA, em vez de fornecerem uma folha de parreira que lhes permita cometer fraudes ou matar pessoas e transferir a culpa para uma IA impunível).

Os humanos são bons em muitas coisas, mas não são bons em vigilância eterna e perfeita. Escrever código é difícil, mas realizar a revisão do código (onde você verifica se há erros no código de outra pessoa) é muito mais difícil - e fica ainda mais difícil se o código que você está revisando geralmente estiver bom, porque isso exige que você mantenha sua vigilância para algo que só ocorre em intervalos raros e imprevisíveis.⁶

Mas para que uma loja de codificação reduza o custo de um lápis de IA, o ser humano envolvido precisa ser capaz de processar uma grande quantidade de código gerado por IA. Substituir um humano por uma IA não produz nenhuma economia se você precisar contratar mais dois humanos para se revezar na leitura detalhada do código da IA.

Esta é a falha fatal nos esquemas de táxis robóticos. O "humano no circuito" que deveria impedir o robô assassino de colidir com outros carros, entrar no trânsito em sentido contrário ou atropelar pedestres não é um motorista, é um instrutor de direção. Este é um trabalho muito mais difícil do que ser motorista, mesmo quando o aluno motorista que você está monitorando é um ser humano, cometendo erros humanos em velocidade humana. É ainda mais difícil quando o aluno motorista é um robô, cometendo erros na velocidade do computador.⁷

É por isso que a falida empresa de táxi-robô Cruise teve que implantar três monitores humanos qualificados e bem pagos para supervisionar cada dois de seus robôs assassinos, enquanto os táxis tradicionais operam por uma fração do custo com um único motorista humano, precarizado e mal pago.⁸

O problema da vigilância ja é fatal para a estratégia do "humano no circuito", mas há outro problema que é ainda mais fatal: os tipos de erros que as IAs cometem.

Fundamentalmente, a IA é estatística aplicada. Uma empresa de IA treina sua IA alimentando-a com muitos dados sobre o mundo real. O programa processa esses dados, procurando correlações estatísticas nesses dados, e cria um modelo do mundo com base nessas correlações. Um chatbot é um programa de adivinhação da próxima palavra, e um gerador de “arte” de IA é um programa de adivinhação do próximo pixel. Eles estão recorrendo a bilhões de documentos para encontrar a maneira estatisticamente mais provável de terminar uma frase ou uma linha de pixels em um gráfico.⁹

Isto significa que a IA não comete apenas erros – ela comete erros sutis, os tipos de erros que são mais difíceis de serem detectados por um ser humano no circuito, porque são as formas estatisticamente mais prováveis de dar errado. Claro, notamos erros grosseiros nos resultados da IA, como afirmar com segurança que um ser humano vivo está morto.¹⁰

Mas os erros mais comuns que as IAs cometem são aqueles que não percebemos, porque estão perfeitamente camuflados como verdade. Pense no erro recorrente de programação de IA que insere uma chamada para uma biblioteca inexistente chamada “huggingface-cli”, que é como a biblioteca seria chamada se os desenvolvedores seguissem de forma confiável as convenções de nomenclatura. Mas devido a uma inconsistência humana, a biblioteca real tem um nome ligeiramente diferente. O fato de as IAs inserirem repetidamente referências à biblioteca inexistente abriu uma vulnerabilidade – um pesquisador de segurança criou uma biblioteca maliciosa (inerte) com esse nome e enganou inúmeras empresas para compilá-la em seu código porque seus revisores humanos não perceberam a mentira do chatbot (estatisticamente indistinguível da verdade).¹¹

Para um instrutor de direção ou um revisor de código supervisionando um sujeito humano, a maioria dos erros é comparativamente fácil de detectar, porque são os tipos de erros que levam a nomenclatura inconsistente de bibliotecas – onde um humano se comportou de forma errática ou irregular. Mas quando a realidade é irregular ou errática, a IA cometerá erros ao presumir que as coisas são estatisticamente normais.

Esses são os tipos de erros mais difíceis de detectar. Eles não poderiam ser mais difíceis de serem detectados por um humano se fossem especificamente projetados para passar despercebidos. O ser humano envolvido não está apenas sendo solicitado a identificar erros – ele está sendo ativamente enganado. A IA não está apenas errada, ela está construindo um quebra-cabeça sutil no estilo “o que há de errado com esta imagem”. Não apenas um desses quebra-cabeças: milhões deles, em alta velocidade, que devem ser resolvidos pelo "humano no circuito", que deve permanecer perfeitamente vigilante para coisas que são, por definição, quase totalmente imperceptíveis.

Este é um novo tormento especial para os centauros invertidos – e um problema significativo para as empresas de IA que esperam acumular e manter um número suficiente de clientes de alto valor e de alto risco nas suas contas para resistir ao próximo período de desilusão.

Isso é muito sombrio, mas fica ainda mais sombrio. As empresas de IA argumentam que têm uma terceira linha de negócios, uma forma de ganhar dinheiro para os seus clientes, para além dos presentes da automação para as suas folhas de pagamento: alegam que podem realizar tarefas científicas difíceis a uma velocidade sobre-humana, produzindo resultados de milhares de milhões de dólares (novos materiais, novos medicamentos, novas proteínas) a uma velocidade inimaginável.

No entanto, estas afirmações – amplificadas com credulidade pela imprensa não técnica – continuam a desmoronar quando são testadas por especialistas que compreendem os domínios esotéricos nos quais se diz que a IA tem uma vantagem imbatível. Por exemplo, o Google afirmou que sua IA Deepmind descobriu “milhões de novos materiais”, “equivalente a quase 800 anos de conhecimento”, constituindo “uma expansão de ordem de grandeza em materiais estáveis conhecidos pela humanidade”.¹²

Foi uma farsa. Quando cientistas de materiais independentes analisaram amostras representativas destes “novos materiais”, concluíram que “nenhum material novo foi descoberto” e que nenhum destes materiais era “credível, útil e novo”.¹³

Como escreve Brian Merchant, as afirmações sobre IA são assustadoramente semelhantes a “fumaça e espelhos” – o deslumbrante campo de distorção da realidade criado pela tecnologia de lanterna mágica do século XVII, ao qual milhões de pessoas atribuíram capacidades esotéricas, graças às afirmações bizarras dos promotores da tecnologia.¹⁴

O fato de termos um nome de quatrocentos anos para esse fenômeno, e ainda assim estarmos sendo vítimas dele, é francamente um pouco deprimente. E, para nosso azar, acontece que os bots de terapia de IA não podem nos ajudar com isso – em vez disso, eles são capazes de literalmente nos convencer a nos matar.¹⁵

(*) Cory Doctorow, escritor, ativista, jornalista e blogueiro, coeditor do portal Boing Boing, ex-diretor da Electronic Frontier Foundation e cofundador do Open Rights Group da Inglaterra.