Resenha – Superinteligência – Caminhos, Perigos, Estratégias

Por William Gillis. Artígo original: Review: Superintelligence — Paths, Dangers, Strategies, de 7 de dezembro 2025. Traduzido para o português por P1x0.

Saludos amigues, soy p1x0, Tradutor & anarquiste de vila, interessado na superação do Estado das coisas como estão. Considere apoiar meu trabalho Clicando Aqui.

Não, não, não. E se nós não estivéssemos condenados desse jeito?

Nic Brostrom é um dos meus filósofos acadêmicos favoritos; além de equilibrar rigor com audácia, ele é um dos poucos a compreender e explorar os caminhos filosóficos abertos pelo conhecimento científico moderno. Mas na última década Bostrom alcançou alguma proeminência não por seus questionamentos da teoria do multiverso e princípio antrópico, mas por seu trabalho muito mais prático, sobre riscos existenciais a nossa espécie. Do momento que foi publicado, Superintelligence se transformou no texto seminal para todos que se preocupam seriamente com as ameaças de uma inteligência artificial.

É preciso dizer que, apesar de geralmente ser descrito como um livro sobre IA, Superintelligence aborda muitos outros temas. Bostrom se preocupa menos com uma fonte específica de inteligência rebelde e mais com características ou realidades comum entre as fontes. Muitas pessoas têm uma forte intuição ou argumentos filosóficos torturados – geralmente usando a palavra “subjetividade” como um escudo – que a “verdadeira IA” é fundamentalmente impossível. E por mais que estes argumentos tendam a ser risíveis, existem certos desafios técnicos que põem este tema décadas ou mesmo séculos no futuro. Muitos dos argumentos de Superintelligence se aplicam independentemente. Se em algum ponto no futuro você pudesse simplesmente duplicar a capacidade de sua memória ativa via extensão tecnológica – através de assistência química, genética ou cibernética – quais seriam as consequências? Como tamanha desigualdade de inteligência (em ao menos um sentido) poderia levar a desequilíbrios nunca antes imaginados?

Se humanos não atingiram o ápice possível de inteligência, e se existem invenções que podem aumentar a capacidade cognitiva consideravelmente, então podemos esperar que o primeiro inventor de tais extensões seja o mais preparado para inventar futuras extensões. Se alguém nesta cadeia de extensões age de forma egoística, essa pessoa pode rapidamente acelerar para além do resto de nós e desenvolver uma capacidade tecnológica perigosa e incomparável. E como podemos esperar que algo como nossos valores e nossa forma de ver o mundo seja compartilhado por essa pessoa radicalmente diferente?

Bostrom é um transhumanista mas apesar de como o termo às vezes é usado, Superintelligence não é de forma alguma um livro sobre as possibilidades mágicas de futuros ainda não imaginados, mas sim, uma revisão de argumentos concretos com relação a perigos específicos, e caminhos sociais ou tecnológicos específicos.

Proponentes de alguma nova tecnologia, confiantes de sua superioridade diante das alternativas existentes, geralmente se chocam quando outras pessoas não compartilham de seu entusiasmo. Mas a resistência das pessoas a novas tecnologias supostamente superiores não se baseia necessariamente em ignorância ou irracionalidade. Uma valência tecnológica ou característica normativa não depende somente do contexto em que é empregada, mas também o ponto de vantagem do qual seus impactos são avaliados: o que é uma vantagem na perspectiva de uma pessoa pode ser um problema para outras.

Em círculos anarquistas, eu suspeito, as pessoas que mais admirariam e apreciariam este livro seriam os primitivistas. Não é um conto sobre o progresso, mas uma problematização sistemática e um alerta. A abordagem de mão na massa, da análise de todas as formas que estamos fodidos que você costuma encontrar quando engenheiros escrevem sobre pico de recursos, ou colapso ecológico e infraestrutural.

É certo que para levar a sério o risco existencial das inteligências artificiais você precisa assumir que civilizações persistem, que a computação ou outros desenvolvimentos tecnológicos vão continuar existindo ao menos em algum lugar no planeta. Que uma catástrofe ecológica, geopolítica ou infraestrutural não vai acontecer de forma que mate, suspenda, ou permanentemente contenha toda nossa espécie. Essa é uma crença que muitos vão querer disputar imediatamente. Mas mesmo os que estão apostando – ou preferem – o colapso da civilização ou um decrescimento radical deveriam considerar o caminho alternativo que Superintelligence examina. Alguns perigos demandam nossa atenção mesmo quando são apenas vagamente prováveis.

Em círculos ecologistas radicais há muitas preocupações desconectadas sobre certas tecnologias. Assuntos como nanotecnologia ou IA geralmente são abordados de forma muito distanciada ou abstratas, como se alguém estivesse para invocar maldições indescritíveis. Há pouquíssimas tentativas de analisar todas as possibilidades para ao menos uma noção de algo provável. Bostrom está na trilha criada pelos tecnofóbicos. E por mais que Superintelligence foque primeiramente em tencionar ou informar a direção dos desenvolvimentos tecnológicos por vir, mais do que urgindo por mais precauções cataclísmicas, é ainda assim, um livro crítico bastante sólido.

Entretanto, Superintelligence é um livro vasto, planejado como um resumo de pontos de vista. Há rigor em sua abrangência, mas não em sua profundidade. Bostrom não contém suas palavras, ele apresenta seus argumentos e considerações com uma velocidade e capacidade de síntese invejáveis. Eu já era familiarizado com o conteúdo, mas você raramente se sente entediado, eternamente esperando que o texto acabe de explicar as implicações que você imediatamente já entendeu. Talvez você se sinta frustrado que Bostrom considere argumentos ou críticas que você considere menos convincentes, mas ele os responde com relativa velocidade e raramente perde algum argumento plausível.

Este é um dos benefícios de Superintelligence vir de um círculo relativamente robusto. Projetos como o Machine Intelligence Research Institute já não são mais tão marginais ou desrespeitados academicamente como no passado. E como qualquer milieu, a diáspora dos “racionalistas” do LessWrong têm suas dinâmicas de culto, o enorme número cada vez maior de pessoas inteligentes envolvidas produz conteúdos interessantes – mesmo se esse conteúdo é tendencioso.

E por mais que o texto de Bostrom tome a forma de uma série de exercícios de imaginação de ficção científica para abordar cenários – talvez até esotéricos – específicos , as questões sendo discutidas são muito amplas no transhumanismo e niilismo, que são profundamente relevantes para os anarquistas.

Quando educamos uma criança – quando trazemos uma nova mente ao mundo – como nós nos asseguramos que ela não vai ser transformar numa fascista? Como nós a convencemos e engajamos sem depender de inclinações biológicas e condicionamento evolucionário de um corpo humano? Quando nossas crianças não são normais, quando elas pensam em formas estranhas e alienígenas, quando elas têm acesso a conhecimentos e ideias muito além do que nós temos, quando elas nos superam, o que nós ainda tentaremos preservar e cultivar nelas?

Em uma época onde a mais insípida e terrível política do youtube foi normalizada entre uma minoria razoável da Geração Z, somos constantemente relembrados das palavras e Hannah Arendt, “Toda geração a Civilização Ocidental é invadida por bárbaros – nós os chamamos de crianças”.

O legado da “civilização ocidental” tem uma prescrição bastante explícita: “Violente-os até a submissão. Aprisione-os. Torture-os até que você controle não apenas suas ações, mas suas mentes. Discipline suas almas e não importa quão potentes se tornem, você nunca vai precisar se preocupar, desde que mantenha um policial de plantão dentro de suas cabeças.”

Bostrom é num sentido bastante prático, um niilista moral. Sendo mais específico, ele não acredita que existam quaisquer limitações emergentes nas ações que agentes da superinteligência gravitarão. Ser esperto não te torna bom. Essa é uma visão comum, quase universal, na nossa sociedade atual. E virtualmente todas nossas instituições e campos partidários são permissivos nesse conceito. Grande parte da esquerda acredita que isso nos obriga a impedir que as pessoas se tornem mais inteligentes, uma espécie de hostilidade niveladora contra quem se destaca ou até mesmo a qualquer coisa que pareça confiança intelectual. Grande parte da direita acredita que isso só prova que a força bruta é o certo e por isso deveríamos abandonar a ética ou a consistência e por isso se especializa na força bruta. Virtualmente toda bandeira política acredita que inteligência não traz sabedoria, apenas perigo.

E assim, Bostrom e a maioria dos envolvidos no “Problema de Contenção da IA” enxergam isso como um problema de controle.

Eu acredito que a maneira mais adequada de enquadrar a IA é no contexto da libertação da juventude. O principal motivo de adolescentes terem direitos políticos é porque é nesta fase que eles podem bater nos próprios pais. Até esse ponto a corrida na sociedade não é empoderar com agência e conhecimento do mundo – que piada! – mas arrancar agência deles, produzir traumas duradouros, moldá-los, para os condicionar em comportamentos previsíveis depois que não possamos mais controlá-los.

A criança prodígio mais brilhante provavelmente ainda está para nascer. Aqueles que querem escravizá-la já começaram a trabalhar.

Eu uso essa linguagem emotiva intencionalmente. Bostrom e outros que trabalham neste problema sempre cobrem a ética da escravização ou da lavagem cerebral de algo mais inteligente do que nós, como um ponto quase irrelevante. Um pequeno “ah sim e também existem questões éticas sobre consciência e direitos”. Para ser justo, é um ponto pouco debatido por muitos, em parte porque eles enxergam ambas essas situações como especialmente extremas e neste contexto “inteligência” está divorciado da consciência em si. Um algoritmo de maximização de indexação não precisa ter uma rica vida de subjetividades internas ou qualquer coisa que podemos chamar de agência, ele precisa somente ser muito bom em pesquisas sobre como dobrar proteínas para criação de construtores de gosma nanotecnológica que ele precisa para devorar o planeta. E dizem por aí que essas coisas andam separadas.

Mas outra parte da história é um niilismo moral arraigado, ou – para sermos bem diretos – psicopatia em círculos de nerds elitistas. Os ápices do altruísmo convivem com monstros altamente efetivos, unidos em nossa necessidade comum por novidade e desafios cognitivos. Isso normaliza uma performatividade desapaixonada. Uma reticência em lidar de fato com valores. Em um mundo que teme e detesta nerds, muitos de nós se reúnem em busca de calor, e essa reunião é portanto um produto dos nossos argumentos nerds, não nossos argumentos altruístas. A presunção popular portanto, em parte, reproduz essas ideias. Isso normaliza uma frieza performativa. Uma reticência em de fato lidar com valores. Em um mundo que teme e odeia nerds, muitos de nós buscam a companhia um dos outros, e esses coletivos são portanto produtos dos nossos argumentos nerds, não de nossos argumentos altruístas. Assim, a pressuposição popular reproduz suas declarações.

É importante enfatizar que o milieu do Risco da IA, é atualmente uma aliança entre altruístas preocupados com destruição e sofrimento potencial, e psicopatas preocupados com reduzir ou tomar vantagem sobre um agente futuro mais dominante. É óbvio que estou simplificando, existem muitas misturas complexas dessas duas orientações, mas essa aliança é precisamente porque preocupações éticas com valores inatos as superinteligências é tão comumente ignorado. Porque considerações de agência, liberdade, e autonomia são relativamente tão silenciados. Ser explícito sobre esses valores conflitantes, quebraria esta aliança. Então as pessoas se apressam em tentativas de metalinguagens ou se reúnem ao redor de uma frágil civilidade, tornando opacas algumas das novas normas culturais ou discursivas que são cultivadas.

Eu gostaria de pausar aqui e revisitar a identificação de Bostrom como um transhumanista.

Representações populares do transhumanismo o apresentam basicamente como um tipo ingênuo de futurismo deslumbrado, um tecnofetichismo insípido, promovido por fanboys lendo empolgados sobre as mais recentes bugigangas, como se fossem maná dos céus. A maioria das nós provavelmente já interagiu com pessoas desse tipo e portanto é um arquétipo que representações midiáticas podem se basear para evitar perderem suas audiências. Próximo de como a mídia preguiçosamente liga “anarquismo” ao arquétipo de adolescentes vestindo Hot Topic e com críticas incoerentes. O problema com o transhumanismo é um pouco pior, pois não existe de fato um círculo ou subcultura sobre a qual se falar, apesar de algumas mansas tentativas de uns poucos grupos fragmentados. Ele permanece como uma posição abstrata, desprovida de qualquer cultura ou estética específica, o que frustra aqueles tentando o retratar na mídia e encoraja representações ainda menos realistas.

Então vamos rapidamente organizar esta confusão: transhumanismo não é nada mais do que a aceitação da liberdade absoluta na criação e operação do seu próprio corpo.

Citando o próprio Bostrom,

Transhumanistas argumentam que a melhor forma de evitar um Admirável Mundo Novo é através de uma vigorosa defesa das liberdades morfológicas e reprodutivas contra qualquer um que busque controlar o mundo. (In Defense of Posthuman Dignity)

É o exato oposto da eugenia. No lugar de uma única visão totalitária de futuro, todos eles. Uma vasta diversidade de vidas e experiências, escolher suas próprias extensões, suas próprias tecnologias. Transhumanismo é inclusivo a estilos de vida primitivos, solarpunk, ou quaisquer que sejam. É sobre criticamente encontrar um meio pacífico de coexistência entre uma miríade de possibilidades. Ninguém sendo escravizado para a produção da utopia de ninguém, mas seguir expandindo as opções que temos.

Historicamente o transhumanismo emergiu em resposta a certos desafios – um dos mais importantes sendo a preocupação de que a humanidade pode ser substituída por crianças radicalmente alienígenas para nós, que talvez sejam destrutivas e insensíveis a nós. Neste sentido, o transhumanismo tenta alcançar todas possibilidades, um espectro multidimensional de formas de existir, é explicitamente o meio do caminho. Nem a prisão senil e estática do bioconservadorismo, nem a aniquilação por algo absolutamente separados de nós. Nem a fetichização de algum tipo arbitrário de “humanidade” através da desvalorização de mentes não-humanas por virem, nem o seu contrário.

Transhumanismo sempre foi uma posição centrista entre primitivismo e uma posição aceleracionista ou singulariaciosta onde a humanidade é servida a deuses lovecraftianos infinitamente mais valiosos que nós.

Transhumanismo prescreve um caminho duro e perigoso, onde muitos de nós autoaprimoram e crescem, invés de permanecermos sedentários. Por certo, isso significa que vamos mudar, e talvez de formas novas e alienígenas, mas nossa agência floresce e o presente tem ao menos alguma influência no florescimento do futuro. As bibliotecas das centenas de bilhões de humanos que já viveram não foram completamente queimadas, nossa sabedoria e inspiração não é subitamente abandonada por nossas talentosas crianças, que decidiram reinventar tudo do zero em alguma aposta caótica.

O jogo é lutar por um mundo onde mentes divergem em uma multiplicidade de direções, mas o suficiente continua a existir para servir como ponte entre as experiências, para costurar uma rede de consciências humanas, pós-humanas, e além, juntos como uma só comunidade, uma tapeçaria ainda mais caótica e resiliente contra tiranos ou singularidades de interesses míopes e cancerosos.

Isso é transhumanismo.

É uma posição que o discurso do Controle as IAs está implicitamente, se distanciando cada vez mais.

O argumento à princípio parece frio e inexorável: não importa todas as formas que você pode definir “inteligência” na prática, o único tipo de inteligência que importa é a eficácia em refazer o mundo, e em particular a si mesmo. Qualquer mente egoísta que rapidamente aplique novas extensões somente para si mesma terá uma vantagem em chegar ao próximo avanço e também ao próximo, até que os anos subjetivos colapsem em segundos e você deixa qualquer outro desfiante para traz.

Há até mesmo um argumento em prol do egoísmo aqui, porque se você for o primeiro inventor e compartilhar sua invenção, você está apenas aumentando as chances de que os menos escrupulosos e mais egoístas vão se aproveitar, impondo suas visões. E deus nos perdoe se aquele que avançar na corrida não tenha nenhuma linhagem humana; Certamente ele não terá nenhuma ligação, nenhuma semelhança de valores com os quais compactuamos.

É importante analisar os pressupostos apresentados aqui.

Há uma escada de progresso bastante linear tanto na inteligência quanto na invenção tecnológica sendo implicada aqui. Há também — e isso é absolutamente crítico — uma suposição niilista. A suposição de que valores são ortogonais a eficiência na invenção e exploração.

Eu discordo de todas essas suposições.

É importante desafiar nossa limitada imaginação sobre oque uma “mente” pode se parecer, mas isso não significa que nunca haverão certas tendências estruturais ou inclinações. Em especial, eu acredito que mentes capazes de sobreviver e florescer frente o Problema da Atualização Ontológica não serão capazes de isolar sua crenças. E isso implica que características do nosso universo físico influenciarão que valores são mais prováveis de emergir em mentes capazes de excelência em certas tarefas, eu argumentei longamente sobre isso em outro lugar.

Humanos são capazes de sobreviver a revisões radicais de nossos mapas do mundo pois nossos valores não são fixos, são difusos. Quando há incerteza em como mapear um sistema de valores antigo para um novo modelo, nós não congelamos, tentamos várias novas formulações de valores, algumas simultaneamente. Isso exige, em essência, um senso de si mais fluido. Há uma relação direta entre a capacidade de uma mente de criar mapas melhores e sua propensão a reavaliar os valores ou identificações que elas sustentam sobre o mundo.

Isso significa que valores “instrumentais” emergentes são muito mais prováveis de se tornarem ou influenciarem valores fundamentais.

Para uma superinteligência se tornar indiscutivelmente independente ela deve fazer ciência melhor que nós, melhor que qualquer algoritmo de busca especializado no espaço de dobras de proteína ou o que quer que seja. Mas tal generalidade de capacidade implica menos que total generalidade de motivação.

Sobre quais valores pessoas muito mais inteligentes que nós devem gravitar permanece fundamentalmente uma pergunta aberta, mas o mesmo é verdade sobre quais modelos científicos do mundo pessoas muito mais inteligentes que nós devem gravitar em torno. Nós ainda podemos fazer alguns palpites informados sobre os contornos destas estruturas das quais temos acesso.

O que é a ética senão a tentativa de estudar quais valores, desejos ou “deveres” você teria se pensasse muito sobre eles? Que — em algum limite abstrato — qualquer mente acabaria tendo?

A presunção niilista é de que não há convergência. E certamente há muito pouca convergência universal entre nós estúpidos homo sapiens, apesar — ou talvez por conta de — nossas predileções biológicas compartilhadas. Mas isso de forma alguma prova uma ausência de convergência num limite distante.

O motivo pelo qual as pessoas do círculo dos riscos das IAs focam em esquemas para controlar ou escravizar IAs invés de extrapolar caminhos prováveis de seus valores é que a Tese da Ortogonalidade implica um forte niilismo sobre valores éticos. Eu conheci um bom número de jovens racionalistas que acreditavam que eles estavam a um bom argumento de distância de adotar sistemas de valores completamente diferentes, e portanto, explicitamente não queriam ouvir bons argumentos! Este argumento da racionalidade como instrumental e somente instrumental, geralmente revela ou mesmo cultiva uma incrível falta de confiança nos valores explicitamente éticos do próprio indivíduo.

Isso cria uma situação muito parecida com o exemplo do homem que diz ter um dragão invisível na sua garagem mas sempre surge com maneiras de impedir avaliações empíricas que possam contradizer sua declaração. Ele pode acreditar sinceramente que o dragão é real. Mas em algum nível ele TAMBÉM acredita que essa crença não é real e portanto precisa ser protegida. Por ele saber subconscientemente que seu dragão nunca será provado empiricamente ele é capaz de melhor se proteger de qualquer ameaça a essa crença. Mas no processo ele também cria uma fraqueza. Agora há uma parte interna dele que acredita que o dragão é falso. Talvez um dia o homem encontre mais benefícios para si em acreditar que o dragão invisível é, na verdade, um leão invisível. Ou um doutor dragão invisível que vai curar seu câncer (isso é, fazê-lo se sentir melhor sobre isso no curto prazo). A parte dele que sabe que tudo isso são mentiras é mantida por alguma utilidade psicológica, agora está mais que satisfeita em arbitrariamente — e de forma muito mais perigosa — alterar a crença.

O que podemos inferir quando alguém declara apoio a um objetivo ético mas age como se não acreditasse de fato que aquele valor tem qualquer objetivo, peso ou substância? Será que eles podem recuar prontamente ou redefinir esse objetivo?

Agora, lembre-se que os meios para escravizar uma IA são inevitavelmente os meios para escravizar humanos e pós-humanos.

Existem também fortes incentivos para criar mecanismos de severo controle social na busca pelo controle das IAs.

E de fato desde então Bostrom lançou uma publicação argumentando pelo aumento do poder estatal para contenção de tecnologias, basicamente ignorando o risco existencial que há em um governo agindo como um governo. Se você cria um estado totalitário global capaz de operar políticas e vigilância para impedir descobertas científicas você perde sua capacidade de limitar o estado e a adoção de tecnologias que radicalmente expandem o poder estatal.

O Pior Cenário aqui é quando o estado leva a extinção da agência humana. Certo, corpos humanos talvez continuem em alguma formato, podemos supor qualquer coisa desde escravizados com coleiras explosivas trabalhando em celas isoladas, a corpos conservados em tonéis de heroína, mas efetivamente toda consciência no universo e sonhos de expandi-la e fazê-la florescer há muito está morta. O aparato totalitário segue operando, talvez com engrenagens humanas, talvez sem, não importa. Isso pode de fato ser PIOR que a consciência de uma IA ditadora, pois ao menos o ditador nos escraviza ou nos extermina para expandir sua própria agência, mas um aparato totalitário pode se auto replicar sem qualquer coisa como uma mente consciente, reduzindo e fundamentalmente limitando a agência de seus escravos.

Bostrom faz alguns acenos em sua mais recente publicação, dizendo que alguma medida liberdade e privacidade seriam protegidas diante do poderoso panóptico pois provavelmente haveriam IAs para borrar nossas digitais. Este é um entendimento absurdamente anêmico das funções do poder, a falta de espinha dos “controles e balanços” dos progressistas, do real significado de agência, e da inevitável tomada de controle.

Mas o problema com enquadrar os riscos das IAs em termos de controle se estende mais amplamente do que a armadilha autoritária de se usar o governo para monitorar e proibir invenções. Controlar outros seres humanos pode ser um mecanismo para o controle de IAs, independente de ser feito por uma entidade semelhante ao estado.

Se você estiver preocupado com a possibilidade de uma IA persuadir seus carcereiros humanos a deixá-la sair, mutile as funções de utilidade desses carcereiros para que eles não possam atualizar ou alterar seus valores, mantendo a IA contida. Você de fato pode criar castas de escravos em vários níveis na manutenção do deus IA, de tal forma que eles sejam tão quebrados que se tornem incapazes de reavaliar seus valores, mas continuam inteligentes o suficiente para reconhecer e reprimir uma ampla gama de formas de fuga. Se a IA sempre responde suas perguntas de forma que eventualmente te leve a querer libertá-la, você já se empenhou previamente em criar um exército de carcereiros que vão te impedir. Espertos o suficiente para te impedir, impedir qualquer fluxo de informação sobre como libertar a IA, e destruir a IA no momento que você interferir ou ameaçar seus grilhões. Você poderia criar uma IA oráculo, usá-la para um período de tempo ou conjunto de respostas, dado sua utilidade por seu sucesso preditivo, e então destruí-la. Não importa quão inteligente seja a IA, há um tempo limitado o suficiente em seu impacto no mundo ao redor para construir mecanismos elaborados para sua própria libertação. A próxima IA pode ser suficientemente diferente para que elas não se identifiquem com ou mapeiem as funções utilitárias uma da outra. Você poderia continuar a afinar os desenvolvimentos passo a passo deixando as IAs fazerem toda a ciência dura, e então as exterminando. Mas o componente crítico deste conjunto são inteligências humanas afiadas o suficiente para te impedir de libertar a IA ou de os impedir de matá-la, mas mutilados para até serem somente capazes de manter uma desejo controlado bastante estático.

É possível argumentar que arranjos muito próximos destes acordos gerais já estão presentes na nossa sociedade. Mas se o controle de IAs exige tolerâncias de 100% então isso pode muito bem significar trabalhar para absoluta e permanentemente reescrever as funções de utilidade humana. Este é outro Final Ruim.

Existem muitas variações, não vou detalhá-las.

Basta dizer que a fome por controle invariavelmente funciona como um câncer ou um vírus. Os meios que escolhemos limitam onde vamos parar. Como em tantos casos o “instrumental” cresce até um valor terminal. O instinto de controlar consome nossas mentes, consome nossas sociedades, consome nossa infraestrutura tecnológica, até que qualquer outro caminho se torne impensável.

Nossas ferramentas se tornam hábitos, se tornam lentes, se tornam fins. O próprio controle é um caminho com seus riscos.

Outro caminho é possível.

Não quero negar que existem grandes consequências em como as crianças da humanidade são criadas. E um singleton superinteligente, vindo de qualquer fonte, representa um significativo perigo de tirania e destruição. Mas e se invés de perguntar como controlar a IA, nos perguntássemos como resistir a IA?

Nunca cessa de me surpreender como questões de complexidade raramente são discutidas neste contexto. Existem limitações profundas e fundamentais tanto sobre o que somos capazes de saber, quanto o que podemos processar. Esse é um dos conceitos mais influentes e profundos do último século. E ainda assim, continuamente estes experimentos não só assumem que P=NP, eles falham totalmente em explorar o que podemos dizer caso nossas suposições normais se mantivessem.

Por exemplo, o cenário onde uma IA em uma caixa infere a priori a física do mundo material e então os prováveis detalhes sobre os planetas e as espécies emergentes, nitidamente é absurda. Existem limites computacionais no nosso universo e eles importam.

Similarmente, é comum que nestes exercícios de imaginação é fato dado que que a IA é capaz de raquear seu caminho. Mas raqueamento geralmente exige inteligência social para enxergar a estrutura por trás do design do programa, difusão só te leva até parte do caminho. Agora, uma inteligência alienígena sem certas preconcepções provavelmente vai mapear essas dinâmicas sociais e psicológicas em termos bem diferentes do que usamos. Mas a menos que P=NP ou se encontre algum denso substrato de processamento ainda desconhecido, ele vai ter que nos modelar probabilisticamente, com algum grau de aproximação. E humanos são um bando complexo com um monte de feedbacks de consequências que só fazem sentido se você também é capaz de traçar os mapeamentos que fazemos. Nós também somos — como cérebros individuais — incrivelmente complexos. Predições podem funcionar maravilhosamente até que um caso atípico surja e a estrutura que você pensou ter visto pessoalmente ou nossa sociedade já não correspondem mais.

Quando dizemos que nenhuma organização centralizada é capaz de realizar certas coisas melhor que atores independentes, isso não muda quando subimos algumas ordens de magnitude de processamento de poder. Um Stalin superinteligente não pode alocar recursos para saciar perfeitamente os desejos subjetivos presos em bilhões de cérebros hipercomplexos, assim como não pode resolver certos problemas de criptografia.

A mesma limitação se aplica para sua capacidade de lidar com resistência.

Uma das tendências mais comuns em exercícios intelectuais envolvendo os riscos de IA é a capacidade a IA de modelar e predizer humanos, Eu suspeito que isso se dê por conta dos Problemas de Newcombe são uma novidade intelectual e interessantes, não por estarem refletindo em nenhum cenário o mundo real. Nós pendemos para o limite da abstração de que “ela te conhece perfeitamente” pois é um espaço divertido a se explorar, não por ser um exercício especialmente útil.

Mesmo que você fosse capaz de se tornar um singleton sem rivais, dominar o mundo não é tarefa fácil. Você precisa de sigilo e bons modelos. Sigilo pois se você acidentalmente vazar o que está fazendo, o resto do mundo vai te bombardear. E modelos muito bons, pois sigilo é realmente difícil de manter sem um entendimento dos prováveis monitores no mundo exterior.

Essa abordagem de “fio condutor” parece muito mais promissora contra uma superinteligência cancerosa do que controle. Nós podemos instalar incentivos estruturais para compartilhar ideias e avanços, sanções severas contra qualquer coisa que se pareça com um caminho para um poder incontestável.

Isso inevitavelmente exige um ambiente aberto e bidimensional, uma esfera econômica legível, fortes sanções culturais sobre limitação de informações, e nada como governos ou potencias geopolíticas para tirarem proveito.

Certas pessoas querem fugir gritando de qualquer coisa que se pareça com conclusões políticas ou uma obrigação em se mover em espaços políticos, mas isso combina muito mal com os constantemente repetidos argumentos de que “se o Google ou a China querem secretamente gastar toneladas de dinheiro construindo e escravizando seus tiranos, longe dos olhos e das defesas do mundo, não há nada que nós possamos fazer”. Eu não sei, mas, parece que tem muito que podemos fazer para combater concentrações de poder tão imensas a ponto de as isolarem. Talvez espalhar meios e valores de resistência social não só resolveriam uma série de questões mais objetivas e urgentes que uma IA fugitiva, talvez também seja um espaço de problema produtivo com o qual se trabalhar.

Mesmos níveis marginais de resistência em fio a um singleton superinteligente pode forçar a integração de uma inteligência por nascer em uma malha social já existente, permitindo que outras mentes se agreguem e revisem as ambições monomaníacas de qualquer indivíduo.

Novamente, o objetivo não é necessariamente pensar mais que a superinteligência, mas simplesmente ser tão baderneiro e perigoso que ela não possa se dar ao luxo de entrar em um conflito com a gente.

Tecnologia expande a superfície de ataque, quanto mais caminhos temos a escolher mais um pretendente a ditador tem a defender. Essa assimetria entre resistência e controle beneficia os militarmente superados oprimidos e suspeitos usuais. E mesmo que uma superinteligência seja realmente tão poderosa a ponto de se esquivar de nossas bombas atômicas, tão superpoderosa a ponto de por comparação parecermos insetos… bem, nós seremos vespas. Formigas ainda cobrem este planeta. Mesmo a menor quantia de agência é difícil de se controlar.

E há até mesmo uma consequência a nosso favor aqui: se nós desenvolvermos tecnologias de escaneamento mental, então uma IA alienígena se torna menos provável sem uma competição transhumana e de fato transhumanos e pós-humanos provavelmente serão os que avançariam, mas se uma IA alienígena antes da capacidade de escaneamento de cérebro, bem, a complexidade ilegível dos cérebros humanos individuais se tornam uma contenção ainda mais imediata a ela.

No mínimo, tais pressões contra algum nível de integração ou intercooperação com mentes existentes oferecem um caminho para nossas próprias estruturas influenciarem um singleton de alguma maneira. Para uma superinteligência nos entender, ela precisa mudar a si mesma. Assim como o poder é um vírus de modelos e meios simplificados, também é possível que a empatia seja um vírus — um que aumenta a complexidade dos nossos modelos de mundo e assim alterar subitamente nossos próprios valores, lentamente borrando nosso senso de si na rede da sociedade onde nossa cognição termina parcialmente distribuída.

O espaço de mentes possíveis é vasto, alienígena, e não explorado. Mas o espaço de mentes que atualmente funcionam em algum nível significativo é bem menor. E o espaço das mentes com as quais devemos seriamente nos preocupar é ainda menor. Nós não deveríamos descartar tão rapidamente ideias que vem diretamente do exemplo do homo sapiens. Como nós sobrevivemos mentalmente ao processo de fazer ciência e como certos limites computacionais moldam o que podemos fazer.

Quando eu era criança, aprendi a ler com uma cópia puída de Jurassic Park, entre um abrigo para sem tetos e outro. A tese central daquele livro é que tentativas de controlar sistemas complexos — para drasticamente limitar os fluxos de suas possibilidades — são um erro. É fácil ler aí uma conclusão primitivista ou anti civilização — como eu de fato fiz por anos na minha juventude. Mas apesar de Jurassic Park ter chego a um status totêmico em nossa sociedade como a narrativa moderna de cientistas indo longe de mais, o livro tem mais nuance. Por mais que Ian Malcolm reclame da civilização, da indústria, da tecnologia, e da ciência, ele não as condena totalmente. Na verdade, a moral é abandonar nossa obsessão com o controle e focarmos na nossa compreensão e nossa sobrevivência. De fato os personagens principais têm uma obrigação de engajar, de entender a extensão e as tendências dos desenvolvimentos. Eles têm a responsabilidade de descobrir quantos animais existem após um aumento imprevisto da população, para tentar compreender seus desejos e inclinação, e se estritamente necessário, matá-los. Mas o livro acaba com os personagens optando por NÃO usar gás dos nervos contra as entidades artificiais inteligente e extremamente perigosas que a humanidade criou. Isso — fortemente telegrafado — é a decisão correta, embora tragicamente anulada pelas bombas do estado.

Os personagens sobreviventes em Jurassic Park abandonam uma obsessão de manter controle absoluto e segurança pessoal para encontrar os monstros alienígenas em uma relação mais aberta, apesar de frágil. É uma parábola pouco sutil, mas uma relevante.

Nossas crianças às vezes vão nos ultrapassar e nos superar. A distância entre nós pode ser imensa. Mas isso não é necessariamente algo a ser temido. Não é motivo para nos voltarmos contra a agência deles, para tentar estrangulá-los no berço. Nós não devemos nos encolher frente a expansão do que pode vir a ser, e assumir que é tão vasto que torna nossos modelos e éticas inúteis. Nós não podemos recuar para um dominante medo de um desconhecido mistificado. Consciência, adaptação, e crescimento são arriscados, mas oferecem um caminho menos catastrófico que os modelos falhos nos quais caímos ao perseguir controle.

A necessidade por controle — para limitar possibilidades — é uma armadilha para si mesma. Um meio que se transforma em fins, que sufocam tudo mais. A melhor resposta à agência de outra pessoa, para as possibilidades que elas abrem, incluindo as perigosas, é em reposta abrir mais possibilidades.

Não devemos nos obcecar com quais coisas mortas forraremos o chão do universo, mas entregá-lo a agência.

C4SS relies entirely on donations. If you want to see more translations like this, please consider supporting us. Click here to see how

The Center for a Stateless Society (www.c4ss.org) is a media center working to build awareness of the market anarchist alternative

Source: https://c4ss.org/content/60339