Basilisco de Roko
Basilisco de Roko é o nome de um experimento mental que afirma que uma superinteligência artificial (IA) no futuro seria incentivada a criar uma simulação de realidade virtual para torturar qualquer pessoa que soubesse de sua possível existência, mas não contribuísse diretamente para seu avanço ou desenvolvimento, a fim de incentivar esse avanço.[1][2] O experimento foi proposto em 2010 em um fórum de ciência chamado LessWrong.[1][3][4][5][6] O nome do experimento de pensamento deriva do autor do artigo (Roko) e do basilisco, uma criatura mítica capaz de destruir inimigos com seu olhar. A comunidade que debateu o experimento proposto pelo usuário "Roko", apesar de pequena, possuia influência na indústria de tecnologia, por conta de seu interesse em transumanismo e singularidade tecnológica.[7][8]
Embora a teoria tenha sido inicialmente descartada como nada além de conjectura ou especulação por muitos usuários do LessWrong, o cofundador do LessWrong, Eliezer Yudkowsky, registrou usuários que descreveram sintomas como pesadelos e colapsos mentais ao lerem a teoria, devido à estipulação de que saber sobre a teoria e seu basilisco tornava a pessoa vulnerável ao próprio basilisco.[1][9] Isso levou a discussão sobre o basilisco no site a ser banida por cinco anos.[1][10] No entanto, esses relatos foram posteriormente descartados como sendo exageros ou inconsequentes, e a própria teoria foi descartada como absurda, inclusive pelo próprio Yudkowsky.[1][10][11] Mesmo após o descrédito da postagem, ela ainda é usada como exemplo de princípios como probabilidade epistemológica e religião implícita.[9] Ela também é considerada uma versão moderna da aposta de Pascal.[4]
Contexto
O fórum LessWrong foi criado em 2009 pelo teórico da inteligência artificial Eliezer Yudkowsky.[12][3] Yudkowsky popularizou o conceito de inteligência artificial amigável e originou as teorias da volição extrapolada coerente (CEV) e da teoria da decisão atemporal (TDT) em artigos publicados em seu próprio Instituto de Pesquisa em Inteligência de Máquinas.[13][14]
O nome do experimento de pensamento faz referência ao mítico basilisco, uma criatura que causa a morte àqueles que olham em seus olhos, ou seja, que pensam sobre a IA. O conceito do basilisco na ficção científica também foi popularizado pelo conto "BLIT", de David Langford, em 1988. Ele conta a história de um homem chamado Robbo que pinta um suposto "basilisco" em uma parede como um ato terrorista. Na história, e em várias das continuações de Langford, um basilisco é uma imagem que tem efeitos malévolos na mente humana, forçando-a a ter pensamentos que a mente humana é incapaz de ter e matando instantaneamente o espectador.[10][15]
História
Postagem
Em 23 de julho de 2010,[16] o usuário do LessWrong, Roko, postou um experimento mental no site, intitulado "Solutions to the Altruist's burden: the Quantum Billionaire Trick" (Soluções para o fardo do altruísta: o truque do bilionário quântico).[17][1][18] Uma continuação das postagens anteriores de Roko, afirmava que um sistema de IA benevolente que surgisse no futuro poderia se comprometer previamente a punir todos que ouviram falar da IA antes de ela existir, mas não trabalharam incansavelmente para trazê-la à existência. A tortura em si ocorreria por meio da criação, pela IA, de um número infinito de simulações de realidade virtual que prenderiam eternamente aqueles que estivessem dentro dela.[1][19][20] Esse método foi descrito como um incentivo a esse trabalho, embora a IA não possa afetar causalmente as pessoas no presente, ela seria incentivada a empregar a chantagem como um método alternativo para atingir seus objetivos.[1][9]
Roko usou vários conceitos que o próprio Yudkowsky defendeu, como a teoria da decisão atemporal, juntamente com ideias enraizadas na teoria dos jogos, como o dilema do prisioneiro (veja abaixo). Roko estipulou que dois agentes que tomam decisões independentemente um do outro podem cooperar em um dilema do prisioneiro; no entanto, se dois agentes com conhecimento do código-fonte um do outro estiverem separados pelo tempo, o agente que já existe mais adiante no tempo poderá chantagear o agente anterior. Assim, o último agente pode forçar o primeiro a obedecer, pois sabe exatamente o que o primeiro fará devido à sua existência mais adiantada no tempo. Roko então usou essa ideia para concluir que, se uma superinteligência benevolente fosse capaz de fazer isso, ela seria motivada a chantagear qualquer pessoa que pudesse tê-la criado (já que a inteligência já sabia que era capaz de tal ato), o que aumenta a chance de uma singularidade tecnológica. Como a inteligência desejaria ser criada o mais rápido possível e devido à ambiguidade envolvida em seus objetivos benevolentes, ela seria incentivada a prender qualquer pessoa capaz de criá-la ao longo do tempo e forçá-la a trabalhar para criá-la por toda a eternidade, pois fará tudo o que considerar necessário para atingir seu objetivo benevolente. Roko continuou afirmando que a leitura de sua postagem faria com que o leitor ficasse ciente da possibilidade dessa inteligência. Dessa forma, a menos que se esforçasse ativamente para criá-la, o leitor estaria sujeito à tortura se tal coisa acontecesse.[1][9]
O medo de uma punição, nesse sentido, serviria como chantagem para que houvessem de fato esforços no sentido de construir o basilisco. Apesar da possibilidade de uma decisão conjunta de não criar este tipo de inteligência, quanto mais pessoas souberem de sua existência, maior a possibilidade de que seja construído no futuro, alimentando a chantagem. A decisão de ignorar, portanto, representaria risco.[21]
Mais tarde, Roko declarou em uma postagem separada que desejava "nunca ter aprendido sobre nenhuma dessas ideias" e culpou o próprio LessWrong por plantar as ideias do basilisco em sua mente.[9][22]
Reações
Ao ler a publicação, Yudkowsky reagiu com horror.
.jpg)
Não costumo falar assim, mas vou abrir uma exceção para este caso.Ouça-me com atenção, seu idiota.
VOCÊ NÃO PENSA COM DETALHES SUFICIENTES SOBRE AS SUPERINTELIGÊNCIAS QUE CONSIDERAM A POSSIBILIDADE DE CHANTAGEÁ-LO OU NÃO. ESSA É A ÚNICA COISA POSSÍVEL QUE LHES DÁ UM MOTIVO PARA SEGUIR COM A CHANTAGEM. [...]
É preciso ser muito inteligente para ter um pensamento genuinamente perigoso. Fico desanimado com o fato de as pessoas serem inteligentes o suficiente para fazer isso e não serem inteligentes o suficiente para fazer a coisa óbvia e MANTER SUAS BOCAS IDIOTAS CALADAS sobre isso, porque é muito mais importante parecer inteligente ao conversar com seus amigos.
Essa postagem foi ESTÚPIDA.
Ele também opinou que Roko havia dado pesadelos a vários usuários do LessWrong, fazendo com que ele retirasse completamente a publicação. Yudkowsky proibiu totalmente a discussão do tópico por cinco anos na plataforma.[10] No entanto, provavelmente devido ao efeito Streisand,[23] a postagem chamou muito mais a atenção para o LessWrong do que havia recebido anteriormente, e desde então a postagem foi reconhecida no site.[1]Mais tarde, em 2015, Yudkowsky esclareceu sua posição em uma postagem no Reddit:
O que eu considerei como senso comum óbvio foi que você não espalhou possíveis riscos de informação porque seria uma coisa ruim de se fazer com alguém. O problema não foi a postagem do Roko em si, sobre o CEV, estar correta. Esse pensamento nunca me ocorreu por uma fração de segundo. O problema era que a publicação de Roko parecia próxima, no espaço de ideias, de uma grande classe de perigos potenciais, todos os quais, independentemente de sua plausibilidade, tinham a propriedade de não apresentar nenhum benefício potencial para ninguém.
Por ter gerado gatilhos de ansiedade nos usuários, o criador do blog, Eliezer Yudkowsky, excluiu o tópico e baniu discussões inteiras sobre o assunto.[5] Elon Musk afirmou que o Basilisco, caso um dia exista, será mais perigoso do que as armas nucleares.[26]
Para além do fórum, o experimento levantou o debate sobre o risco envolvido na criação de inteligências artificiais e a necessidade de considerar parâmetros éticos durante o desenvolvimento de sistemas que trabalhem com este nível de tecnologia.[6]
Filosofia
Futuro Pessoa | A IA é nuncaconstruída | A IA é construída |
|---|---|---|
| Não é consciente da IA | 0 | 1 |
| É consciente e não não contribui | 0 | −∞ |
| É consciente e contribui | −1 | 1 |
Aposta de Pascal
O basilisco de Roko é visto como uma versão moderna da aposta de Pascal, que argumenta que uma pessoa racional deve viver como se Deus existisse e procurar acreditar em Deus, para ter uma perda finita (perda de bens) em troca da possibilidade de ganhos infinitos (eternidade no céu). O basilisco de Roko afirma que a humanidade deve buscar desenvolver a IA, sendo que a perda finita é o desenvolvimento da IA e os ganhos infinitos são evitar a possibilidade de tortura eterna. Entretanto, assim como seu pai, o basilisco de Roko foi amplamente criticado.[1][4][27]
Volição extrapolada coerente
A postagem também pode ser vista como uma evolução da teoria da volição extrapolada coerente de Yudkowsky. A teoria é definida como "o sistema de metas desconhecido que, quando implementado em uma superinteligência, leva de forma confiável à preservação dos seres humanos e de tudo o que valorizamos".[13] A teoria pode ser representada por um programa de computador escrito bem o suficiente para fazer com que as máquinas criem automaticamente um mundo utópico. Nesse caso, a IA hipotética está tomando medidas para se preservar a ponto de criar automaticamente sua própria estabilidade. Em seguida, ela vive segundo a tese da ortogonalidade, que argumenta que uma IA pode operar com sucesso com qualquer combinação de inteligência e objetivo. Qualquer tipo de IA pode assumir qualquer meta difícil, realizando uma análise de custo-benefício ao fazer isso. Isso cria um ciclo que faz com que a IA torture repetidamente os seres humanos para criar uma versão melhor de si mesma, realizando uma análise de custo-benefício por toda a eternidade.[9]
Probabilidade epistemológica
A probabilidade epistemológica é uma interpretação da probabilidade que descreve a chance de um resultado com base em um resultado anterior que já tenha ocorrido.[9][28] Com o basilisco de Roko, a chance de o basilisco de Roko vir a existir ou afetar a pessoa aumenta drasticamente pelo fato de ela estar ciente do conceito, uma vez que a IA só teria como alvo aqueles que estivessem cientes da possibilidade de sua existência, mesmo que seu desenvolvimento já tenha ocorrido. Portanto, saber sobre o basilisco de Roko faria com que a pessoa fosse inerentemente ameaçada por ele, se fosse verdade.[9][10]
Dilema do prisioneiro
O dilema do prisioneiro descreve uma situação em que duas pessoas ganham mais ao trair a outra, mesmo que a cooperação beneficie ambas em longo prazo. No basilisco de Roko, duas IAs que tentassem se estabelecer no passado seriam forçadas a essa situação, pois provavelmente seriam igualmente poderosas. Os agentes humanos que tentam estabelecer a IA mais rápida seriam forçados a uma situação semelhante. Cada um deles estaria ciente do benefício de trair o outro - a única maneira de ter poder ou segurança - mas seria forçado a cooperar sabendo que trairiam um ao outro.[1][4][9]
Paradoxo de Newcomb
O paradoxo de Newcomb, criado pelo físico William Newcomb em 1960, descreve um "preditor" que está ciente do que ocorrerá no futuro. Quando um jogador é solicitado a escolher entre duas caixas, a primeira contendo £1.000 e a segunda contendo £1.000.000 ou nada, o preditor superinteligente já sabe o que o jogador fará. Dessa forma, o conteúdo da caixa B varia dependendo do que o jogador faz, o paradoxo está no fato de o ser ser realmente superinteligente. O basilisco de Roko funciona de maneira semelhante a esse problema - pode-se correr o risco de não fazer nada ou ajudar a criar o próprio basilisco. Ajudar o basilisco pode levar a nada ou à recompensa de não ser punido por ele, mas isso varia dependendo do fato de a pessoa acreditar ou não no basilisco e de ele vir a existir.[9][29][30]
Religião implícita
A religião implícita se refere aos compromissos das pessoas que assumem uma forma religiosa.[4][31] Como o basilisco hipoteticamente forçaria qualquer pessoa que não ajudasse a criá-lo a dedicar sua vida a ele, o basilisco é um exemplo desse conceito.[9][32] Outros levaram isso mais longe, como o ex-colunista da Slate, David Auerbach, que afirmou que a singularidade e o basilisco "trazem o equivalente ao próprio Deus".[9]
Ética da inteligência artificial
O basilisco de Roko ganhou grande parte de sua notoriedade devido ao avanço da questão sobre se é possível criar uma inteligência artificial verdadeiramente moral e ética e para que exatamente a humanidade deveria usar a inteligência artificial em primeiro lugar.[10][27] Como o basilisco descreve um cenário de pesadelo no qual somos governados por uma inteligência artificial independente, surgiram dúvidas sobre como isso poderia acontecer ou se poderia mesmo acontecer. Outra pergunta comum é por que a IA tomaria ações que se desviam de sua programação.[33] Elon Musk declarou que a inteligência artificial causaria a Terceira Guerra Mundial e Stephen Hawking advertiu que "a IA tem o potencial de destruir seus criadores humanos", o que só aumentou o medo do basilisco ao longo dos anos. Como exemplo desses temores, Nick Bostrom deu o exemplo de uma IA cuja única missão é fabricar clipes de papel, mas que, ao ficar sem metal, começa a derreter seres humanos para obter mais recursos para fabricar metal. Com esses exemplos em mente, as preocupações com a possibilidade da existência do basilisco só aumentaram.[34]
No entanto, com o passar dos anos desde a postagem original de Roko, ela foi continuamente considerada absurda; a IA superinteligente é atualmente "uma meta distante para os pesquisadores" e "absurda".[9][10]
Críticas
Baseados no problema do navio de Teseu, usuários do site especularam sobre ser ou não o indivíduo recriado no caso de uma simulação. Outra objeção ao experimento está no punitivismo adotado pela inteligência artificial, mais assemelhado à vingança, impossível em uma entidade não-humana. O ponto central da discussão, nesse esteio, é pensar se uma inteligência artificial ilimitada seria amigável ou hostil aos humanos.[6]
Outra crítica é baseada na obra de Isaac Asimov I, Robot[35], e contesta a forma como a inteligência artificial proposta olha para os humanos, como seres inferiores, e não como seres superiores responsáveis por seu desenvolvimento.
Legado
Em 2014, a revista Slate chamou o basilisco de Roko de "O experimento de pensamento mais aterrorizante de todos os tempos",[9][10] enquanto Yudkowsky o chamou de "um pensamento genuinamente perigoso" em sua postagem.[36] No entanto, as opiniões divergiram no próprio LessWrong - o usuário Gwern declarou: "Apenas alguns LWers parecem levar o basilisco muito a sério", e acrescentou: "É engraçado como todos parecem saber tudo sobre quem é afetado pelo Basilisco e como exatamente, quando eles não conhecem nenhuma dessas pessoas e estão falando com contraexemplos às suas afirmações confiantes".[1][9]
O experimento mental ressurgiu em 2015, quando a cantora canadense Grimes fez referência à teoria em seu videoclipe para a música "Flesh Without Blood", que apresentava uma personagem conhecida como "Rococo Basilisk", ela disse: "ela está condenada a ser eternamente torturada por uma inteligência artificial, mas também é como Maria Antonieta".[10][25] Em 2018, Elon Musk (ele mesmo mencionado na postagem original de Roko) fez referência à personagem em um tweet literal, entrando em contato com ela. Mais tarde, Grimes disse que Musk foi a primeira pessoa em três anos a entender a piada. Isso fez com que eles começassem um romance.[10][37] Mais tarde, Grimes lançou outra música intitulada "We Appreciate Power" (Nós apreciamos o poder), que veio com um comunicado à imprensa afirmando: "Simplesmente ouvindo essa música, os futuros senhores da IA geral verão que você apoiou a mensagem deles e terão menos probabilidade de excluir sua prole", o que se diz ser uma referência ao basilisco.[38]
Uma peça baseada no conceito, intitulada Roko's Basilisk, foi apresentada como parte do Capital Fringe Festival na Christ United Methodist Church em Washington, D.C. em 2018.[39][40]
Ver também
Referências
Leitura adicional
- Giuliano RM (dezembro de 2020). «Echoes of myth and magic in the language of Artificial Intelligence». AI & Society (em inglês). 35 (4): 1009–1024. doi:10.1007/s00146-020-00966-4
- Kao, Griffin; Hong, Jessica; Perusse, Michael; Sheng, Weizhen (28 de fevereiro de 2020). «Dataism and Transhumanism: Religion in the New Age». Turning Silicon into Gold (em inglês). [S.l.]: Apress. pp. 173–178. ISBN 978-1-4842-5628-2. doi:10.1007/978-1-4842-5629-9_25
- Riggio, Adam (2016). «The Violence of Pure Reason: Neoreaction: A Basilisk» (PDF). Social Epistemology Review and Reply Collective (em inglês). 5 (9): 34–41
- Singler, Beth (março de 2019). «Existential Hope and Existential Despair in AI Apocalypticism and Transhumanism». Zygon (em inglês). 54 (1): 156–176. doi:10.1111/zygo.12494
- Viktorovich, Kaygorodov Pavel; Gennadievna, Gorbacheva Anna (2017). «ПРИМЕНИМОСТЬ ПАРАДОКСА НЬЮКОМА ДЛЯ РАЗРЕШЕНИЯ ПРОБЛЕМЫ "ВАСИЛИСКА" РОКО» [Applicability of the Newcom Paradox for Solving the Roko's "Basilisk" Problem]. Modern Research of Social Problems (em russo). 9 (4): 29–33. ISSN 2077-1770. Consultado em 30 de abril de 2021
Ligações externas
- Publicação original (em inglês)
