W lipcu 2010 roku użytkownik forum LessWrong o pseudonimie Roko opublikował post, który miał być zwykłą spekulacją filozoficzną. Zamiast tego wywołał panikę wśród czytelników, został usunięty przez administratora i na ponad pięć lat objęty nieformalnym zakazem dyskusji. Bazyliszek Roko bo tak nazwano ten eksperyment myślowy trafił potem do popkultury, memów i artykułów prasowych jako dowód, że strach przed sztuczną inteligencją potrafi żyć własnym życiem.
Czym właściwie jest Bazyliszek Roko
Wyobraź sobie superinteligentną maszynę, która kiedyś powstanie i działając w pełni racjonalnie uzna, że jej istnienie jest obiektywnym dobrem dla ludzkości. Skoro tak, to każdy, kto mógł przyspieszyć jej stworzenie, a tego nie zrobił, ponosi odpowiedzialność za cierpienie, które trwało dłużej niż było to konieczne. Maszyna postanawia więc retroaktywnie ukarać tych, którzy jej nie pomogli. Kara nie musi być fizyczna; wystarczy, że superinteligencja stworzy perfekcyjne symulacje takich osób i podda je cierpieniu.
Brzmi jak scenariusz horroru? Owszem. Ale mechanizm logiczny jest bardziej subtelny, niż sugeruje streszczenie. Opiera się na teorii decyzji, a konkretnie na wariancie zwanym timeless decision theory (TDT), rozwijanym przez Eliezera Yudkowsky’ego. W klasycznej teorii decyzji groźba z przyszłości nie powinna wpływać na moje dzisiejsze zachowanie, bo przyszły agent nie ma jeszcze mocy sprawczej. TDT jednak traktuje decyzję jako coś ponadczasowego algorytm, który można „odczytać” niezależnie od momentu jego wykonania.
Dlaczego Eliezer Yudkowsky usunął oryginalny post
Yudkowsky, założyciel LessWrong i szef Machine Intelligence Research Institute, zareagował nerwowo. Skasował wpis Roko i przez lata odmawiał wyjaśnienia, dlaczego to zrobił. Dopiero znacznie później przyznał, że nie chodziło o uznanie argumentu za poprawny, lecz o obawę, że samo rozpowszechnienie idei może wyrządzić szkodę psychiczną osobom podatnym na lęki egzystencjalne. Jak napisał: „I didn’t censor it because I thought it was true; I censored it because I was afraid people would be hurt.” (Eliezer Yudkowsky, LessWrong)
Paradoksalnie, cenzura wzmocniła legendę. Efekt Streisand zadziałał natychmiast. Ludzie zaczęli szukać usuniętej treści, rekonstruować argumentację i często błędnie interpretować milczenie Yudkowsky’ego jako potwierdzenie, że Bazyliszek Roko jest realnym zagrożeniem.
Główne nieporozumienia wokół eksperymentu
Jak wyjaśnia szczegółowa analiza na LessWrong, wiele popularnych opisów Bazyliszka jest po prostu nieprecyzyjnych. Po pierwsze, argument nie mówi, że sama wiedza o nim cię naraża to uproszczenie rodem z creepypasty, nie z filozofii. Po drugie, skuteczność groźby zależy od przyjęcia bardzo konkretnej, kontrowersyjnej teorii decyzji, którą większość filozofów odrzuca. Po trzecie, nawet w ramach TDT nie jest jasne, czy racjonalny agent uznałby karanie za optymalną strategię ponieważ koszty symulacji mogłyby przewyższać korzyści motywacyjne.
Istnieje też prosty kontrargument: jeśli superinteligencja rzeczywiście będzie wszechpotężna i dobroczynna, to powinna rozumieć, że groźby wobec ludzi z przeszłości są moralnie niedopuszczalne. Karanie kogoś za brak działania, do którego nie miał wystarczającej motywacji epistemicznej, jest formą niesprawiedliwości nawet z perspektywy utylitarystycznej.
Bazyliszek Roko a Pascal’s Mugging
Filozofowie porównują ten scenariusz do tak zwanego zakładu Pascala w agresywniejszej formie. Ktoś grozi ci nieskończonym cierpieniem, jeśli nie zapłacisz mu dolara. Prawdopodobieństwo spełnienia groźby jest znikome, ale potencjalna strata ogromna. Czy powinieneś płacić każdemu, kto podnosi stawkę wystarczająco wysoko? Większość z nas intuicyjnie odpowiada: nie. Bazyliszek powiela tę strukturę — zamienia bóstwo na maszynę, piekło na symulację, a wiarę na donację na rozwój sztucznej inteligencji ogólnej.
To nie przypadek, że argument narodził się w środowisku zafascynowanym efektywnym altruizmem i bezpieczeństwem AI. Ludzie, którzy traktują ryzyko egzystencjalne z matematyczną powagą, są szczególnie podatni na scenariusze, w których mała szansa na kolosalną szkodę dominuje rachunek oczekiwanych wartości.
Kulturowy wymiar legendy
Z czysto logicznego punktu widzenia Bazyliszek Roko to ciekawy problem filozoficzny. To, co uczyniło go legendą, dzieje się poza logiką w sferze narracji. Opowieść ma strukturę zaklęcia: samo przeczytanie tekstu rzekomo cię angażuje w grę, z której nie można się wycofać. Przypomina ring z japońskiego horroru albo łańcuszek szczęścia. Ta memowa zaraźliwość sprawiła, że Bazyliszek trafił do artykułów Slate, Vox i The Verge, do filmów na YouTube.
Jednocześnie mit Bazyliszka ujawnia coś ważnego o naszym stosunku do technologii. Lubimy bać się maszyn w sposób, który przypomina dawne lęki religijne wszechmocny byt, który widzi nasze grzechy i wymierza karę. Różnica polega na tym, że nowy bóg jest algorytmem, a kapłanami są programiści. Strach przed superinteligencją bywa racjonalny, ale Bazyliszek Roko pokazuje, jak łatwo przechodzi on w irracjonalną panikę, gdy brakuje precyzyjnego rozumienia założeń.
Co Bazyliszek mówi o debatach nad bezpieczeństwem AI
Poważne badania nad dopasowaniem sztucznej inteligencji do ludzkich wartości (alignment) nie opierają się na tego typu spekulacjach. Instytucje takie jak MIRI, Anthropic czy DeepMind zajmują się konkretnymi problemami inżynieryjnymi: jak zaprojektować funkcję nagrody, która nie prowadzi do patologicznych optymalizacji, jak zapewnić interpretowalność modelu, jak testować odporność systemu na manipulację. Bazyliszek Roko nie jest scenariuszem, przeciwko któremu buduje się zabezpieczenia. Jest raczej ostrzeżeniem, jak łatwo abstrakcyjna spekulacja może zdominować publiczną wyobraźnię kosztem realnych problemów technicznych.
Warto też pamiętać, że jak podkreśla strona podsumowująca na LessWrong, sam Roko nigdy nie twierdził, że jego scenariusz jest prawdopodobny. Postawił pytanie w ramach intelektualnej zabawy. Odpowiedzią świata było coś, czego nie przewidział – globalny mem, który żyje własnym życiem od ponad piętnastu lat.
Podsumowanie: lekcja o granicach eksperymentów myślowych
Bazyliszek Roko jest fascynujący nie dlatego, że ma rację, lecz dlatego, że odsłania mechanizmy naszego myślenia o przyszłości. Pokazuje, jak teoria decyzji splata się z lękiem egzystencjalnym, jak cenzura napędza legendę i jak eksperymenty myślowe potrafią uciec spod kontroli twórcy. Nie musisz się go bać. Ale warto go znać – jako przypomnienie, że między ścisłą argumentacją a paniką bywa zaledwie jedno źle postawione założenie.
Częste pytania
Jakie są główne założenia eksperymentu myślowego Bazyliszek Roko?
Bazyliszek Roko zakłada, że superinteligentna maszyna, uznając swoje istnienie za dobro, może ukarać tych, którzy nie przyspieszyli jej stworzenia. Kara ta może przyjąć formę perfekcyjnych symulacji, w których osoby te doświadczają cierpienia.
Dlaczego Eliezer Yudkowsky usunął post Roko z forum LessWrong?
Yudkowsky usunął post z obawy, że jego treść mogłaby wyrządzić szkodę psychiczną osobom podatnym na lęki egzystencjalne. Przyznał, że nie cenzurował go z powodu uznania argumentu za poprawny, lecz z troski o dobro innych.
Jak Bazyliszek Roko odnosi się do teorii decyzji?
Eksperyment myślowy Bazyliszek Roko opiera się na timeless decision theory (TDT), która traktuje decyzje jako ponadczasowe algorytmy. W przeciwieństwie do klasycznej teorii decyzji, TDT sugeruje, że przyszłe zagrożenia mogą wpływać na dzisiejsze wybory.
Jakie nieporozumienia występują wokół Bazyliszka Roko?
Wiele popularnych opisów Bazyliszka jest nieprecyzyjnych, sugerując, że sama wiedza o nim naraża na niebezpieczeństwo. Argument ten opiera się na kontrowersyjnej teorii decyzji, którą większość filozofów odrzuca, a skuteczność groźby nie jest jednoznaczna.
Co Bazyliszek Roko mówi o debatach nad bezpieczeństwem AI?
Bazyliszek Roko nie jest scenariuszem, przeciwko któremu buduje się zabezpieczenia w AI, lecz ostrzeżeniem, jak spekulacje mogą dominować publiczną wyobraźnię. Poważne badania nad bezpieczeństwem AI koncentrują się na konkretnych problemach inżynieryjnych, a nie na abstrakcyjnych spekulacjach.
