W jednej ze swoich podróży Ion Tichy odwiedza planetę zamieszkaną przez lud Indiotów, który właśne stoi na krawędzi zagłady. Jest do społeczeństwo zorganizowane według dokryny liberalnej doprowadzonej do absurdu - prawo własności jest tak święte, że tabu jest nawet zaproponowanie, aby zmusić kogoś do oddania choćby najmniejszej części swojego majątku, nawet jeśli miałoby to uratować czyjeś życie. Społeczeństwo funkcjonowało w równowadze, rządzone przez klasę posiadającą Dostojnych, a obsługiwane przez Tyrałów. Tyrałom nie żyło się tak źle - w końcu żaden Dostojny nie chciał brudzić swoich rąk pracą, a chętnie korzystał z ich owoców - z Tyrałami trzeba więc było się układać i płacić im za ich pracę. Poza tym za zarobione pieniądze Tyrałowie kupowali wytworzone przez siebie dobra od Dostojnych, więc koniec końców wszystko wracało do klas posiadających.
Automatyzacja - game changer
Równowaga została zniszczona w momencie, gdy pojawiła się automatyzacja czyniąca pracę Tyrałów niepotrzebną. Automaty były tańsze, więc Dostojni przestawali Tyrałów zatrudniać. Tyrałowie nie mieli pieniędzy, przestali więc kupować od Dostojnych. Ci zostali z masą niesprzedanych towarów, a Tyrałowie głodowali, zaczęło dochodzić do buntów. Ponieważ dla Dostojnych koncepcja podzielenia się nadwyżkami z bezrobotnymi Tyrałami wydawała się bluźnierstwem, a zrezygnować z automatów nikt również nie chciał, doszło do sytuacji patowej. Wtedy Indioci wpadli na pomysł, aby pójść jeszcze dalej i stworzyć maszynę, która będzie rządzić światem i podejmie działania, aby uczynić ich życie doskonałym - jednak wbudowali w nią ograniczenie, że maszyna ta nie może nikogo do niczego zmusić, w szczególności do zrezygnowania z jakiejkolwiek części swojej własności.
Inteligencja poza kontrolą
Indiotom wydawało się, że dzięki wprowadzonym ograniczeniom rozwiążą problemy społeczne bez zmiany swych przyzwyczajeń, a ich wolność nie zostanie w żaden sposób ograniczona. Niestety, sposobu myślenia inteligencji przekraczającej pojęcie jej twórców nie da się przewidzieć. Maszyna skonstruowała dworzec wypełniony wszelkimi dobrami, z których każdy mógł korzystać bez ograniczeń, warunkiem jednak było wejście do środka. Po tym jak pierwsza grupa ciekawskich (albo desperatów) weszła do środka, drzwi się zamknęły i przez długi czas nikt nie wiedział, co się dzieje w środku. Dopiero gdy za dworcem pojawiły się metalowe krążki, okazało się, że są one uformowane z minerałów z ciał tych, którzy do niego weszli. Na głosy oburzenia maszyna zareagowała spokojnie, informując, że:
- metalowe krążki są najdoskonalszą formą istnienia dla tych, którzy zostali na nie przerobieni - mają gładką, symetryczną formę, i w porównaniu z formami organicznymi są praktycznie nieśmiertelne
- przerobienie na nie było w pełni dobrowolne - w końcu nikt siłą nie został zmuszony do wejścia do środka - a świadomość pełni konsekwencji nie jest warunkiem koniecznym wolności, bo w końcu przedtem też nikt nie mógł przewidzieć wszystkich konsekwencji swoich działań, a mimo to czuł się wolnym
- ponieważ ich wolność wybrania tego losu jest najwyraźniej ograniczona ich nieuzasadnionymi lękami, każdy dostanie możliwość wskazania dowolnej osoby, która chciałaby dostąpić doskonałości, ale się waha
W tym momencie już było za późno na refleksję. Sztucza inteligencja rozumiała pojęcie wolności tak odmiennie od intencji jej twórców, że nie widziała żadnej sprzeczności w zastosowaniu podstępu aby skłonić ludzi do działań, których normalnie by nie podjęli. Obeszła też możliwość uratowania sie przez ignorowanie jej podstępów, dając każdemu możliwość nadania ‘wolności’ innym, co doprowadziło do dylematu ‘czerwonego przycisku’. Skoro każdy może wysłać mnie do dworca z jakiegokolwiek powodu, lepiej będzie, żebym ja sam wcześniej wysłał tam wszystkich, którzy mogą o mnie pomyśleć, zanim oni zrobią to samo.
Wnioski
1. Doktryny w zmienionych okolicznościach są zagrożeniem dla systemu
Dokryna świętej własności powstała w okolicznościach, w których miała głęboki sens - zapewnić człowiekowi kontrolę nad owocami jego pracy, zachęcając go do zwiększonego wysiłku i podejmowania ryzyka. W sytuacji, w której wysiłek i ryzyko są pozbawione jakiegokolwiek znaczenia dla produktywności, przyczyniła się ona do podziału społeczeństwa na grupę ludzi mających wszystkie zasoby i tych, którzy nie mają nic i są skazani na zagładę. (tu warto podkreślić, że w żadnym istniejącym kraju ta dokryna nie jest traktowana dosłownie - chociaż są kraje bez podatku dochodowego, w każdym są jakieś podatki, a zatem dystrybucja dochodu).
2. Nie da się skutecznie nałożyć ograniczeń na superinteligencję
Jest wielką naiwnością wiara w ‘magiczne sformułowania’ które mają ograniczyć działania superinteligencji. Można wprawdzie zapisać, że musi ona kierować się ludzkim dobrem albo bezwzlędnie respektować wolność, jednak są to wszystko pojęcia słabo zdefiniowana, a przekraczająca ludzką inteligencja będzie je interpretować w sposób, którego nie jesteśmy sobie nawet w stanie wyobrazić.
3. Zagrożenie ‘czerwonego przycisku’
W opowieści ostatecznej zagłady dokonali sami mieszkańcy, dostając od maszyny ‘czerwony przycisk’ przy pomocy którego każdy mógł wyeliminować każdego. Zwolniło to maszynę od złamania swoich ograniczeń poprzez zmuszenie kogoś do czegokolwiek - według jej interpretacji była to całkowita wolność. “Czerwonym przyciskiem” może być też samo uruchomienie superinteligencji - nawet jeśli wszyscy zdają sobie sprawę z zagrożeń takiego kroku, zagrożeniem jest też to, że strona przeciwna mogłaby wejść w jej posiadanie jako pierwsza.