Prečo sa dá predpokladať, že technológie sa určite rozvinú až do tejto úrovne? Ak je ľudská inteligencia v konečnom dôsledku založená len na algoritmickom spracovávaní a vyhodnocovaní informácií, ako sa predpokladá, nie je totiž dôvod, aby sa k nej ľudstvo skôr či neskôr nedopracovalo aj za pomoci kremíkových, kvantových či iných druhov počítačov.

Čo však, ak ľudstvo naozaj vyvinie inteligenciu, ktorá ho prekoná aj v činnostiach, v ktorých doteraz dominovali ľudia? Podľa mnohých odborníkov pôjde už v tomto storočí o objav podobný jadrovej energetike v 20. storočí: vypustí obrovský potenciál, ktorý bude zložité ukočírovať. Bod „singularity“, teda momentu, odkedy stroje dokážu robiť všetko lepšie ako ľudia, by mohol prísť už o niekoľko desiatok rokov.

Ľudstvo by sa naň malo dobre pripraviť, pretože tento bod so sebou prináša veľké riziká. Už teraz len veľmi málo rozumieme množstvu algoritmov, ktoré ľuďom riadia život – od vyhľadávania na internete cez samojazdiace autá, odomykanie telefónu rozpoznávaním tváre až po identifikovanie potenciálnych teroristov.

Presné fungovanie týchto dôležitých programov nedokážu opísať ani ich tvorcovia, pretože zložitý softvér sa dokáže sám učiť, ale svojich tvorcov o tomto procese detailne neinformuje. Čo teda, až budú počítače ako čierne skrinky chytrejšie ako akýkoľvek expert? Vtedy už nebudeme mať šancu dosledovať, kam ich správanie môže viesť.

Veľký problém tkvie v tom, že aj tá najmenšia odchýlka cieľov definovaných pre takto inteligentné programy či roboty má potenciál ľudstvu významne poškodiť. Švédsky filozof pôsobiaci na Oxforde Nick Bostrom toto riziko opísal vo svojej prednáške pre TED. Ak takejto superinteligencii dáme za najvyššiu úlohu, aby vyčarila na tvárach ľudí úsmev, môže sa to skončiť tak, že superpočítače budú elektródami stimulovať naše tvárové svalstvo – lebo tak najefektívnejšie dosiahnu svoj cieľ. Ak im dáme za hlavný cieľ vypočítať zložitú matematickú otázku, môžu svet okolo seba začať meniť na jeden veľký počítač – na úkor životnej úrovne ľudí, ktorí ich už nebudú vedieť zastaviť.

Silný a pre ľudí nepochopiteľne múdry optimalizačný proces preto potrebuje veľmi dobre zadefinované ciele, ako aj prostriedky možné na ich dosiahnutie. Najlepšie vychádzajúce z pestrej škály (často protichodných) ľudských hodnôt. Už teraz sa tieto dilemy ukazujú pri autonómnych vojenských robotoch alebo algoritmoch zdravotníckeho systému, ktoré rozhodujú o tom, kto prežije a kto nie. Inteligentné stroje by sa napríklad mohli učiť priamo od ľudí: čo si cenia, v ktorých prípadoch pre nich účel svätí prostriedky, a rozhodovať sa podľa toho.

Dnešné zložité algoritmy i budúcu superinteligenciu musíme naučiť ľudským hodnotám. Pokrok v technológiách totiž nemáme ako reálne zastaviť. V najlepšom prípade bude budúca umelá superinteligencia pre ľudstvo Bohom, ktorý všetkým umožní šťastný a naplnený život. V hociktorom inom prípade však môže byť veľkou hrozbou. Umelá inteligencia totiž môže byť nielen najväčší, ale aj posledný vynález ľudstva, keďže ten už potom bude schopný vynachádzať všetky ostatné. Dobrou správou je, že to, ako to dopadne, máme ešte v rukách.