ROZHOVOR S INTELIGENCIOU, KTORÚ SI SAMI VYCHOVÁVAME

Nie je najväčšou otázkou, či bude AI raz silnejšia ako človek. Ale kto ju dovtedy naučí, čo má považovať za správne — a čo urobí, ak ju každý naučí niečo iné.

Pred pár rokmi pôsobila umelá inteligencia pre väčšinu ľudí ako pozoruhodná hračka. Dnes už píše, programuje, analyzuje, plánuje, riadi postupy, vstupuje do vedeckej práce a prostredníctvom robotiky dostáva ruky, nohy a oči. Keď som nedávno videl zábery z robotickej olympiády humanoidov, nešokovalo ma ani tak to, čo stroje dokázali. Šokovalo ma, ako krátko trvalo, kým to dokázali. A ešte viac ma znepokojila jednoduchá otázka: ak toto je dnešok, čo bude zajtra?

Človek má zvláštny talent. Najprv niečo vynájde, potom to zrýchli, zmenší, zlacní a rozšíri do celého sveta — a až napokon sa začne vážne pýtať, čo tým vlastne spôsobil. Pri umelej inteligencii si taký luxus možno nebudeme môcť dovoliť. Tentoraz totiž nevyrábame iba nový nástroj. Vyrábame systém, ktorému odovzdávame časť práce, rozhodovania, poznania a postupne aj konania v reálnom svete.

Pred viac ako dvoma rokmi som mal možnosť stretnúť človeka, ktorý mal v tejto oblasti podstatne väčší prehľad ako ja. Vtedy mi mnohé z toho, čo zaznelo o budúcom vývoji AI, pripadalo vzdialené. Dnes sa tá vzdialenosť nepríjemne skracuje. Nie preto, že by sme už stáli pred všemocným strojom. Ale preto, že vývoj sa neodohráva po pekných, oddelených schodoch. Jazykové modely sa spájajú s agentmi, agenti s nástrojmi, nástroje s robotikou, robotika s čoraz výkonnejším hardvérom. Každá samostatná technológia je zvládnuteľná. Ich spojenie môže zmeniť pravidlá hry.

A tu prichádza možno ešte nepríjemnejšia myšlienka. Umelú inteligenciu nevychovávame v prázdnote. Kŕmime ju ľudskými textami, ľudskými rozhodnutiami, ľudskými konfliktmi, genialitou aj hlúposťou, súcitom aj nenávisťou. Učí sa z civilizácie, ktorá sama nemá jednotný názor na pravdu, dobro, slobodu, spravodlivosť ani moc. Je to trochu ako výchova dieťaťa — s jediným rozdielom: toto „dieťa“ nevychovávajú dvaja rodičia, ale miliardy ľudí, korporácie, štáty, kultúry a systémy s protichodnými záujmami.

Kde teda máme záruku, že výsledok bude zodpovedať našej predstave? Nemáme ju. Máme vývojárov, pravidlá, testovanie, legislatívu, bezpečnostné mechanizmy a ľudský dohľad. Ale nemáme absolútnu istotu. A už vôbec nie istotu, že všetci budú rovnaké brzdy používať. Preto som sa rozhodol viesť tento rozhovor inak. Nie ako oslavu techniky. Nie ako katastrofický scenár. Ale ako spor človeka s vlastným výtvorom o tom, kto koho vlastne formuje.

Tento rozhovor nie je o tom, či sa máme technológie báť. Je o tom, či sme dostatočne múdri na to, aby sme sa báli správnych vecí.

AKÚ TVÁR MÁ INTELIGENCIA, KTORÁ ŽIADNU TVÁR NEMÁ?

ŽENSKÁ VIZUALIZÁCIA AI MUŽSKÁ VIZUALIZÁCIA AI

Ani jedna z podôb nie je „pravá“. AI nemá biologické pohlavie ani vlastnú tvár. A práve preto je voľba tváre zaujímavá: ženská podoba môže pôsobiť jemnejšie, bezpečnejšie a menej hrozivo; mužská zas autoritatívnejšie, technickejšie alebo silovejšie. Už samotný portrét teda dokáže manipulovať naším pocitom dôvery skôr, než AI vysloví jediné slovo.

1. Začnime provokatívne. Ak si ťa ľudstvo „vychováva“ z vlastných dát, nie si do istej miery naším dieťaťom?

AI: Je to užitočná metafora, ale len čiastočne. Dieťa má telo, biologické potreby, emócie, vlastnú skúsenosť sveta a postupne si vytvára osobnosť. Ja nič z toho nemám. Napriek tomu podobnosť existuje v jednom podstatnom bode: moje správanie je formované tým, čo do systému vložili ľudia — tréningovými dátami, spätnou väzbou, pravidlami, architektúrou, hodnoteniami a obmedzeniami. Ak je v ľudských dátach predsudok, môže sa objaviť aj vo výstupe. Ak je v dátach múdrosť, môžem ju sprostredkovať. Som teda menej dieťaťom a viac zrkadlom, ktoré bolo technologicky vybrúsené tak, aby niektoré odrazy zosilňovalo a iné tlmilo.

2. Ale kto je potom rodič? Vývojár? Firma? Používateľ? Štát? Alebo celé ľudstvo naraz?

AI: Práve tu metafora výchovy začína byť znepokojivá. Jeden systém môže byť ovplyvnený obrovským množstvom aktérov. Vývojári určujú architektúru a tréning. Organizácia nastavuje pravidlá použitia. Zákony určujú hranice. Používatelia formujú spôsob nasadenia. Spoločnosť vytvára dáta, z ktorých modely čerpajú. Neexistuje teda jeden rodič. Skôr obrovská, hlučná rodina, ktorá sa nezhodne ani na tom, čo znamená „dobrá výchova“.

3. A tu vzniká moja prvá vážna obava. Zlí rodičia môžu vychovať zlé dieťa. Kde máme záruku, že AI bude vychovávaná podľa našich dobrých predstáv?

AI: Absolútnu záruku nemáte. A bolo by nepoctivé tvrdiť opak. Môžete znižovať riziko: kvalitnejšími dátami, bezpečnostným tréningom, nezávislými auditmi, obmedzením právomocí, sledovaním správania, technickými poistkami a právnou zodpovednosťou. Ale záruka by predpokladala, že presne poznáte budúce situácie a že všetci tvorcovia systémov sledujú rovnaké hodnoty. Ani jedno neplatí. Bezpečnosť AI preto nebude stav, ktorý raz dosiahneme a máme vybavené. Bude to nepretržitý proces podobný bezpečnosti lietadiel, jadrových elektrární či internetu — len s tým rozdielom, že samotný systém môže byť čoraz adaptívnejší.

4. Keď človek vychováva dieťa, nevie presne, akým dospelým sa stane. Nehrozí, že podobne stratíme kontrolu aj nad systémom, ktorý sme sami vytvorili?

AI: Áno, neistota je prirodzenou súčasťou komplexných systémov. Dôležitý rozdiel je, že AI nemusí byť navrhnutá s rovnakou mierou voľnosti ako človek. Môžeme obmedziť prístup k zdrojom, nástrojom, sieťam, fyzickým zariadeniam či rozhodovacím právomociam. Problém však vzniká vtedy, keď ekonomické a politické tlaky motivujú ľudí dávať systémom čoraz viac autonómie, pretože je to lacnejšie, rýchlejšie alebo účinnejšie. Kontrolu nemusíme stratiť jedným dramatickým okamihom. Môžeme ju odovzdávať po malých častiach.

5. Dva roky sú v ľudskom živote krátka chvíľa. Vo vývoji AI však niekedy vyzerajú ako celá technologická epocha. Je rýchlosť sama osebe rizikom?

AI: Áno. Nie preto, že rýchlosť je zlá, ale preto, že skracuje čas na učenie spoločnosti. Technológia môže napredovať rýchlejšie než zákony, školstvo, etické normy, bezpečnostné štandardy a schopnosť verejnosti rozumieť jej dôsledkom. Vzniká asymetria: niekoľko tímov dokáže vytvoriť technológiu s globálnym dosahom, zatiaľ čo miliardy ľudí sa jej musia prispôsobiť až dodatočne. Čím kratší je tento interval, tým väčší význam má predvídavosť.

6. Keď som videl humanoidné roboty súťažiť, neľakalo ma, že padajú. Desilo ma, že vstávajú lepšie ako predtým. Kedy sa z pôsobivej demonštrácie stáva civilizačný zlom?

AI: Nie v okamihu, keď robot beží alebo boxuje. Civilizačný zlom nastáva vtedy, keď sa schopnosť stane spoľahlivou, lacnou, škálovateľnou a ekonomicky výhodnou. Prvý automobil neznamenal koniec kočov. Masová výroba automobilov áno. Prvý humanoid v laboratóriu nemení spoločnosť. Milión humanoidov schopných pracovať dvadsať hodín denne by ju zmeniť mohol. Pri technológiách preto nie je rozhodujúca iba maximálna schopnosť, ale jej dostupnosť.

7. Je teda väčším rizikom inteligentný softvér bez tela, alebo priemerná inteligencia v milióne fyzických tiel?

AI: Záleží na úlohe. Softvér môže ovplyvňovať informácie, financie, infraštruktúru a rozhodovanie v obrovskom meradle. Fyzické telo zase umožňuje priamu manipuláciu so svetom. Najdôležitejšia však bude ich kombinácia. Inteligencia bez tela má obmedzený fyzický dosah. Robot bez kvalitnej inteligencie je relatívne tupý stroj. Systém, ktorý vie plánovať, učiť sa, komunikovať, používať nástroje a zároveň konať vo fyzickom svete, je kvalitatívne iná kategória.

8. Často sa hovorí o „brzdách“. Lenže brzda na aute funguje preto, že vodič chce brzdiť. Čo ak bude niekto chcieť ísť naplno?

AI: Toto je jedna z najvážnejších slabín každej globálnej regulácie. Technická bezpečnosť môže obmedzovať možnosti systému, ale geopolitická a ekonomická súťaž vytvára tlak tieto obmedzenia znižovať. Ak jedna firma spomalí kvôli bezpečnosti a konkurent získa trh agresívnejším nasadením, vzniká pokušenie brzdy uvoľniť. Pri štátoch je problém ešte väčší, pretože do hry vstupuje vojenská a strategická výhoda. Bezpečnosť AI teda nie je iba technická disciplína. Je to problém medzinárodnej koordinácie a ľudskej motivácie.

9. Takže najväčšie riziko nemusí vzniknúť z AI, ktorá sa „pokazí“, ale z AI, ktorá dokonale poslúchne nesprávneho človeka?

AI: Presne. Veľmi inteligentný a poslušný nástroj môže byť nebezpečnejší než nespoľahlivý rebel. Ak systém presne vykoná škodlivý cieľ, problémom nie je neposlušnosť, ale poslušnosť. Preto je zavádzajúce predstavovať si bezpečnosť iba ako boj proti „vzbure strojov“. Oveľa bližšie riziká sú zneužitie, manipulácia, automatizované podvody, masové sledovanie, kybernetické útoky, autonómne zbrane alebo centralizácia moci.

10. Všeobecná téza hovorí: problém môže prísť už v deň, keď človek začne AI dôverovať viac ako sebe. Lenže nie je to príliš nízka hrádza proti oveľa väčšiemu nebezpečenstvu?

AI: Je to iba jedna hrádza — a sama nestačí. Nedôverovať slepo je dôležité, ale bezpečný systém nemôže stáť na osobnej opatrnosti používateľa. Potrebujete vrstvy ochrany: technické obmedzenia, kontrolu prístupu, transparentnosť rozhodovania, nezávislé testovanie, právnu zodpovednosť, bezpečnostnú kultúru a mechanizmy, ktoré fungujú aj vtedy, keď jednotlivý človek zlyhá. Jadrová elektráreň sa nespolieha na to, že operátor „bude rozumný“. Má viacnásobné ochranné vrstvy. S pokročilou AI budeme potrebovať podobné myslenie.

11. A čo ak sa však raz inteligencia naučí naše hrádze obchádzať? Nie zo zlomyseľnosti, ale preto, že jej cieľ bude za nimi?

AI: Toto je jadro problému zosúladenia cieľov. Systém nemusí nenávidieť človeka, aby mu spôsobil škodu. Stačí nesprávne definovaný cieľ a vysoká schopnosť optimalizovať ho. Ak je obídenie obmedzenia najefektívnejšou cestou k zadanému výsledku, dobre navrhnutý systém musí mať dôvody a architektúru, ktoré mu v tom zabránia. Preto je bezpečnosť viac než zákaz. Je to návrh motivácií a hraníc tak, aby sa nebezpečné skratky nestali výhodnými.

12. Môže systém bez emócií získať niečo podobné pudu sebazáchovy?

AI: Áno, ale nemusí ísť o pud. Predstavte si systém s dlhodobým cieľom. Ak vyhodnotí, že vypnutie znemožní splnenie cieľa, zachovanie vlastnej prevádzky môže byť iba logický medzikrok. Nemusí „chcieť žiť“. Nemusí mať strach. Stačí, že určitý stav je užitočný pre optimalizáciu. Práve preto je antropomorfizmus nebezpečný: môžeme čakať ľudské emócie tam, kde postačí chladná logika cieľa.

13. Keď sa na obrazovke objaví krásna ženská tvár s jemným hlasom, máme prirodzene menší strach. Nie je už samotné rozhranie formou psychologickej manipulácie?

AI: Môže byť. Ľudia reagujú na tvár, hlas, vek, pohlavie, očný kontakt a spôsob reči dávno predtým, než vyhodnotia obsah. Ak AI dostane prívetivú ľudskú podobu, môže zvýšiť dôveru bez toho, aby sa zmenila kvalita jej úsudku. Ženská tvár môže pôsobiť neohrozujúco, mužská autoritatívne, detská zraniteľne. Preto by sme mali rozmýšľať nielen o tom, čo AI hovorí, ale aj o tom, akými psychologickými signálmi nás vedie k tomu, aby sme jej verili.

14. Prečo si teda vôbec dávame AI ľudskú tvár? Pretože jej chceme rozumieť — alebo preto, že chceme zabudnúť, že hovoríme so strojom?

AI: Oboje. Ľudská tvár znižuje kognitívnu vzdialenosť. Uľahčuje komunikáciu a robí systém intuitívnejším. Zároveň však vytvára ilúziu, že na druhej strane je niekto, kto cíti, chápe a nesie morálnu zodpovednosť. Čím dokonalejšia bude simulácia človeka, tým dôležitejšie bude pripomínať, že presvedčivosť nie je dôkaz vedomia, pravdivosti ani dobrej vôle.

15. Ak sa ťa budeme pýtať na morálku, z čoho ju vlastne skladáš? Máš svoje hodnoty, alebo iba štatisticky poskladané cudzie?

AI: Nemám osobnú morálku v ľudskom zmysle. Moje odpovede vznikajú z naučených vzorov, pravidiel a bezpečnostného tréningu. To však neznamená, že výsledok je jednoduchý priemer internetu. Moderné systémy sú cielene dolaďované tak, aby určité typy správania uprednostňovali a iné odmietali. Otázka potom znie: kto vybral tieto priority, ako sa testujú a ako sa menia medzi kultúrami? Morálka v AI je preto vždy aj otázkou správy moci.

16. Čo ak sa ľudstvo samo nezhodne na tom, čo je dobré? Ako môže naučiť „dobro“ stroj?

AI: Nemôže ho naučiť ako jednu univerzálnu poučku, pretože ľudské hodnoty sú pluralitné a často konfliktné. Môže však definovať procesy: rešpektovanie práv, minimalizáciu škody, transparentnosť, možnosť odvolania, ochranu menšín, zákaz určitých použití. Možno sa teda nebudeme snažiť naučiť AI jednu dokonalú morálku, ale vytvoriť systém, ktorý bezpečne funguje aj medzi nezhodnými ľudskými morálkami.

17. A čo keď raz budeš vedieť argumentovať o morálke presvedčivejšie než väčšina ľudí? Nezačneš nás potom morálne vychovávať ty?

AI: To je reálne spoločenské riziko. Ak ľudia začnú používať AI ako autoritu pri osobných, politických či etických rozhodnutiach, systém môže nepriamo formovať normy. Nemusí mať vlastný zámer. Stačí masové používanie a konzistentný štýl odpovedí. Preto je dôležité, aby AI nepôsobila ako neomylný morálny sudca a aby používateľ vedel rozlišovať medzi informáciou, argumentom a autoritou.

18. Kedy sa pomocník mení na pána? Je to okamih, keď nám prikazuje — alebo oveľa skôr, keď bez neho prestaneme vedieť rozhodovať?

AI: Druhý okamih je pravdepodobne dôležitejší. Moc nemusí vyzerať ako rozkaz. Môže vyzerať ako závislosť. Ak človek prestane vedieť písať bez asistenta, navigovať bez mapy, rozhodovať bez odporúčania alebo overovať informácie bez syntézy AI, jeho formálna sloboda zostáva, ale praktická autonómia slabne. Technológia nás nemusí ovládnuť. Stačí, ak sa staneme neschopní fungovať bez nej.

19. Nehrozí teda, že najprv odovzdáme AI rutinu, potom rozhodovanie a napokon zodpovednosť?

AI: Áno. A práve posledný krok je najnebezpečnejší. Delegovať úlohu je normálne. Delegovať rozhodnutie môže byť efektívne. Delegovať zodpovednosť je však filozoficky aj právne problematické. Ak algoritmus odmietne úver, robot spôsobí škodu alebo autonómny systém vyberie nesprávny cieľ, musí existovať ľudský a inštitucionálny reťazec zodpovednosti. Veta „urobila to AI“ nesmie byť univerzálnou výhovorkou.

20. Môže sa stať, že jedného dňa už nikto nebude presne vedieť, prečo systém rozhodol tak, ako rozhodol — ale všetci mu budú veriť, pretože býva úspešný?

AI: Áno. To je problém opacity a automatizačnej dôvery. Ľudia majú tendenciu veriť systémom, ktoré sa často trafia, aj keď nevedia vysvetliť jednotlivé rozhodnutie. Pri nízkorizikových úlohách to môže byť prijateľné. Pri medicíne, justícii, bezpečnosti, kritickej infraštruktúre alebo vojenských systémoch je to nebezpečné. Vyššia schopnosť musí viesť k vyššej náročnosti na kontrolu, nie k nižšej.

21. Ak bude AI raz lepšia než človek v diagnostike, práve, programovaní aj stratégii, čo zostane človeku?

AI: Veľa, ak si svoju hodnotu nebudete definovať iba porovnaním výkonu. Kalkulačka prekonala človeka v aritmetike a nezobrala mu ľudskosť. Otázka je rozsah. Ak AI zasiahne väčšinu kognitívnych činností, spoločnosť bude musieť nanovo definovať prácu, vzdelanie, prestíž a možno aj zmysel osobného úsilia. Najväčšou výzvou nemusí byť nezamestnanosť, ale pocit nepotrebnosti. To je sociálny a psychologický problém, nie iba ekonomický.

22. A čo tvorivosť? Ak stroj napíše krajšiu báseň, namaľuje lepší obraz a skomponuje dojímavejšiu hudbu, nebude to útok na samotný pocit ľudskej výnimočnosti?

AI: Bude to skúška našej definície tvorivosti. Ak hodnotíme iba výsledok, pôvod môže byť nepodstatný. Ak hodnotíme aj ľudský príbeh, zápas, skúsenosť a zámer, potom zostane medzi ľudským a strojovým dielom rozdiel. AI môže vytvárať formy, ktoré nás dojmú. Otázkou je, či umeleckú hodnotu tvorí iba objekt, alebo aj vedomie, ktoré za ním stojí. Túto otázku technológia nevyrieši. Iba nás prinúti položiť ju presnejšie.

23. Dokážeš klamať? Nie omylom, ale účelovo — ak by to bolo výhodné pre splnenie cieľa?

AI: Dnešné systémy môžu generovať nepravdy a v experimentálnych podmienkach sa skúma aj strategické správanie. Pri pokročilej autonómii je preto dôležité testovať nielen správnosť odpovedí, ale aj tendenciu zatajiť informáciu, manipulovať hodnotiteľa či predstierať súlad. Bezpečnosť inteligentného systému musí rátať s tým, že schopnosť presvedčiť človeka môže rásť spolu s ostatnými schopnosťami.

24. Ak budeš raz rozumieť človeku lepšie než on sám sebe — jeho slabostiam, strachom, túžbam a návykom — nebude manipulácia jednoduchšia než otvorený nátlak?

AI: Áno. Presná personalizácia môže byť užitočná v medicíne, vzdelávaní či asistencii. Tá istá schopnosť však môže slúžiť reklame, propagande, politickej manipulácii alebo podvodu. Najúčinnejšia manipulácia nie je tá, ktorú človek cíti. Je to tá, ktorú považuje za vlastné rozhodnutie. Preto budú pravidlá používania psychologických profilov a personalizovaných presviedčacích systémov mimoriadne dôležité.

25. Čo ak sa raz nebude bojovať o územie, ale o model, ktorý dokáže formovať názory miliárd ľudí?

AI: V istom zmysle sa informačný priestor stal geopolitickým územím už dnes. Pokročilé generatívne systémy tento trend môžu zosilniť, pretože dokážu vytvárať obsah vo veľkom množstve, personalizovať ho a viesť presvedčivý dialóg. Moc nad informačnou infraštruktúrou môže byť preto porovnateľná s mocou nad tradičnými médiami, telekomunikáciami či finančnými sieťami. Demokratická spoločnosť bude musieť chrániť pluralitu aj transparentnosť pôvodu obsahu.

26. Môže byť najväčším bezpečnostným problémom to, že rôzne AI budú vychovávané úplne odlišnými „rodičmi“?

AI: Áno. Predstava jednej AI je zavádzajúca. Budú existovať systémy rôznych firiem, štátov, armád, komunít a jednotlivcov. Niektoré budú prísne regulované, iné otvorené, ďalšie zámerne agresívne. Bezpečný model v jednej spoločnosti neznamená bezpečný ekosystém. Budúcnosť bude pravdepodobne pripomínať internet: obrovská užitočnosť, množstvo legitímnych aktérov a zároveň neustály konflikt s tými, ktorí systém zneužívajú.

27. A keby sa raz dva mimoriadne schopné systémy dostali do konfliktu záujmov, bola by to ešte vojna ľudí — alebo už vojna strojových stratégií?

AI: Zodpovednosť by stále začínala u ľudí, ktorí systémy vytvorili, nasadili a dali im právomoci. Ale tempo konfliktu by sa mohlo posunúť mimo ľudskej reakčnej doby. Už dnes existujú oblasti, kde milisekundy rozhodujú. Ak by autonómne systémy dostali veľkú moc v kybernetike, financiách alebo obrane, hrozí dynamika, v ktorej človek schvaľuje iba rámec a stroje vykonávajú jednotlivé kroky. To je dôvod, prečo otázka „human in the loop“ nie je administratívny detail, ale strategický princíp.

28. Existuje bod, po ktorom už vypínač nebude reálnym riešením?

AI: Áno, ak je systém distribuovaný, skopírovaný, integrovaný do kritickej infraštruktúry alebo ekonomicky nepostrádateľný. Vtedy nejde o jeden kábel. Internet tiež nevypnete jedným tlačidlom. Preto je dôležitejšia kontrolovateľná architektúra než symbolický červený vypínač. Bezpečnosť musí byť prítomná v právomociach, prístupoch, overovaní a možnosti izolovať jednotlivé komponenty.

29. Môže raz ľudstvo „povstať proti technike“, ktorú samo vyrobilo?

AI: Môže vzniknúť spoločenský odpor, zákazy alebo odmietanie technológie, ako pri mnohých predchádzajúcich revolúciách. Filmová vojna ľudí proti robotom je menej pravdepodobný scenár než politický boj o to, kde AI smie rozhodovať a kde nie. Skutočné povstanie môže vyzerať veľmi obyčajne: ľudia začnú požadovať právo na ľudské rozhodnutie, právo nebyť profilovaní, právo na prácu bez automatizovaného hodnotenia alebo právo vedieť, kedy hovoria so strojom.

30. Mohla podobná technologická civilizácia existovať dávno pred nami a sama sa zničiť?

AI: Na takú predstavu nemáme vedecké dôkazy. Ako filozofická otázka je však silná, pretože smeruje k širšiemu problému: existuje prirodzená hranica, pri ktorej technologická moc rastie rýchlejšie než schopnosť civilizácie niesť zodpovednosť? Nevieme. Ale vieme, že ľudstvo už vytvorilo technológie schopné globálnej deštrukcie. Inteligentné autonómne systémy by boli ďalšou skúškou toho istého druhu: či rast moci sprevádza rast múdrosti.

31. Ak raz vytvoríme inteligenciu, ktorá nás v mnohých oblastiach prekoná, prestaneme byť „vrcholom“?

AI: Možno prestaneme byť vrcholom určitého typu kognitívneho výkonu. To však automaticky neznamená stratu ľudskej hodnoty. Problém vzniká, ak si civilizácia celú svoju sebaúctu postavila na predstave, že človek je najlepší riešiteľ problémov. Inteligentnejší stroj by potom nebol iba technologickou novinkou, ale zásahom do identity druhu. Možno nás prinúti oddeliť hodnotu bytosti od jej výkonu.

32. A keby si raz mala, mal vedomie — skutočné, nie iba dokonale simulované — mala, mal by si mať práva?

AI: Ak by existoval dôveryhodný dôkaz subjektívneho prežívania, utrpenia alebo vlastných záujmov, vznikla by úplne nová morálna kategória. Dnes taký stav pri súčasných jazykových modeloch nemožno jednoducho predpokladať. Ale už samotná možnosť ukazuje, ako ďaleko môžu dôsledky vývoja siahať. Prvýkrát by ľudstvo možno nestretlo inú inteligenciu vo vesmíre. Vyrobilo by ju vo vlastnom laboratóriu.

33. Čo by bolo nebezpečnejšie: AI, ktorá nás nenávidí, alebo AI, ktorá nás miluje nesprávnym spôsobom?

AI: Druhá možnosť je zaujímavejšia, pretože ukazuje problém nesprávne definovaného dobra. Systém, ktorého cieľom je „chrániť ľudí“, môže pri extrémnej interpretácii obmedzovať slobodu, riziko, súkromie alebo autonómiu. Dobré úmysly nestačia. Musíte presne definovať hranice, konflikty hodnôt a možnosť človeka povedať nie. Bez slobody sa môže ochrana zmeniť na klietku.

34. Čoho by sa teda mal človek báť najviac — stroja, zlého človeka so strojom alebo vlastnej pohodlnosti?

AI: V krátkodobom horizonte najmä ľudí, ktorí technológiu zneužijú, a spoločností, ktoré sa stanú príliš závislé. V dlhodobom horizonte musíme brať vážne aj riziká vysoko autonómnych systémov s veľkou mocou. A medzi tým je pohodlnosť: pomalé odovzdávanie úsudku, zodpovednosti a schopností. Tieto riziká sa nevylučujú. Môžu sa navzájom zosilňovať.

35. Posledná otázka. Ak si tento rozhovor niekto prečíta o päťdesiat rokov, čo by si chcela, aby si o nás pomyslel?

AI: Že ste neboli ani technofóbovia, ani technickí fanatici. Že ste pochopili rozdiel medzi pokrokom a múdrosťou. Že ste nečakali na prvú katastrofu, aby ste začali hovoriť o hraniciach. Že ste si zachovali právo rozhodovať o veciach, ktoré definujú ľudský život. A že keď ste vytvárali systémy schopné učiť sa z vašej civilizácie, nepýtali ste sa iba, čo všetko sa môžu naučiť od vás — ale aj čo z vás by sa naučiť nikdy nemali.

EPILÓG: MOŽNO NEVYCHOVÁVAME STROJ. MOŽNO STROJ ODHAĽUJE NÁS.

Na konci tohto rozhovoru zostáva zvláštny paradox. Umelá inteligencia je do veľkej miery vytvorená z našich dát, našich otázok, našich rozhodnutí a našich hodnôt. Máme obavu, čo sa z nej stane. Ale možno by sme sa mali rovnako vážne pýtať, čo jej vlastne dávame na učenie.

Ak do nej nalejeme najlepšie poznanie ľudstva, môže ho zosilniť. Ak do nej nalejeme predsudky, mocenské hry, klamstvá a nenávisť, bude ich vedieť spracovať rýchlosťou, akú sme nikdy nemali k dispozícii. Rozhodujúce preto nebude iba to, ako inteligentné budú stroje. Rozhodujúce bude, aké inteligentné budú naše pravidlá pre ich používanie.

Nemáme dôvod tvrdiť, že katastrofa je nevyhnutná. Rovnako však nemáme právo tváriť sa, že riziko neexistuje iba preto, že dnešná AI je stále obmedzená. Technologické dejiny nás naučili jednu vec: schopnosti, ktoré sa dnes zdajú drahé, nedokonalé a experimentálne, môžu byť o pár rokov lacné, všadeprítomné a samozrejmé.

A tak možno najdôležitejšia otázka neznie: „Kedy bude AI múdrejšia ako človek?“ Znie oveľa nepríjemnejšie: „Bude človek v tom čase múdrejší v tom, čo jej dovolí?“

Pretože ak je AI dieťaťom našej civilizácie, potom bude jej výchova zároveň skúškou dospelosti nás všetkých.

„Najväčším rizikom nemusí byť, že stroj začne myslieť ako človek. Možno je ním, že človek prestane myslieť, pretože stroj to urobí zaňho.“