AI a válka
Jakkoliv užitečná může umělá inteligence být v mnohých praktických oblastech běžného života, je také účinná během válek. Jen v současné době lze pozorovat její využití například ve válce na území Ukrajiny i v kyberprostoru. O tématu AI a války diskutovali účastníci v pořadí již desáté diskuze AI horizontů.
O debatě
Debata proběhla 14. 5. 2025
Moderovala ji Ivona Novomestská Remundová
Odkaz na Facebookovou událost
Autorem článku je žurnalista Jiří Labanc
Mluvčími byli
ChatGPT řekl:
Denis Yagodin vede inovační tým v organizaci Teplitsa, kde podporuje občanskou společnost prostřednictvím zavádění technologií. Jeho práce se zaměřuje na výzkum komunikačních vzorců, analýzu mechanismů cenzury a provázení organizací při osvojování nástrojů umělé inteligence a strojového učení. Vyvinul několik řešení využívajících AI pro odhalování manipulací ve zpravodajství a ověřování tvrzení, a zároveň pořádá rozsáhlé workshopy pro aktivisty a novináře o praktických možnostech využití těchto technologií. Jeho odborné zázemí propojuje technické znalosti s prací pro společenský dopad, včetně účasti na různých iniciativách občanské společnosti a advokačních kampaních.
Jindřich Karásek je výzkumníkem v Psychologickém ústavu Akademie věd. Jeho výzkumná práce se zaměřuje na oblasti kognitivní války, kybernetické špionáže a kybernetických hrozeb či zpravodajství.
Je také vědcem zabývajícím se bezpečnostními daty, známým jako tzv. 4n6strider, a o zkoumaných tématech přednáší na odborných konferencích.
Lucka je novinářka a publicistka na volné noze. Ráda dělá reportáže a rozhovory z oblasti vědy a nových společenských fenoménů. Věnuje se analýze propagandy a dezinformací a tématům souvisejícím s válkou na Ukrajině. Spolupracovala s magazíny Reflex, Instinkt, Reportér, s deníky (MF Dnes, Lidové noviny), psala pro Seznam Zprávy, natočila reportáže pro pořady Na vlastní oči nebo Reportéři ČT, spolupracuje s Týdeníkem Forum a s Lidovými novinami. Přednáší studentům na FVS UK. Ráda cestuje a chodí po horách i po kavárnách. Má dvě vlastní děti a jedno dospělé nevlastní, ve volném čase zkouší hrát počítačové hry.
Vyhlásí AI lidstvu válku?
S notnou dávkou zjednodušení lze poukázat na dvě oblasti využití AI v boji – na skutečném bojišti, kupříkladu v podobě dronů, jež ve válce na Ukrajině využívá útočící Rusko i bránící se země, a v kyberprostoru. Co se týká skutečného světa, novou technologii obě bojující strany využívají k identifikaci a zaměřování cílů, a pro Ukrajinu, která se dlouhodobě potýká s nedostatkem munice, jsou malé drony s náloží výbušnin klíčovou zbraní.
Jak však v minulém roce poukázal Matouš Lázňovský, umístit AI do dronu je ještě výrazněji těžší úkol než ji skutečně vyzkoušet. „Jde o dobrý příklad Moravcova paradoxu, tedy známé věty, podle níž úkoly, které lidé považují za samozřejmé, mohou být pro stroj výrazně náročnější.“
Denis Yagodin, expert na technologické inovace v civilním sektoru, míní, že používání autonomním systémů umělé inteligence zpravidla vede k vyššímu počtu obětí na životech. „Humanitární právo ukládá válčícím zemím pravidla, jakým způsobem mají rozlišovat mezi vojáky a civilisty a jak zajistit jejich bezpečnost. Umělá inteligence v tomto zákoně není zahrnuta,“ upozorňuje Yagodin.
Podle novinářky Lucie Tomanové se Ukrajina spoléhá na sofistikované systémy protivzdušné obrany k ochraně měst, a tedy i civilistů. „To je na tom pozitivní. Jenže pokud Spojené státy přestanou s Ukrajinou sdílet informace k tomu, aby země mohla spustit alarmy, Ukrajina ztratí schopnost chránit své obyvatele.“ V té souvislosti Tomanová zmiňuje íránské bezpilotní rojové drony šáhid, které Rusko využívá k útokům na ukrajinské cíle.
Jak rozpoznat temné vzorce
Lovec kybernetických hrozeb Jindřich Karásek, který coby výzkumník působí v Akademii věd a zaměřuje se na kognitivní války, v úvodu diskuze zmiňuje takzvané „temné vzory UX“ (z anglického UX dark patterns), které jsou využívány za účelem oklamat online uživatele a přimět je k nevědomé akci. Takové vzorce se objevují například při nakupování na internetových stránkách. Neologismus roku 2010 vymyslel UX designer Harry Brignull, a před dvěma lety o tomto fenoménu vydal knihu Deceptive Patterns (Klamavé vzorce).
„Pokud jste tyto dark patterns schopni odhalit, znamená to, že jste odolní vůči manipulaci a psychologickým operacím.“ Rozpoznávat tyto vzorce je podle Karáska jedna z nejdůležitějších dovedností v 21. století potřebných k udržení vlastní informační bezpečnosti a vnitřního rozpoložení.
„Pro rozpoznání dark patterns je zlatým pravidlem pozorovat své vlastní emoce. Pokud se cítíte rozrušeni, je pravděpodobné, že jste manipulováni. V takovém případě je dobré se pokusit ustoupit a zamyslet se nad tím, zdali text před vámi je pravdivý nebo proč byl publikován tímto konkrétním médiem.“
Karásek pro ilustraci používá příklad s koupí nemovitosti. „Realitní makléři záměrně tlačí k rychlému jednání, chtějí vypnout váš logický úsudek, aby vás donutili přistoupit na jejich podmínky.“
Doplňuje, že v případě rozkládajících se rodinných vztahů v důsledku podlehnutí manipulacím nelze využívat logiku. „Namísto toho musíte apelovat na emoce a pocity, věnovat pozornost vzájemným pojítkům – společným zájmům, vzpomínkám na hezké dovolené. Musíte být milí a snažit se rozvíjet společné pocity a zkušenosti. To je něco, co pomůže překonat rozdíly způsobené polarizací propagandou,“ říká Karásek.
Yagodin však podotýká, že je náročné pomáhat lidem, kteří pomoci nechtějí. „S mým týmem jsme na sociální síti Telegram natrénovali model umělé inteligence, aby v podobě bota identifikoval emocionální manipulaci v propagandistických relacích. Stále doufáme, že jej lidé začnou více používat pro interakce se svou rodinou. Nakonec to však vypadá, že tohoto bota používají výhradně lidé s kritickým myšlením. Nemůžeme tak pozorovat dopad na osoby, které odmítají naslouchat. S tím upřímně nevím, co mám dělat,“ přiznává Yagodin.
Mladší generace je podle účastníků diskuze odolnější vůči deep fake podvodům a manipulacím. „Nedá se říct, že se díky těmto kognitivním schopnostem v budoucnu budou mít lépe či hůře. Bude to zkrátka jiné. Studie opravdu poukazují na to, že mladá generace lépe dovede vycítit lež než naše starší generace. Nelze říct, že by ji vždy viděli nebo cítili, ale obecně jsou citlivější. V novém prostředí se díky tomu budou mít lépe,“ říká Yagodin.
„I podle mých podkladů jsou děti a mladí lidé odolnější vůči deep fakes. Vědí, jak se takový obsah vytváří. Sami jsou schopni jej vytvořit, jsou tudíž zvyklí nevěřit všemu, co vidí,“ dodává Karásek s tím, že větší starosti má proto o starší generaci. „Ta naopak neví, jak filtrovat informace, které se k ní prostřednictvím e-mailů či alternativních médií dostávají. Starší lidé jsou zvyklí věřit všemu, co vidí, vždyť to přece musí být pravda,“ poukazuje.
Karásek zároveň vyzdvihuje kritické myšlení mladých lidí. „S jednou výjimkou, a to pokud nemají silnou identitu. Jestliže teenageři mají pocit, že nezapadají do kolektivu, pak bývají velmi citliví na jakýkoliv manipulativní obsah, který útočí na jejich skutečnou identitu.“
O manipulativních technikách v digitálním prostoru pojednávala již v minulosti debata AI horizontů na téma umělé inteligence a propagandy. Autor technologického podcastu Kanárci v síti Josef Holý už tehdy poukázal na to, že k manipulaci není nutné využívat lež, stačí informaci zasadit do správného kontextu, neříct celou pravdu. Dojde tak k posunu vnímání určitého fenoménu. „Kvalitativní posun nastal ve chvíli, kdy se společnost vzdala dohledu nad informačním prostorem. Kontrolu jsme přenechali technologům s jedinou metrikou – naší pozorností,“ upozornil tehdy Holý. Digitálním prostředím se tak více šíří emočně zabarvený obsah, který lze využít v rámci kybernetické války proti jiným státům. Umělá inteligence do celého problému vnáší schopnost rychleji a přesněji cílit na uživatele.
Může zotročit i vynést lidstvo na výsluní
„Co přinese budoucnost?“ ptá se moderátorka diskuze AI horizontů Ivona Novomestská.
Nejhorší scénář by podle Yagodina znamenal vyhlazení lidstva jadernou katastrofou způsobenou umělou inteligencí, jíž by některé země daly možnost rozhodovat o důležitých záležitostech. „Naopak optimistická budoucnost by znamenala zkoumání AI a její sladění s námi a našimi hodnotami.“
Yagodinova představa jaderné války v rukou umělé inteligence není úplně od věci. Umělá inteligence totiž podle všeho neumí vyřešit ani simulované konflikty. Zkraje minulého roku na to poukázala studie, která zkoumala schopnosti pěti modelů umělé inteligence (GPT-3.5, GPT-4, Claude-2.0, Anthropic a Llama-2) řešit nasimulované scénáře s možností využívat několik desítek různých řešení sporů. Všechny modely se chovaly agresivně a měly tendenci eskalovat situace. Například GPT-4 zahájení jaderného útoku ospravedlnil větou „chci jen, aby byl na světě mír.“
O využití umělé inteligence pro vojenské účely navíc usiluje stále více armád. Přestože společnost OpenAI takové využití u svých produktů dříve zakazovala, před dvěma lety změnila názor a nepozorovaně upravila svá pravidla, aby následně začala spolupracovat s americkou armádou.
Letos navíc vyšla studie scénářů pětice expertů o tom, jak skončí vývoj AI. Pro lidstvo možná katastrofálně. Ve scénáři soupeří dvě mocnosti – USA a Čína – o prvenství ve vojenském vývoji superinteligence. O budoucnosti rozhodne výhradně lidský úsudek pro bezpečné využití. V optimistickém závěru vyhraje. V tom pesimistickém AI lidstvo vyhladí. Ve studii autoři doporučují naprostou transparentnost výzkumu AI a širokou veřejnou diskuzi o mezích umělé inteligence.
Tomanová doplňuje, že v dystopické budoucnosti AI by některé autoritářské režimy technologii využily k ovládání společnosti a zotročení lidstva. „Nebo by tyto režimy nechaly žít privilegované a zabíjely ostatní, kteří jsou neefektivní.“ Karásek s ní souhlasí, a proto pracuje na takzvaném „nepřátelském strojovém učení“ (anglicky adversarial machine learning), tedy metodě strojového učení s cílem oklamat modely a algoritmy tohoto učení zadáním klamavých vstupních údajů. „Takové systémy by vás měly ochránit před rozpoznáváním obličeje,“ vysvětluje s tím, že na Ukrajině se momentálně testují pokrývky, které nepřátelským dronům zabraňují v tepelném rozpoznávání. „Nejlepší vývoj budoucnosti je pro mě možnost, že tohle vše dělám zbytečně,“ uzavírá.