AI a gender
AI systémy, jako jsou třeba velké jazykové modely, dovedou personalizovat své výstupy konkrétnímu uživateli. Protože však zrcadlí stereotypy získané na vstupu, předsudky vykazují i na svých výsledcích. O tom, jak umělá inteligence pracuje s předpojatostí (bias) a znevýhodňuje marginalizované skupiny, proč je při vývoji technologií důležitý přístup vícero odvětví a jak lze zamezit odrážení celospolečenských stereotypů, debatovali účastníci sedmé debaty AI horizontů na téma AI a gender.
O debatě
Debata proběhla 25. 11. 2024
Moderovala ji Marta Martinová
Odkaz na Facebookovou událost
Autorem článku je žurnalista Jiří Labanc
Mluvčími byli
Je absolventkou doktorského studia antropologie na Západočeské univerzitě v Plzni. Dlouhodobě se věnuje tématu mužů a maskulinit ve vzdělávání, dalším jejím výzkumným zaměřením je vztah genderu, vědy a technologií. Soustředí se především na kvalitativní výzkum. V NKC je postdoktorandkou podílející se na několika výzkumných projektech. V současnosti je také odbornou asistentkou na Katedře sociologie Univerzity Hradec Králové, kde vyučuje kvalitativní metodologii a genderová studia.
Jakub Konrád je inženýr v oblasti zpracování přirozeného jazyka (NLP) a expert na interakci člověk–stroj a konverzační umělou inteligenci. Byl členem a v letech 2020 a 2021 také vedoucím oceněného týmu Alquist (ČVUT). Dovedl tým k vítězství v soutěži Amazon Alexa Prize Grand Challenge 4. Jakub je spoluzakladatelem společnosti PromethistAI, start-upu vyvíjejícího digitální persony – AI bytosti s komplexními konverzačními a sociálními dovednostmi. Vystudoval kybernetiku a robotiku na ČVUT a v současnosti pracuje na doktorátu v oboru umělé inteligence a biokybernetiky.
Lingvistka se zaměřením na human-machine interakci. Působí jako designérka konverzačních řešení ve společnosti Promethist.ai. Zabývá se komunikací na rozhraních, ať už jde o interakci člověk—člověk, člověk—stroj nebo umělec—divák. Věnuje se akademické politice a zasazuje se o zlepšení postavení humanitních věd ve společnosti. Vystudovala fonetiku na FF UK, scenáristiku a dramaturgii na University of Glasgow.
Jak zamezit předsudkům?
„Předsudky týkající se genderu jsou ve společnosti velkým tématem, a vidíme i jejich negativní důsledky,“ říká Jakub Konrád, inženýr v oblasti umělé inteligence a spoluzakladatel startupu Promethist. Generativní umělá inteligence do tohoto tématu vstupuje svým odrážením reality na základě předložených dat. „Ve chvíli, kdy jsou algoritmy či modely špatně natrénované, může to mít zásadní dopady na životy lidí – ať už jde o genderovou či jinou nevyváženost, která může zhoršovat životní blaho,“ dodává Konrád s tím, že špičkou ledovce jsou nesprávně zamířené reklamy na internetu.
Na bias, tedy předsudek, lze nahlížet z různých úrovní vývoje modelu umělé inteligence. „V prvé řadě je důležité již v rámci vývoje zmapovat vstupní data, která pro vývoj systému použijeme. Na základě vstupů je dobré předvídat, jakým způsobem by se bias mohl v systému projevit.“ Dalším krokem je podle Konráda odhalení a odstranění biasů pomocí technik zpracování dat.
Druhou kategorií řešení biasu je zpětná vazba uživatelů či interní analytiky. Na základě získaných informací je pak důležité vracet se k designu systému a biasy odstraňovat.
Lingvistka zaměřená na interakci člověka a stroje Petra Slížková míní, že bias je u jakéhokoliv systému chybou. „Prvním krokem k jejich odstranění ze systému je potřeba chyby pojmenovat. A nezáleží, zdali máme na mysli technologický či společenský systém.“ Slížková míní, že v nejhorším scénáři může přítomnost předsudků vážně ublížit skupinám, které budou biasem znevýhodněné.
„Zpětná vazba zákazníků je nejjednodušším přístupem, jak odhalit chybu,“ říká Slížková. „Problém je, že si zákazníky také můžete naštvat, a poté napíšou nepěknou recenzi na váš produkt,“ doplňuje s tím, že jde stále o detaily, které lze byznysově ošetřit, na rozdíl od reálných hrozeb diskriminace určitých skupin lidí.
Konrád k tomu dodává, že při vývoji systému, který je určen pro širokou veřejnost, je nutné hledat specifické menšinové proudy, a chyby s nimi spojené odstraňovat. „Příkladem je systém, jehož uživateli jsou v 90 % případů muži, zbylých 10 % jsou ženy. Z důvodu, že se zkrátka pohybuju v konkrétním řešení, které bude více zajímat muže, se tak ke mně dostane většinou pozitivní feedback, a to právě od mužů,“ říká.
Rozmanitost snižuje chybovost
Sociologie vynechávání určitých marginalizovaných skupin nevidí pozitivně. Tvrdí to socioložka Nina Fárová ze Sociologického ústavu Akademie věd ČR, která se věnuje vztahu genderu, vědy a technologií. „Jeden z velkých problémů, na které toto přehlížení často naráží, je i testování nástrojů a systémů. Běžně totiž neprobíhá na širokém celku uživatelů a zpětná vazba přichází až poté,“ říká Fárová. V rámci takzvaného „inkluzivního designu“ se tedy diskutuje o způsobu, jak do testování technologie zahrnout marginální skupiny, u kterých se očekává výskyt komplikací se stereotypy.
„Z hlediska probíhajících sociologických výzkumů o mezerách v tom, co dělají muži a co ženy, se diskutuje také o diverzifikovanějším složení technologických týmů – tedy kdo technologie vyrábí a jak jsou vývojářské týmy rozmanité. Ukazuje se totiž, že splnění těchto faktorů napomáhá ke snížení četnosti biasů,“ dodává Fárová.
Konrád doplňuje, že je důležité mít snahu zapojit do testování i vývoje systému co nejvíce perspektiv. „Ony ty problémy často bývají složité. To znamená, že homogenní skupina bude na problematiku nahlížet velmi podobně. V rámci jedné složky se tedy můžete dostat velmi rychle vpřed, ale ostatní zanedbáte – buďto vás vůbec nenapadnou, nebo ano, ale dáte jim nižší prioritu, protože nedomyslíte možné důsledky. Stále si však myslím, že jsme bariéru v rámci naší firmy Promethist neprorazili natolik, abychom měli spoustu vývojářek, stejně jako máme vysoký počet vývojářů,“ míní.
Odborníci ze startupu Promethist vyvíjejí takzvané digitální persony. „Jde o agenty, kteří na základě nastavení mohou nezávisle fungovat. Mají 3D vizuální podobu a zároveň jsou schopni komunikovat s osobou na druhé straně zařízení,“ vysvětluje Jakub Konrád. Promethist tyto persony dále poskytuje dalším firmám k jejich specifickým účelům, například coby asistenty na webových stránkách. „Lidé mají přirozenou tendenci personifikovat to, s čím interagují nebo co vidí naproti sobě. A protože naše digitální persony vypadají jako lidé, efekt personifikace je ještě silnější. V takové chvíli je otázka genderu zásadním faktorem,“ doplňuje Konrád.
Nina Fárová zmiňuje výzkumy, podle kterých jsou lidé v rámci servisních služeb zvyklejší na ženy. „Tím pádem i zákazníci často lépe reagují na ženské hlasy. Zároveň se na tomto základu od žen očekává menší asertivita a vyšší míra poslušnosti. Ženské hlasy nám mají navozovat příjemné domácké prostředí,“ objasňuje Fárová.
Pár světlých předsudků
Podle Petry Slížkové je podstatné, aby technologie s rozsáhlým dopadem na společnost nevyvíjeli jen technici. „Přestože je technická stránka základ, je zapotřebí multioborového přístupu. Vyvíjené systémy je vhodné dávat ke zpětné vazbě i lidem z jiných oborů, kteří uvažují více globálně a méně do hloubky technické stránky. Když jdou tyto přístupy ruku v ruce, ve výsledku udělají mnohem více,“ říká Slížková.
Současné systémy umělé inteligence mají podle moderátorky diskuze Marty Martinové tendence genderovou nevyváženost posilovat. Cituje studii Berkeley Haas Center for Equity, Gender and Leadership, ve které výzkumnici porovnávali 133 AI systémů z nejrůznějších zemí. Jakub Konrád k tomu podotýká, že systémy momentálně spíše replikují a propagují biasy, které se vyskytují napříč společností. „Musíme si ale uvědomit, že lidé se v posledních dvou letech stali aktivními uživateli nástrojů AI, jako je například ChatGPT. To znamená, že tyto technologie najednou mají přímý vliv na lidské uvažování i na to, co lidé produkují – ať už ve svém pracovním či osobním životě.“ Za předpokladu, že by se podařilo efekt diskriminace narovnat, z Konrádovy perspektivy by takové systémy AI mohly částečně předsudky korigovat.
Nina Fárová jmenuje i pozitivní příklady genderového zkreslení. „AI systémy se učí ze stereotypních dat. Stereotypní jsou proto i výstupy. Někdy však mohou být nápomocny, kupříkladu v rámci algoritmů, které jsou schopny rozpoznat oběť domácího násilí o tři roky dříve, než se jí skutečně stane. Nebo algoritmy, které dovedou mnohem rychleji diagnostikovat endometriózu než v případě běžného lékařského vyšetření.“ Genderovou nerovnost, která je důsledkem předsudků při sběru velkých dat, podrobně rozebírá například spisovatelka Caroline Criado-Perez ve své knize z roku 2019 Neviditelné ženy: Jak data a výzkumy utvářejí svět pro muže.
Podle Konráda má umělá inteligence v mnoha odvětvích transformativní potenciál. „Můžeme na AI nahlížet jako na prostředek standardizace nebo nastolení vyšších očekávání toho, jak by různé systémy měly fungovat,“ dodává.