Obecný úvod do umělé inteligence — kapitola 8
Proč umělá inteligence diskriminuje?
Obrázek v hlavičce byl vygenerován umělou inteligencí programem Midjourney. Prompt: A large group of people in white clothes, covered faces. To the side of their group are two people in black clothes.
Umělá inteligence a strojové učení mají potenciál nám pomáhat a usnadňovat naše životy, mohou ale mít i naprosto opačný účinek. Typickým — ač často nechtěným — problémem strojového učení je předpojatý (biased) model. Předpojatost nebo podjatost je důsledkem nevyvážených nebo nesprávně připravených dat.
Termín předpojatost značí jev, kdy nesprávně připravená nebo nevyvážená data způsobí, že systémy umělé inteligence dospějí k řešením, která podporují předsudky. Taková řešení mohou mít silný dopad na konkrétní lidské životy.
Data
Data hrají při tvorbě modelu velkou roli, ale je důležité zmínit, že předpojatost může být zanesena do modelu v kterékoli části procesu strojového učení. Od první chvíle, kdy teprve analyzujeme problém a navrhujeme, jakým způsobem budeme postupovat při jeho řešení, při sběru dat, jejich čištění a analyzování nebo i při nesprávném použití modelu po jeho uveřejnění (např. v mobilní nebo webové aplikaci).
Tolik předpovídá zpráva společnosti Gartner z roku 2018, že v roce 2022 bude AI projektů předkládat chybné/nepřesné výsledky z důvodu předpojatých datasetů, algoritmů, nebo týmů, které je vytvořily. (zdroj)
Typy předpojatosti
Různé zdroje uvádějí různý počet způsobů toho, jak může být AI model předpojatý. Tato kapitola vychází ze studie z roku 2021 od autorů z MIT. (zdroj 1, zdroj 2), která zmiňuje celkem 7 různých typů předpojatosti. Přehled o typech předpojatosti a o tom, kde se mohou objevit, je prvním krokem na cestě k tvorbě nezaujatých modelů.
Konkrétněji zmíníme první tři typy předpojatosti, které mohou vzniknout v procesu přípravy dat:
Historická předpojatost
Svět, ve kterém žijeme, má chyby, a proto mohou i data, která z něho vychází, být vadná. (Ačkoli mohou být naprosto perfektně nasbíraná.) Historická předpojatost jde často ruku v ruce například s upevňováním předsudků vůči určité skupině lidí.
⤏
AI naučená na velkém množství textů jako jsou např. zpravodajské weby nebo Wikipedie, má z těchto textů tendenci přebírat opakující se stereotypy. Například slova „nurse“ (zdravotní sestra/zdravotní bratr) nebo „engineer“ (inženýrka/inženýr) jsou silně spojená s ženami nebo muži. Pozn.: v češtině máme přechylování, proto uvádíme anglická slova.
Pokud tedy použijeme takto naučený model při tvorbě chatbota nebo při strojovém překladu textů, může se stát, že náš projekt bude tyto stereotypy nadále posilovat.
Reálným příkladem je Google Translate, který například při překladu „die Doktorin“ (německy lékařka) do češtiny, španělštiny nebo francouzštiny vždy vrátí „lékaře“ v mužském rodě. (zdroj)
⤏
Soudy v USA používají AI systém COMPAS, který má za cíl predikovat pravděpodobnost toho, že obžalovaný spáchá zločin znovu. Obžalovaní, kteří dostali od systému nálepku „vysoké riziko toho, že spáchá nějaký zločin znovu“, ačkoli žádný zločin už nespáchali, byli ve výrazné většině lidé tmavé pleti. (zdroj)
Reprezentační předpojatost
Vzorek dat od obyvatel Prahy pravděpodobně nebude správně reprezentovat Karvinou. Podobně nebude vzorek od obyvatel Prahy starý 50 let odpovídat dnešnímu obyvatelstvu. K reprezentační předpojatosti dochází při natrénování modelu na datech, kterou nedostatečně reprezentují skupinu lidí, pro které je model určený.
Pokud budeme chtít získat sadu dat reprezentující lidi ve věku 18 až 40 let, bude obsahovat určité minoritní skupiny. Např. kolem 5% těhotných žen. Je proto velice pravděpodobné, že model nebude fungovat tak dobře pro těhotné, protože měl méně dat, na kterých by se naučil.
⤏
Pokud budeme chtít vylepšit systém veřejné dopravy ve městě a data budeme sbírat od uživatelů chytrých telefonů, budou starší lidé/senioři podstatně méně zastoupeni a jejich potřeby nebudou reflektovány. Důvodem může být, že starší lidé pravděpodobně nevyužívají v tak hojné míře chytré telefony.
⤏
Systémy pro rozpoznávání tváří uvádějí velmi vysoká procenta přesnosti/úspěšnosti (přes 90%), výsledky se však velmi liší v závislosti na rase a pohlaví. Rozdíl mezi tím, jak dobře AI rozpoznává tváře mužů se světlou pletí a žen s tmavou pletí, se může vyšplhat až na 34%. (zdroj)
Dá se snadno odhadnout, že datasety pro trénování se skládají převážně z lidí světlé pleti a převažující pohlaví je mužské.
Na obrázku je vidět porovnání přesnosti technologií na rozpoznávání tváří od různých společností v závislosti na barvě pleti a pohlaví.
Předpojatost v měření
Nejčastěji se tento typ objevuje, pokud se snažíme přibližně zachytit nějaký konstrukt (myšlenku nebo koncept) a příliš ho zjednodušíme. Například pokud nálepku „úspěšného studenta“ omezíme pouze na jeho prospěch ve škole. Nebo pokud se způsob měření liší v různých skupinách, od kterých sbíráme data.
⤏
Předpojatost při uvedení modelu do praxe
K tomuto typu může dojít při nesouladu záměru, ke kterému byl AI model vyvinut, a způsobu, jakým je AI model v praxi využíván.
Předpojatost získaná při učení modelu
Při tvorbě modelu musíme udělat rozhodnutí, např. volba účelové funkce, která upřednostní nějaké vyhodnocovací metriky na úkor jiných. A model bude mít větší míru falešně pozitivních výsledků, než by bylo žádoucí.
Předpojatost při hodnocení/vyhodnocování
Kvalita modelu je často určována porovnáním s benchmarkovými datasety (volně dostupné, velké datové sady). Problém nastává v momentě, kdy benchmarkové datasety obsahují historické, reprezentační předpojatosti nebo předpojatosti v měření. Snaha mít co nejvyšší přesnost na takovémto typu datasetu potom podporuje vývoj a uvedení do praxe modelů, které mají vysokou přesnost pouze na skupině dat reprezentované těmito datasety. (A tím posiluje obsažené typy předpojatostí.)
Předpojatost při seskupování
Pokud zkombinujeme datasety reprezentující skupiny lidí s rozdílným zázemím nebo kulturou, může dojít k tomu, že výsledný model nebude přijatelně reprezentovat ani jednu skupinu, nebo bude reprezentovat tu skupinu, které je v datasetu nejdominantnější.
Například:
Cukrovka se objevuje u Hispánců ve vyšší míře oproti ostatním a mají i vyšší riziko komplikací spojených s tímto onemocněním (zdroj). Při tvorbě AI pro diagnózu nebo monitorování cukrovky je potřeba tuto nerovnost nějak ošetřit například přidáním etnicity mezi vstupní parametry, nebo vytvořením samostatného modelu pro různá etnika.
Předpojatost z nedbalosti
Pokud jsou historická data, ze kterých AI vychází, jasně předpojatá a my z nich vytvoříme AI model, bude předpojatý také. Tomuhle se říká “garbage in, garbage out”. Pokud naučím chatbota na konverzacích, které jsou rasistické a sexistické, bude v tomto duchu vést i nové konverzace. (zdroj)
Co můžeme udělat?
Otázka, která je tedy na místě, zní: „Můžeme se jich nějak zbavit?“ A rychlá odpověď zní: „Ano, částečně.“ Neexistuje nějaké univerzální řešení, které by odstranilo předpojatost spolehlivě vždy a všude. Je důležité přemýšlet v kontextu konkrétního zadání a znát dataset.
Některá z doporučení, jak se předpojatosti můžeme vyhnout, jsou: rozšiřte dataset, zapojte do vývoje lidi různého pohlaví a národnosti, vylučte z dat informace, podle kterých by model mohl diskriminovat (pohlaví, národnost, věk...) a model dostatečně otestujte, než ho nasdílíte veřejnosti.
Nicméně se i při dodržení všech zásad model nemusí vydařit. Nic není dokonalé. Pokud k tomu dojde, je důležité uznat chybu a snažit se ji napravit dostupnými prostředky. Za pěkný příklad si můžeme vzít Google. Jejich model rozpoznával bezkontaktní teploměr na obrázku správně, pokud ho držel člověk světlé pleti. Pokud ho držel člověk tmavé pleti, domníval se, že teploměr je zbraň. Po upozornění se omluvil a upravil model, aby se vyhnul těmto závěrům. (zdroj)
Závěrem
Se zvyšujícím se vlivem strojového učení na naše životy je důležité, abychom se na umělou inteligenci byli schopni spolehnout s ohledem na přesnost a nezaujatost modelů. Všichni lidé zapojení do procesu tvorby AI modelů by měli neustále pracovat na tom, aby zdokonalovali části, které mají na starost — sběr dat, čištění, tvorba modelu a vyhodnocení výsledků, a snižovali tak míru předpojatosti svých modelů.
Zároveň i my bychom se měli stát kritickými uživateli technologií. Všímat si, aktivně posuzovat svět kolem nás, vzdělávat se. Nikdo z nás nedokáže předpovědět budoucnost, ale můžeme ji spoluvytářet tak, aby nám v ní bylo dobře.
Autor textu: Lucie Borovičková
Editoři: Herbert Ullrich, Vojtěch Jindra
Odborní garanti: Pavel Kordík, Jiří Materna, Antonín Král
Datum poslední revize: 09/22
Pilotní vzdělávací program Umělá inteligence do základních škol 2022/23 realizuje Pražský inovační institut
v rámci projektu iKAP II —
Inovace ve vzdělávání. Registrační číslo: CZ.02.3.68/0.0/0.0/19_078/0021106.
AI dětem © 2022. Využíváme cookies pro měření návštěvnosti webu.
Všechny vznikající metodiky podléhají licenci Creative Commons 4.0 Mezinárodní Licence.
