Iniciativa AI dětem

Obecný úvod do umělé inteligence — kapitola 8

Proč umělá inteligence diskriminuje?

Termín předpojatost (bias) značí jev, kdy nesprávně připravená nebo nevyvážená data způsobí, že systémy umělé inteligence dospějí k řešením, která podporují předsudky. Taková řešení mohou mít silný dopad na konkrétní lidské životy.

Vraťme se zpět k příkladu z kapitoly Jak se umělá inteligence učí, kde jsme psali o aplikaci, která rozpoznává psy a kočky. V případě, že bychom modelu ve fázi testování předložili tisíc fotografií koček, které odpočívají doma na křesle, a tisíc fotek psů, kteří běhají venku na trávě, tak by natrénovaný model pravděpodobně rozpoznal kočku chytající motýla na zahradě jako psa.

Proč? Model by považoval za důležitější vzory pozadí na fotografiích, protože to obvykle tvoří většinu plochy obrázku. A modely nemají žádnou intuici, neví samy, co je důležité, a snaží se od sebe příklady oddělit tím nejjednodušším možným způsobem.

Pokud jsou modely natrénované na příkladech (datech), které chybně nebo nevyváženě reprezentují skutečnost, rozhodují se špatně. Pokud necháme klíčová rozhodnutí na systémech, které jsou nesprávně připraveny, může to mít neblahý dopad na naše životy.

Data

Data hrají při tvorbě modelu velkou roli, ale je důležité zmínit, že předpojatost může být zanesena do modelu v kterékoli části procesu strojového učení. Od první chvíle, kdy teprve analyzujeme problém a navrhujeme, jakým způsobem budeme postupovat při jeho řešení, při sběru dat, jejich čištění a analyzování nebo i při nesprávném použití modelu po jeho uveřejnění (např. v mobilní nebo webové aplikaci).

Typy předpojatosti

Různé zdroje uvádějí různý počet způsobů toho, jak může být AI model předpojatý. Tato kapitola vychází ze studie z roku 2021 od autorů z MIT. (zdroj 1, zdroj 2), která zmiňuje celkem 7 různých typů předpojatosti. Přehled o typech předpojatosti a o tom, kde se mohou objevit, je prvním krokem na cestě k tvorbě nezaujatých modelů.

Svět, ve kterém žijeme, má chyby, a proto mohou i data, která z něho vychází, být vadná, ačkoli mohou být naprosto perfektně nasbíraná. Historická předpojatost jde často ruku v ruce například s upevňováním předsudků vůči určité skupině lidí. Často se jedná o genderové nebo rasové předsudky.

Vzorek dat od obyvatel Prahy pravděpodobně nebude správně reprezentovat Karvinou. Podobně nebude vzorek od obyvatel Prahy starý 50 let odpovídat dnešnímu obyvatelstvu. K reprezentační předpojatosti dochází při natrénování modelu na datech, kterou nedostatečně reprezentují skupinu lidí, pro které je model určený.

Pokud budeme chtít získat sadu dat reprezentující lidi ve věku 18 až 40 let, bude obsahovat určité minoritní skupiny. Např. kolem 5% těhotných žen. Je proto velice pravděpodobné, že model nebude fungovat tak dobře pro těhotné, protože měl méně dat, na kterých by se naučil. ​

Pokud budeme chtít získat sadu dat reprezentující lidi ve věku 18 až 40 let, bude obsahovat určité minoritní skupiny. Např. kolem 5% těhotných žen. Je proto velice pravděpodobné, že model nebude fungovat tak dobře pro těhotné, protože měl méně dat, na kterých by se naučil.

Nejčastěji se tento typ objevuje, pokud se snažíme přibližně zachytit nějaký konstrukt (myšlenku nebo koncept) a příliš ho zjednodušíme. Například pokud nálepku „úspěšného studenta“ omezíme pouze na jeho prospěch ve škole. Nebo pokud se způsob měření liší v různých skupinách, od kterých sbíráme data.

Předpojatost při uvedení modelu do praxe

K tomuto typu může dojít při nesouladu záměru, ke kterému byl AI model vyvinut, a způsobu, jakým je AI model v praxi využíván.

Předpojatost získaná při učení modelu

Při tvorbě modelu musíme udělat rozhodnutí, např. volba účelové funkce, která upřednostní nějaké vyhodnocovací metriky na úkor jiných. A model bude mít větší míru falešně pozitivních výsledků, než by bylo žádoucí.

Předpojatost při hodnocení/vyhodnocování

Kvalita modelu je často určována porovnáním s benchmarkovými datasety (volně dostupné, velké datové sady). Problém nastává v momentě, kdy benchmarkové datasety obsahují historické, reprezentační předpojatosti nebo předpojatosti v měření. Snaha mít co nejvyšší přesnost na takovémto typu datasetu potom podporuje vývoj a uvedení do praxe modelů, které mají vysokou přesnost pouze na skupině dat reprezentované těmito datasety. (A tím posiluje obsažené typy předpojatostí.)

Předpojatost při seskupování

Pokud zkombinujeme datasety reprezentující skupiny lidí s rozdílným zázemím nebo kulturou, může dojít k tomu, že výsledný model nebude přijatelně reprezentovat ani jednu skupinu, nebo bude reprezentovat tu skupinu, které je v datasetu nejdominantnější.

Například:
Cukrovka se objevuje u Hispánců ve vyšší míře oproti ostatním a mají i vyšší riziko komplikací spojených s tímto onemocněním. Při tvorbě AI pro diagnózu nebo monitorování cukrovky je potřeba tuto nerovnost nějak ošetřit například přidáním etnicity mezi vstupní parametry, nebo vytvořením samostatného modelu pro různá etnika.

Předpojatost z nedbalosti

Pokud jsou historická data, ze kterých AI vychází, jasně předpojatá a my z nich vytvoříme AI model, bude předpojatý také. Tomuhle se říká „garbage in, garbage out“. Pokud naučím chatbota na konverzacích, které jsou rasistické a sexistické, bude v tomto duchu vést i nové konverzace.

Co můžeme udělat?

Otázka, která je tedy na místě, zní: „Můžeme se jich nějak zbavit?“ A rychlá odpověď zní: „Ano, částečně.“ Neexistuje nějaké univerzální řešení, které by odstranilo předpojatost spolehlivě vždy a všude. Je důležité přemýšlet v kontextu konkrétního zadání a znát dataset.

Některá z doporučení, jak se předpojatosti můžeme vyhnout, jsou: rozšiřte dataset, zapojte do vývoje lidi různého pohlaví a národnosti, vylučte z dat informace, podle kterých by model mohl diskriminovat (pohlaví, národnost, věk...) a model dostatečně otestujte, než ho nasdílíte veřejnosti.

Nicméně se i při dodržení všech zásad model nemusí vydařit. Nic není dokonalé. Pokud k tomu dojde, je důležité uznat chybu a snažit se ji napravit dostupnými prostředky. Za pěkný příklad si můžeme vzít Google. Jejich model rozpoznával bezkontaktní teploměr na obrázku správně, pokud ho držel člověk světlé pleti. Pokud ho držel člověk tmavé pleti, domníval se, že teploměr je zbraň. Po upozornění se omluvil a upravil model, aby se vyhnul těmto závěrům. (zdroj)

Závěrem

Se zvyšujícím se vlivem strojového učení na naše životy je důležité, abychom se na umělou inteligenci byli schopni spolehnout s ohledem na přesnost a nezaujatost modelů. Všichni lidé zapojení do procesu tvorby AI modelů by měli neustále pracovat na tom, aby zdokonalovali části, které mají na starost — sběr dat, čištění, tvorba modelu a vyhodnocení výsledků, a snižovali tak míru předpojatosti svých modelů.

Zároveň i my bychom se měli stát kritickými uživateli technologií. Všímat si, aktivně posuzovat svět kolem nás, vzdělávat se. Nikdo z nás nedokáže předpovědět budoucnost, ale můžeme ji spoluvytářet tak, aby nám v ní bylo dobře.

Autor textu: Lucie Borovičková
Editoři: Herbert Ullrich, Vojtěch Jindra
Odborní garanti: Pavel Kordík, Jiří Materna
Datum poslední revize: 02/24

Doporučujeme k dalšímu studiu

bezplatný certifikovaný kurz

Bezplatný online kurz v češtině určený každému, kdo se chce dozvědět, co to je umělá inteligence, čeho lze a nelze jejím prostřednictvím dosáhnout a jak ovlivňuje naše životy. Pro účast v kurzu nejsou zapotřebí pokročilé znalosti matematiky ani znalost programování. Do českého prostředí kurz přináší prg.ai. Přejít na kurz →

Máte dotaz nebo hledáte podporu? Zeptejte se komunity či správců v naší FB skupině.

Pilotní vzdělávací program Umělá inteligence do základních škol 2022/23 realizuje Pražský inovační institut
v rámci projektu iKAP II — Inovace ve vzdělávání. Registrační číslo: CZ.02.3.68/0.0/0.0/19_078/0021106.

AI dětem © 2022. Využíváme cookies pro měření návštěvnosti webu.
Všechny vznikající metodiky podléhají licenci Creative Commons 4.0 Mezinárodní Licence.

Licence Creative Commons