Proč umělá inteligence diskriminuje?

Svět, ve kterém žijeme, má chyby, a proto mohou i data, která z něho vychází, být vadná, ačkoli mohou být naprosto perfektně nasbíraná. Historická předpojatost jde často ruku v ruce například s upevňováním předsudků vůči určité skupině lidí. Často se jedná o genderové nebo rasové předsudky.

Vzorek dat od obyvatel Prahy pravděpodobně nebude správně reprezentovat Karvinou. Podobně nebude vzorek od obyvatel Prahy starý 50 let odpovídat dnešnímu obyvatelstvu. K reprezentační předpojatosti dochází při natrénování modelu na datech, kterou nedostatečně reprezentují skupinu lidí, pro které je model určený.

Pokud budeme chtít získat sadu dat reprezentující lidi ve věku 18 až 40 let, bude obsahovat určité minoritní skupiny. Např. kolem 5% těhotných žen. Je proto velice pravděpodobné, že model nebude fungovat tak dobře pro těhotné, protože měl méně dat, na kterých by se naučil. ​

Nejčastěji se tento typ objevuje, pokud se snažíme přibližně zachytit nějaký konstrukt (myšlenku nebo koncept) a příliš ho zjednodušíme. Například pokud nálepku „úspěšného studenta“ omezíme pouze na jeho prospěch ve škole. Nebo pokud se způsob měření liší v různých skupinách, od kterých sbíráme data.

Předpojatost při uvedení modelu do praxe

K tomuto typu může dojít při nesouladu záměru, ke kterému byl AI model vyvinut, a způsobu, jakým je AI model v praxi využíván.

Předpojatost získaná při učení modelu

Při tvorbě modelu musíme udělat rozhodnutí, např. volba účelové funkce, která upřednostní nějaké vyhodnocovací metriky na úkor jiných. A model bude mít větší míru falešně pozitivních výsledků, než by bylo žádoucí.

Předpojatost při hodnocení/vyhodnocování

Kvalita modelu je často určována porovnáním s benchmarkovými datasety (volně dostupné, velké datové sady). Problém nastává v momentě, kdy benchmarkové datasety obsahují historické, reprezentační předpojatosti nebo předpojatosti v měření. Snaha mít co nejvyšší přesnost na takovémto typu datasetu potom podporuje vývoj a uvedení do praxe modelů, které mají vysokou přesnost pouze na skupině dat reprezentované těmito datasety. (A tím posiluje obsažené typy předpojatostí.)

Předpojatost při seskupování

Pokud zkombinujeme datasety reprezentující skupiny lidí s rozdílným zázemím nebo kulturou, může dojít k tomu, že výsledný model nebude přijatelně reprezentovat ani jednu skupinu, nebo bude reprezentovat tu skupinu, které je v datasetu nejdominantnější.

Například:
Cukrovka se objevuje u Hispánců ve vyšší míře oproti ostatním a mají i vyšší riziko komplikací spojených s tímto onemocněním. Při tvorbě AI pro diagnózu nebo monitorování cukrovky je potřeba tuto nerovnost nějak ošetřit například přidáním etnicity mezi vstupní parametry, nebo vytvořením samostatného modelu pro různá etnika.

Předpojatost z nedbalosti

Pokud jsou historická data, ze kterých AI vychází, jasně předpojatá a my z nich vytvoříme AI model, bude předpojatý také. Tomuhle se říká „garbage in, garbage out“. Pokud naučím chatbota na konverzacích, které jsou rasistické a sexistické, bude v tomto duchu vést i nové konverzace.