Předpojatost při uvedení modelu do praxe

K tomuto typu může dojít při nesouladu záměru, ke kterému byl AI model vyvinut, a způsobu, jakým je AI model v praxi využíván.

Předpojatost získaná při učení modelu

Při tvorbě modelu musíme udělat rozhodnutí, např. volba účelové funkce, která upřednostní nějaké vyhodnocovací metriky na úkor jiných. A model bude mít větší míru falešně pozitivních výsledků, než by bylo žádoucí.

Předpojatost při hodnocení/vyhodnocování

Kvalita modelu je často určována porovnáním s benchmarkovými datasety (volně dostupné, velké datové sady). Problém nastává v momentě, kdy benchmarkové datasety obsahují historické, reprezentační předpojatosti nebo předpojatosti v měření. Snaha mít co nejvyšší přesnost na takovémto typu datasetu potom podporuje vývoj a uvedení do praxe modelů, které mají vysokou přesnost pouze na skupině dat reprezentované těmito datasety. (A tím posiluje obsažené typy předpojatostí.)

Předpojatost při seskupování

Pokud zkombinujeme datasety reprezentující skupiny lidí s rozdílným zázemím nebo kulturou, může dojít k tomu, že výsledný model nebude přijatelně reprezentovat ani jednu skupinu, nebo bude reprezentovat tu skupinu, které je v datasetu nejdominantnější.

Například:
Cukrovka se objevuje u Hispánců ve vyšší míře oproti ostatním a mají i vyšší riziko komplikací spojených s tímto onemocněním (zdroj). Při tvorbě AI pro diagnózu nebo monitorování cukrovky je potřeba tuto nerovnost nějak ošetřit například přidáním etnicity mezi vstupní parametry, nebo vytvořením samostatného modelu pro různá etnika.

Předpojatost z nedbalosti

Pokud jsou historická data, ze kterých AI vychází, jasně předpojatá a my z nich vytvoříme AI model, bude předpojatý také. Tomuhle se říká “garbage in, garbage out”. Pokud naučím chatbota na konverzacích, které jsou rasistické a sexistické, bude v tomto duchu vést i nové konverzace. (zdroj)