Analýza možných důsledků velkých jazykových modelů (jako je GPT) na americký trh práce odhaduje, že cca 15 % úkolů by mohlo být díky velkým jazykovým modelům splněno rychleji a s dalším softwarem dojde ke zvýšení v rozmezí 47—56 % úkolů. Podívejte se, jaká odvětví budou dle analýzy ovlivněna nejvíce:
Většina z nás se denně potkává s aplikacemi umělé inteligence, ale ne vždy chápeme technologie, které za tím stojí. Tato mezera v gramotnosti (AI Literacy Gap) společně s častým využíváním AI může vést ke zranitelnosti a snadné zmanipulovatelnosti. Měli bychom porozumět nejen potenciálu umělé inteligence, ale také rizikům, jež tato přelomová technologie přináší.
Technologie jsou prostředkem, jenž může být velmi nápomocný jak žákům, tak učitelům. Na následujícím obrázku je odhad, která část stávajících týdenních pracovních povinností učitele může být v budoucnosti realizována umělou inteligencí.
Následující video ukazuje žáky v Číně, jejichž soustředění může pedagog monitorovat v reálném čase pomocí EEG. Zatímco mnozí rodiče a učitelé podobné technologie považují za nástroje ke zlepšení známek, některé děti je vnímají spíše negativně.
Z evropského pohledu je takový přístup k dětem ve školách těžko představitelný, jelikož směřujeme naopak k regulaci umělé inteligence (The AI Act).
V roce 2022 proběhla na finských základních školách studie se 195 žáky 5. a 6. tříd, která zkoumala jejich představu o umělé inteligenci, jejím výskytu a důvodech jejího využití. Cílem studie bylo zjistit povědomí žáků o AI ještě před absolvováním školní výuky v této oblasti a vyvodit důsledky pro výuku gramotnosti v oblasti AI.
Za méně než sto let se umělá inteligence proměnila z okrajové disciplíny teoretické matematiky v něco, s čím se každodenně setkávají miliony lidí po celém světě. Proklikněte se na časovou osu a podívejte se na nejdůležitější milníky vývoje umělé inteligence. Představí momenty, kdy se stroje naučily komunikovat, vnímat své okolí, samostatně se pohybovat nebo překonat člověka v řešení nejrůznějších problémů.
Umělá inteligence má obvykle formu počítačového programu a slouží k řešení úloh, k nimž byl dříve potřeba značný lidský intelekt, a byly tedy doménou lidí (nebo v některých případech zvířat).
Chování člověka i dalších inteligentních živočichů systémy umělé inteligence často napodobují, a vcelku běžně tedy mívají schopnost vnímat, učit a přizpůsobovat se. Důležité je, že nemusí jít o roboty, jak si lidé často myslí — systémy umělé inteligence si ke svému fungování ve většině případů vystačí s počítačem.
Dokázali byste identifikovat, kde se s AI denně setkáváme?
Umělá inteligence je v současném světě velkým přínosem v mnoha oblastech.
Strojové učení přináší zásadní změnu ve způsobu, jakým vytváříme stroje. Místo toho, abychom jim přesně popisovali nějaký postup, ukážeme jim velké množství příkladů, ze kterých se samy naučí, jak vykonávat konkrétní úlohy.
Představte si to na příkladu robotů, které bychom chtěli naučit hrát fotbal. Pokud bychom se snažili napsat algoritmus, který by popisoval všechny situace na hřišti a jak na ně mají roboti reagovat, bylo by to velmi zdlouhavé, ne-li nemožné. A tak místo toho vytvoříme pro roboty program, který je schopen se z mnoha příkladů naučit hrát fotbal sám. Třeba takhle:
Jaké jsou rozdíly mezi těmito přístupy, popisuje studie výzkumníků Matti Tedreho a Henriikky Vartiainen:
Přístup založený na algoritmech
Formalizace problému
Návrh řešení v podobě algoritmu
Implementace řešení krok za krokem
Kompilace a spuštění programu
Přístup založený na strojovém učení
Popis problému a sběr dat
Čištění, úprava a anotace dat
Trénování programu strojového učení
Testování programu a jeho případná úprava
V rámci přístupu založeného na datech (data-driven) je tou hlavní náplní experimentování s daty a výsledkem je pravděpodobnostní model. Naopak algoritmický přístupu (rule-driven) má jasnou strukturu a jeho výstup je deterministický (výsledek je stejný).
Představme si, že chceme naučit počítač rozpoznávat čísla 5 a 8. Jak by se lišil postup v případně algoritmického přístupu a strojového učení?
Algoritmický přístup
Čísla 5 a 8, jak je známe například z kalkulačky, bychom mohli strojům popsat pomocí této tabulky:
Plošky, které svítí (jsou červené), jsou v tabulce reprezentovány jako číslo 1. Plošky, které nesvítí, jako číslo 0. Jenomže pracujeme-li s takto přesnou definicí, náš program pochopitelně selže, pokud mu následně ukážeme ručně psané číslice.
Ba co víc, takový program dokonce nedokáže pracovat s jinou reprezentací dat, než je sedm jedniček a nul.
Strojové učení
V rámci tohoto přístupu bychom programu ukázali velké množství obrázků číslic, ze kterých by si vytvořil vlastní reprezentace sám. Například takto:
Toto je ukázka datasetu MNIST — 70 000 číslic, ze kterých se programy strojového učení (modely) učí rozpoznávat číslice.
Je zřejmé, že tento přístup je mnohem složitější. Namísto sepsání několika jednoduchých pravidel musíme trénovat model (vlastně metodou pokusu a omylu, viz níže) na velkém množství dat, která předtím musíme sesbírat a označit.
Obrovskou výhodou ale je, že výsledný model bude — na rozdíl od algoritmického přístupu — fungovat na různě napsaných číslicích.
Pokud bychom chtěli vytvořit pomocí tohoto typu strojového učení aplikaci, která rozpoznává psy a kočky, museli bychom nejdříve systému umělé inteligence říci, na kterých obrázcích jsou kočky a na kterých psi (tzv. anotovat data). Lidé tedy plní úlohu učitelů, podle čehož se tento přístup nazývá.
Po rozdělení obrázků na kočky a psy bychom natrénovali model strojového učení a poté bychom mu ukazovali obrázky koček a psů, které ještě nikdy neviděl.
Sledovali bychom, zda zvíře určil správně. Pokud ne, vylepšili bychom datovou sadu a natrénovali model znovu.
Někdy může být velmi zdlouhavé, nákladné či přímo nemožné všechna data anotovat. V takových případech využíváme strojové učení bez učitele.
Tento typ programu si vyhledává podobnosti (vzory) sám a vstupní data poté dokáže rozdělit do shluků (anglicky cluster), abychom se v datech my lidé lépe vyznali — a především pak snadno určili, co který shluk znamená.
Jedno z prvních využití tohoto typu strojového učení bylo, když mu výzkumníci ukázali 10 milionů videí na YouTube. Program v nich vyhledával podobnosti a jako první určil vzory, které my lidé vnímáme jako kočky! 🙂
Někdy necháme stroje, aby něco zkoušely samy, a následně jim dáváme zpětnou vazbu. Takto se třeba program zvaný Agent57 naučil sám hrát hry na konzoli Atari. Nebo se díky tomuto typu strojového učení naučil psí robot vstávat.
Princip posilovaného učení (anglicky Reinforcement Learning, RL) nám nejlépe ukáže slepička:
Stejným způsobem se učí také MENACE — 304 krabiček od zápalek, které můžete naučit hrát piškorky 3×3 tak, že není možné je porazit. MENACE vymyslel a vytvořil v roce 1961 Donald Michie.
Neuronová síť je program, který napodobuje způsob, jakým náš mozek zpracovává informace. Stejně jako jiné algoritmy se učí z dat, aby mohla provádět úkoly jako například rozpoznávání obrázků nebo předpovídání počasí.
Jejím specifikem je využití umělých neuronů – velmi jednoduchých jednotek, které jsou inspirovány neurony biologickými – jež jsou v síti poskládány do po sobě jdoucích vrstev. Informace proudí ze vstupu sítě (například mnoha pixelů obrázku) přes jednotlivé vrstvy až do výstupní vrstvy.
Neuronové sítě jsou jedním z mnoha druhů modelů, které využíváme v různých úlohách. Využívají se pro učení s učitelem, bez učitele i pro posilované učení.
Přestože první umělý neuron byl vytvořen již v roce 1943, muselo lidstvo na svou první neuronovou síť čekat až do padesátých let 20. století. Vytvořil ji inženýr Frank Rosenblatt a nazval ji Mark I perceptron. Tato síť obsahovala jediný perceptron (umělý neuron).
Představte si ji jako jednoduchou elektronickou „mysl“, která se snaží rozhodnout, zda něco patří do jedné kategorie, nebo do druhé, na základě vstupních dat. Funguje tak, že přijímá informace (čísla), váží je podle určitého kritéria a poté rozhodne, do jaké kategorie data patří. Pokud se při prvním pokusu nerozhodne správně, upraví svá kritéria a zkusí to znovu, dokud se nenaučí rozhodovat správně.
Dnes už používáme sítě mnohem větší. Například hluboké neuronové sítě, které stojí za velkými jazykovými nebo obrazovými modely, mohou mít až biliony neuronů.
Vraťme se zpět k naší aplikaci, která rozpoznává psy a kočky. V případě, že bychom modelu ve fázi testování předložili tisíc fotografií koček, které odpočívají doma na křesle, a tisíc fotek psů, kteří běhají venku na trávě, tak by natrénovaný model pravděpodobně rozpoznal kočku chytající motýla na zahradě jako psa.
Proč? Model by považoval za důležitější vzory pozadí na fotografiích, protože to obvykle tvoří většinu plochy obrázku. A modely nemají žádnou intuici, neví samy, co je důležité, a snaží se od sebe příklady oddělit tím nejjednodušším možným způsobem.
Pokud jsou modely natrénované na příkladech (datech), které chybně nebo nevyváženě reprezentují skutečnost, rozhodují se špatně. Pokud necháme klíčová rozhodnutí na systémech, které jsou nesprávně připraveny, může to mít neblahý dopad na naše životy.
Hans byl kůň žijící na přelomu 19. a 20. století v Německu. Proslavil se svou mimořádnou inteligencí. Údajně byl schopen řešit aritmetické úlohy, číst a rozumět německému jazyku (odpovídal bušením kopytem o zem). Vystupoval s ním jeho majitel Wilhelm von Osten — učitel matematiky a amatérský výzkumník.
Vzhledem k výjimečným schopnostem, které Hans projevoval, se na něj upnula pozornost široké veřejnosti i vědecké komunity. V roce 1907 byla vytvořena komise, složená z expertů z různých oborů, která měla zkoumat jeho schopnosti.
Výzkumníci provedli řadu experimentů a zjistili, že Hans dokázal odpovědět na 89 % otázek správně, když jeho trenér von Osten na otázku odpověď znal. Ale v případě, že ji neznal, Hans odpověděl správně pouze na 6 % otázek.
Komise dospěla k závěru, že kůň reagoval na nevědomé pohyby a signály von Ostena, například pohyby hlavy nebo změny výrazu obličeje. Jednalo se o takzvaný Clever Hans effect či ideomotorický efekt.
Tento příklad velmi dobře ilustruje koncept strojového učení a předpojatosti. Von Osten byl „konstruktérem“ Hansovy inteligence, ale jeho porozumění způsobu, jak se kůň učí, bylo mylné. Podobné je to i s lidským pochopením toho, jak systémy AI interpretují data, na kterých byly natrénovány.
Legrační ukázkou předpojatosti je také obrázek generovaný pomocí umělé inteligence — konkrétně pro zadání (prompt) losos v peřejích (původně „salmon in a river“). Podobné mýlky vznikají jednoduše proto, že generativní model, který obrázek vytvořil, byl natrénovaný na datech, kde byl losos reprezentován častěji jako steak než jako ryba.
Zkuste se vcítit do rozhodovacího systému samořídícího auta. Vozovka je mokrá, jedete rychlostí 50 km/h, vezete tři pasažéry a do cesty vám skočí člověk honící míč. Když strhnete volant, narazíte do stromu a ohrozíte pasažéry. Když pojedete rovně, vážně zraníte běžce. Jak se rozhodnete?
Nejen autonomní auta, ale všechny inteligentní systémy dělají mnoho rozhodnutí. Úkolem nás lidí je vytvořit tyto systémy tak, aby se rozhodovaly co nejlépe. Zároveň je zřejmé, že jsou potřeba jiné instrukce například pro domácího robota a jiné pro autonomní dron, který hlídá hranice znepřátelených států.
LLM jsou trénovány na obrovském množství textů, kterým se říká korpusy. To mohou být třeba digitalizované knihy, články, obsah Wikipedie a další. Takto se například vyvíjel model GPT [zdroj]:
Knižní korpus GPT-1
Romantické knihy: 26,1 %
Fantasy: 13,6 %
Sci-fi: 7,5 %
Pro dospívající: 6,8 %
Thriller: 5,9 %
Knihy o upírech: 5,4 %
Mysteriózní: 5,6 %
Další...
Common Crawl
Databáze Common Crawl je veřejně dostupný archiv webových stránek. Je vytvářen pravidelným procházením (crawlováním) webu a ukládáním obsahu.
Velké jazykové modely mají svou vnitřní reprezentaci našeho světa. Je vytvořena pomocí tzv. vektorů. Představte si model jako obrovský mnohodimenzionální prostor, v němž každé slovo (token) má svou přesnou polohu. Té se říká vektor a můžete si ho představit jako souřadnici. Různá slova mají k sobě v různých kontextech blíže než k jiným.
Například když napíšete do ChatGPT prompt:
slovo „oko“ se bude nacházet v tomto kontextu jinde, než když napíšete:
Zásadní podíl na rozvoji této technologie má i český vědec Tomáš Mikolov.
Mimo aplikace ChatGPT můžete pro komunikaci s LLM využít zdarma třeba také Google Bard nebo Microsoft Bing (Bing funguje jen v prohlížeči Edge) nebo Perplexity AI.
Velké zvíře na obrázku znázorňuje všechna data, na kterých byl GPT natrénován. S nadsázkou se ale my uživatelé bavíme pouze se žlutým sluníčkem. Tedy částí, která „nepapouškuje“ neetické nebo například nebezpečné věci. Vývojáře to stálo velké množství času a financí.
Zdroj obrázku: neznámý kreativec, X (Twitter)
Zdroj infografiky: lifeArchitect
Velmi zajímavý nástroj je také tzv. Tokenizer. LLM totiž „nepřemýšlí“ ve znacích, ale v tokenech. V tomto nástroji se můžete podívat, jak jsou věty vystavěné pomocí tokenů. Zajímavé je také porovnat české a anglické texty — uvidíte tak na vlastní oči, proč v angličtině funguje ChatGPT často lépe.
My v AI dětem to víme, vážně. Ale je dobré znát alespoň pár teoretických konceptů.