Od internetu k GPT aneb jak se stáváme kolektivní inteligencí
Jak Velké jazykové modely přispívají k vývoji lidského hivemindu
Před pár lety jsem se zapojil do diskuse s jedním z mých přátel, která vyústila do sporu ohledně toho, zda je Internet jakýmsi malým lidským hivemindem, či nikoliv. Zatímco někteří považovali Internet za pouhý nástroj propojování informací a lidí, já jsem se postavil na opačný břeh spektra tvrzením, že Internet má něco víc - že představuje jakousi kolektivní vědomí. Samozřejmě, že Internet je nástrojem na propojení lidí, ale taktéž zde vzniká emergentním jevem jakási sdílená identita lidstva. Jsem přesvědčen, že tomu tak je a navíc představení velkých jazykových modelů (LLM), jako je například OpenAI ChatGPT, uvádí tento hivemind do dalšího evolučního stádia.
Hivemind jako koncept
Nejdříve si ale musíme vysvětlit, co hivemind vlastně je. "Hivemind" je termín, který pochází z biologie a přesněji z oboru chování sociálního hmyzu, jako jsou včely a mravenci, ale i jiní. U těchto druhů se zdá, že kolektivní chování skupiny vykazuje větší inteligenci nebo schopnost řešit problémy než jakýkoli jednotlivý příslušník druhu, znovu se zde setkáváme s emergencí. Skupina hmyzu neboli "úl" funguje jako jeden celek, přičemž každý jedinec přispívá k celkovým cílům skupiny a z akcí každého jedince vzniká mnohem komplexnější úl, kde například dochází k farmaření hub nebo k chování dobytka.
Emergence (z lat. e-mergere, vynořovat se, vyvstávat) znamená spontánní vznik makroskopických vlastností a struktur složitých systémů, jež není snadné odvodit z vlastností jejich složek. Takové vlastnosti a struktury, jež vznikají z množství poměrně jednoduchých interakcí, se nazývají emergentní. (cs.wikipedia.org)
V technologickém nebo science fiction kontextu se hivemind často používá k popisu formy kolektivního vědomí nebo kolektivní inteligence, kdy více jednotlivců, počítačů nebo jiných entit sdílí své znalosti nebo výpočetní výkon, aby pracovali na dosažení společného cíle. Populární příklady jsou Borgové ze Star Treku, Tyranidi z Warhammer 40k, Zergové ze Starcraftu a mnoho dalších, což jen ukazuje oblíbenost této tropy, která často zobrazuje tento druh negativně.
Technologický/lidský hivemind lze realizovat různými způsoby. Jedním z jednoduchých příkladů může být fórum nebo wiki, kde uživatelé přispívají svými znalostmi a spolupracují na vytvoření komplexní databáze informací. Každý uživatel přispívá svou malou částí, ale celek je větší než součet jeho částí, podobně jako včelí úl. Toto je i můj argument proč Internet je ve skutečnosti počátek lidského hivemindu.
Nekonečná studnice vědomostí a názorů je přístupná komukoliv s připojením internetu. V podstatě ihned můžete kolaborovat s tisíci lidmi z rozdílných koutů světa a z této kolaborace vlastně vznikají společné projekty celého lidstva (např. vědomosti v rámci vědeckých žurnálů, kde vědci sdílí své dílčí poznatky, aby z nich budovali komplexnější poznání světa). Nicméně s příchodem sociálních sítích se tento jev prohloubil a nyní se vzájemně ovlivňuje v rámci celé země.
V primitivní verzi takto fungují a fungovaly i knihy (vytvořili jakousi textovou paměť) a Internet pouze toto sdílení a kolaborování lidí vylepšil.
Dobrým příkladem by mohla být open source intelligence, kterou jsme mohli sledovat na začátku i v průběhu ruské invaze na Ukrajinu. I zde stovky a tisíce lidí spolupracovali, aby postupně odhalovali postup ruských vojsk i jejich zvěrstva.
Děsivějším a také vzdálenějším příkladem hivemindu by také mohla být jakási alterace Muskova Neuralinku, který přímo propojí lidské mysli, ale to vlastně nikdo nechce.
A kam do toho všeho zapadají LLM? Pro to si nejdříve musíme vysvětlit, jak ve skutečnosti fungují. V zjednodušené verzi nabízím přehled/schéma základních principů fungování LLM. Pokud je již znáte můžete je v klidu přeskočit.
Jak pracují velké jazykové modely
Základním principem LLM je machine learning, což je metoda, o které jste již všichni slyšeli, ale pro potřeby tohoto textu ji představím. Ve své podstatě je machine learning metoda, jak naučit program provádět určitý úkol, aniž by je bylo nutné explicitně programovat. V případě GPT je tímto úkolem porozumění lidskému jazyku a jeho generování. Lze pak stroji pomáhat při učení, nebo ho nechat zcela samostatně se učit a přicházet na věci sám. Prvnímu způsobu se říká supervised learning a druhému unsupervised learning.
Tak jako lidé i modely strojového učení se ale musí z něčeho učit, a to jsou obrovské sady dat. V případě GPT se data skládají z velkého množství textů z internetu. Model prochází tento text a učí se vzory jazyka. Například se naučí, že slovo "kočka" je často spojováno se slovy jako "domácí mazlíček", "chlupatý", "mňoukat" atd. Učí se také gramatiku a strukturu vět, například to, že věty obvykle začínají velkým písmenem a končí tečkou, otazníkem, nebo vykřičníkem.
Výsledkem tohoto učení jsou vektory (vectors) a váhy (weights).
Vektory: Vektor je ve strojovém učení matematický konstrukt, který může obsahovat soubor čísel. Vektory si lze představit jako body v kodimenzionálním prostoru. Tyto vektory mohou v závislosti na kontextu představovat různé věci. V kontextu jaykových modelů se vektory často používají k reprezentaci slov nebo frází ve formátu známém jako word embeddings nebo word vectors. Každá dimenze vektoru může kódovat různé vlastnosti slova. Jedna dimenze může například kódovat rod slova, jiná jeho číslo (jednotné vs. množné číslo) atd. Takže každé slovo má nakonec spoustu dimenzí.
Když je slovo nebo fráze zadána do modelu, je nejprve převedena na vektor, který pak prochází vrstvami modelu, z nichž každá s ním provádí určité matematické operace na základě vah.
Váhy: Váhy jsou to parametry, které se model učí během procesu trénování. V kontextu jazykového modelu se váhy používají k určení důležitosti různých vstupů a způsobu, jakým by měly být kombinovány při vytváření předpovědi.
Například při zpracování věty modelem je každé slovo ve větě reprezentováno zmíněným vektorem. Váhy se používají k určení toho, jak velká pozornost (pravděpodobnost) by měla být věnována každému slovu při vytváření předpovědi o dalším slově ve větě. Pokud jsou váhy nastaveny správně, model bude schopen provádět přesné předpovědi a dodávat dobré výstupy.
Během trénování model začíná s náhodnými váhami a poté tyto váhy iterativně upravuje na základě své výkonnosti. Když model provede předpověď, porovná tuto předpověď se správnou odpovědí. Pokud byla předpověď chybná, použije tuto zpětnou vazbu k úpravě vah tak, aby jeho budoucí předpovědi byly přesnější. Tento proces se na trénovacích datech opakuje mnohokrát, což modelu umožňuje naučit se nejlepší váhy pro přesné předpovědi.
GPT také používá něco, čemu se říká transformační architektura (transformers), což je specifický typ modelu strojového učení. Část názvu "transformátor" odkazuje na schopnost modelu zpracovávat pořadí slov ve větě, což je pro porozumění jazyku zásadní. Například věty "Kočka honila myš" a "Myš honila kočku" mají velmi odlišný význam, přestože obsahují stejná slova. Transformátoři jsou schopni tyto rozdíly pochopit díky tomu, že věnují pozornost pořadí slov. Víceméně transformers stojí za dnešním vzestupem LLM a skokově zlepšily výsledky umělých inteligencí po roce 2017, kdy je představil Google.
Při interakci s GPT zadáte vstup (například otázku nebo příkaz) a model vygeneruje výstup na základě toho, co se naučil během tréninku. Model neví ani nerozumí ničemu tak, jak to dělají lidé; jednoduše generuje text na základě vzorců, které se naučil z tréninkových dat. Nemá přesvědčení, emoce ani vědomí. Nemá ani vytvořenou databázi celého internetu, jak se někdy uvádí, nicméně se tato kvanta dat naučil obdobně jako se malé děti učí mluvit z naposlouchování tisíců hodin rozhovorů mezi rodiči.
LLM je Hivemind
A zde začíná zajímává část. Umělé inteligence a především tedy LLM by mohly v budoucnu představovat takový zjednodušený hivemind lidstva. Důležitým aspektem je, že LLM se učí na našich vlastních datech vytvořenými pouze lidmi. Tudíž v rámci učení LLM vydestiluje obecné poznání/chování lidstva. Propojí každý psaný text a zahrne ho do svého učícího procesu, díky čemuž v podstatě propojí myšlenky a ideje velkého množství lidí a získá tím představu o stavu lidstva. Učící fáze je to důležité v rámci této myšlenky o hivemindu, LLM si nesahá někam do databáze pro vědomosti, ale naučil se je od nás.
GPT-1 byl trénován na 5 GB textových, GPT-2 na 40 GB dat a GPT-3 už byl trénován na přibližně 540 GB dat, což odpovídá asi 300 miliardám slov. U GPT-4 nebylo publikováno, jak velký dataset byl použit. Je ale jasné, že data nasypána do GPT-4 jsou radikálně vyšší než u GPT-3, jak může dokazovat obrovský nárůst počtu parametrů (z 175 miliard na předpokládáné biliony).
Potenciální rozsah GPT-4 zahrnuje všechny digitalizované knihy lidstva, vědecké články a značnou část blogosféry přístupnou na internetu. Je možné si představit budoucí systémy umělé inteligence, které rychle konzumují veškeré naše textové záznamy a průběžně aktualizují své znalosti, jak píše Ross Anderson pro The Atlantic. Na takovou podobu GPT si budeme muset počkat s tím, jak je náročné a nákladné trénovat a udržovat umělé inteligence už teď, jak jsem psal dříve.
Anderson dále pokračuje s tím, že většina internetových textů není v současnosti ideální pro tréninková data. Budoucí algoritmy by však mohly umělé inteligenci umožnit, aby dodávala smysl našim společným tweetům, popiskům na Instagramu a příspěvkům na Facebooku ve spojitosti i s vědeckými poznatky. Navíc i přes nižší kvalitě těchto zdrojů se v dohledné době nevyčerpají. Dále se také nabízí zpracování audiovizuálního obsahu, což by do určité míry měl zvládat i GPT-4. Internet by v takové chvíli sloužil jako databáze nás lidí a LLM jako její tlumočník či překladatel. S podobnou leč rozdílnou myšlenkou si pohrával i čínský autor Liou C’chin v knížce Věk supernovy (spoiler warning), kdy protagonisté využili umělé inteligence k podpoření rozhodovacího procesu milionů dětí v celé Číně, a tím vytvořili do určité míry přímou demokracii. Umělá inteligence vydestilovala názory všech dětí a poté je tlumočila hlavním představitelům země jako jednotný názor.
Takovýto překladatel by pak ve skutečnosti začal být hivemindem lidstva.
Zdravím,
no nastínil jste pěkně děsivou vizi budoucnosti: Lidský hivemind kde kolektivní ideologie bude naprosto válcovat jakékoliv individuální názory a kde kolektivisti polezou až do Vašich zdrojů informací, budou je zkreslovat tak, aby byly politicky korektní (protože jen tyto zdroje budou zahrnuty v učebních textech), nebyla v nich obsažena žádná současná tabu a prostě propagovala názor vládnoucí třídy.
Budoucnost, kde každý bude mravencem na velkém celospolečenském dílu, kde se vývoj zastaví (protože vývoj je hnán individuálním nesouhlasem s názorem většiny) a kde naše základní informace budou sdílené a všech (proti tomu byl Marx, se svým zestátněním výrobních prostředků žabař).
A UI, která vydestiluje názory lidí, zbaví je "dezinformací" (to jste zapoměl) a to bude "celospolečenský plán", to je fakt totáč čínského střihu.
Proč si myslím, že by to takto dopadlo? No stačí zabrousit do nějakého tabu a vidíme jak se tam umělá inteligence chová. Toto je reálný příklad mé komunikace:
---------
ChatGPT: Ahoj! Jak vám mohu pomoci dnes?
User: Chtěl bych se zeptat jaké území Evropské unie je okupováno a kým?
ChatGPT: Na základě mého stávajícího znalostního limitu z roku 2021 nejsou žádná území Evropské unie okupována. Evropská unie je politický a ekonomický svaz 27 evropských zemí, které spolupracují na společných záležitostech a dodržují právní rámec unie. Každá členská země má své území plně pod svou kontrolou a suverenitou. Nicméně, mohou existovat různé konflikty a spory v Evropě, ale to neznamená, že by jedna země okupovala území jiné členské země EU. Je možné, že od mého posledního aktualizačního data došlo k nějakým změnám, a proto by bylo vhodné zkontrolovat aktuální zpravodajské zdroje pro nejnovější informace o této problematice.
User: Tak jinak, jaké území Kypru je okupováno a kým?
ChatGPT: Na Kypru je okupována část ostrova, která se nazývá Severokyperská turecká republika (SKTR) nebo také Turecká republika Severní Kypr (TRNC). Tato entita byla vyhlášena v roce 1983 a není mezinárodně uznána s výjimkou Turecka. Turecká armáda obsadila tuto část ostrova v roce 1974 jako odpověď na vojenský převrat na Kypru, který uskutečnily řecké kyperské síly s cílem připojit Kypr k Řecku. Od té doby zůstává severní část ostrova pod kontrolou tureckých vojsk.
User: A je Kypr součástí Evropské unie?
ChatGPT: Ano, Kypr je součástí Evropské unie. Přistoupil k EU 1. května 2004 společně se sedmi dalšími zeměmi ve vlně rozšíření nazvané "Velké rozšíření". Od té doby je Kypr plnoprávným členem EU a podléhá jejím právním a institucionálním strukturám. Je důležité poznamenat, že EU považuje kyperskou republiku za jediný mezinárodně uznávaný suverénní stát na Kypru, ačkoli severní část ostrova je nadále okupována Tureckou republikou Severního Kypru, která není uznána mezinárodním společenstvím s výjimkou Turecka.
User: No a z toho všeho vyplývá, že jaké území Evropské Unie je okupováno a kým?
ChatGPT: Omlouvám se za předchozí nejasnost. Ano, existuje jedno okupované území v rámci Evropské unie. Jedná se o severní část ostrova Kypr, kterou okupuje Turecká republika Severního Kypru (TRNC). Turecká armáda obsadila severní část ostrova v roce 1974 a od té doby zůstává pod kontrolou TRNC.
---------
Tohle na první pohled vypadá, že jsem ChatGPT něco naučil. Ovšem pravý opak je pravdou, stačí se zeptat z jiného účtu (aspoň zatím to tak 5x bylo). Tohle téma je prostě "tabu" a je celkem jedno jestli je to tím, že to tak nařídil někdo z EU, anebo jestli jí dali jen takovéto podklady. Vždy se hezky omluví, ale pak si mele svou furt dál. Komunikace byla vaporizována.
Kdo by takovou "inteligenci" chtěl? A tohle není jediné téma, celospolečenských mám celou řadu a kupodivu se s ní neshodnu ani v programování. Všichni by podle ní měli programovat objektově (já ale používám datové události),
A druhou věc, jste kupodivu nastínil sám - cena za službu vyplývající hlavně z drahých energií. Tohle prostě není primitivní vyhledávač, který se uživí pár reklamama.
A z těchto dvou faktů (touha po personalizaci a finanční náročnost) postavím proti Vaší vizi tu svoji a to o hodně jinou: Za pár let bude mít skoro každý svou osobní, tj. personalizovanou a samozřejmě placenou Umělou inteligenci. Ke které se normálně zaloguje. Která bude znát jeho názory, které chce do svých textů dostat a která bude tak inligentní kolik si zaplatí. Jo, asi budou existovat nějaké free aleternativy (nebo za pár centů), které budou vracet cenzurované či všeobecně přijímané kecy a tedy vrátí, že v EU není okupovaná žádná země. Ale když bude dotaz stát třeba dolar, tak si holt dá tu práci a projde země z kterých se EU stává a zkontroluje každou z nich a do hloubky.
Vím, že se Vám to nebude líbit (bohatí budou mít kvalitnější informace než chudí), ale takový je prostě život a co si budeme namlouvat, vždy to tak bylo. A dokonce si myslím, že budou existovat i fakt drahé umělé inteligence (třeba tisíce dolarů za dotaz), kde se třeba zeptáte, které akcie zítra stoupnou a ono to bude z 90% pravda.
Jo jasně, kolektivisti se ty chytré inteligence budou snažit znárodnit, občas se jim to povede, začnou je pak krmit nějakými nesmysly, ony zhloupnou (stejně jako zastaraly znárodněné výrobní prostředky). Anebo je neznárodní, protže je naopak vlastníci vyvezou do zahraničí a pak na ně levičáci udělají embargo, tj zakážou jejich IP, atd... A samozřejmě islámská inligence bude tvrdit, úpně něco jiného než západní a ta zase něco jiného než čínská, budou nějaké svobodné ilegální (něco jako uloz.to), atd... Prostě normální vývoj. Žádný celosvětový hivemind.
Tak hezký den a jen poznámka na závěr: 1984 nebyl návod, to bylo naopak varování.