TLDR: Čip o velikosti 20×20 cm od Cerebras Systems má sice podobný počet synapsí jako lidé, ale v řadě jiných ohledech za námi stále zaostává. Přesto slibuje velké věci třeba pro samořízené vozy. Studie tuna.

Revoluce pro tento den

Ještě pár let na zpět jsme tu měli počítače, které se pyšnily tím, že dokáží emulovat mozek hmyzu nebo dokonce hlodavců. Tedy, ono „počítače“ a „emulovat“ byly a jsou v tomto případě lehce nepřesné pojmy. Hned na úvod si tedy musíme nejprve říct, jak se porovnává výpočetní výkon „živého mozku“ a uměle vytvořeného procesoru/počítače…

Začněme u toho, co jsme si nevymysleli sami, ale dostali jsme to darem od paní Matky přírody. Mozky živých tvorů se poměrně špatně porovnávají, protože není moc snadné je ze zařízení vyjmout a měřit jejich výkon. Jsme tak buďto nuceni měření provádět pomocí jejich standardních periferií (smysly, chování). A s tím, jak každý tvor má trochu jinou doménu svého působiště, je prakticky nemožné navrhnout nějaký univerzální test na určení výpočetního výkonu. A úkoly „za jak dlouho vyřeší tohle středně pokročilé sudoku z předposlední stránky nedělního blesku“ či „zvládne vyřešit tuto soustavu lineárních rovnic?“ jsou přesně ty typy úloh, se kterými si většina biočichů neporadí ani tak.

A tak nám nezbývá nic jiného, než za výpočetní výkon jejich mozků považovat buďto jeho velikost, nebo přesněji počet neuronů nebo synapsí (tedy nervových spojení mezi neurony). S trochou nadsázky, na zjištění těchto čísel vám stačí mikroskop a trojčlenka.

Pro názornost, počet synapsí u octomilky je asi 10 milionů, u včely kolem miliardy, myš obecná cca 1 bilion, kočka desetkrát tolik, člověk ještě několik-desítek-krát tolik (tj. stovky bilionů).

Oproti tomu u počítačů z křemíku a jeho kamarádů bývají měřeny v nejzákladnější podobě třeba počtem jader a taktovací frekvencí. V profesionální a superpočítačové komputacii třeba pomocí FLOPS, tedy počtem operací s desetinnými čísly za 1 sekundu. Tím se ale ke srovnání s neurony či synapsemi moc nedočkáme. Nabízí se tedy popis výkonu pomocí počtu hradel či tranzistorů. To ale není úplně ilustrativní, protože některé architektury mohou vyžívat jiný počet tranzistorů pro jeden úkon, tj. oba při shodném výkonu. Navíc, zaměříme-li se výhradně na AI, kde má určitý smysl snažit se „živým“ mozkům se přiblížit, pak tyto metodiky selhávají úplně…

Specifická architektura

AI procesory mají totiž úplně jinou architekturu, než běžné domácí počítače. Ty jsou od přírody víčeúčelové, což ale znamená, že mají enormí spotřebu dat. Kromě samotných dat ke zpracování (např. HTML kód stránky) také kód programu, jak s ním naložit (např. jak ho zobrazit). Programy se navíc u kormidla procesoru střídají, což dále zvyšuje jejich režii a snižuje efektivitu.

Specializované AI procesory proto využívají princip tzv. stream processingu, tedy metody, kdy procesor nefunguje v režimu „načti data ► zpracuj je ► ulož výsledek“, ale data se načtou jen jednou a poté prostě procesorem protékají, bez nutnosti si někam odkládat mezivýsledky, až na výstup.

Navíc je u nich eliminový na změna programu, ten je pevně dán po celou dobu výpočtu, takže se tím procesor nemusí zdržovat. A v neposlední řadě výpočty třeba takových neuronových sítí se většinou spokojí s poměrně jednouchými operacemi (jednodušší síť si vystačí jen desetinněčíselným sčítáním a násobením).

Díky tomu pak také můžeme celkem snadno vyčíslit počet neuronů či synapsí, kolik ten či onen AI procesor má.

Jak již bylo zmíněno, před pár lety existovaly procesory o „výkonu“ až kolem sta miliard synapsí, tedy asi jako mozek myši. Společnost Cerebras ale nyní přichází s modelem Wafer Scale Engine Gen 2, který by prý měl disponovat výkonem srovnatelným s lidským mozkem!

Máme se bát?

Jak toho dosáhli? No, pro začátek se jim podařilo zkonstruovat procesor o velikosti přes 20×20 centimerů s výše zmíněnou architekturou, kterou by bylo možné s přivřením očí, uší a dalších otvorů možné připodobnit k těm synapsím u živého mozku. Takový čip se vám do laptopu ani nevejde, proto jej dávají s rackem, tedy skříní o velikosti lednice. Ten je plný dalších nadupaných komponent, například 2,4 PB (petaBytů, 2400teraBytů) paměti a téměř 50kW zdrojem. Samotná procesor je tvořen téměř milionem jader, 2,6 miliardamy tranzistorů, 40GB vnitřní paměti a datovým tokem 20PB/s.Ale teď samozřejmě přichází otázka: Máme se bát?

Nemyslím si. Máme tu sice AI procesor s výkonu srovnatelném v jednom specifickém typu srovnání s lidským mozkem, pořád ale platí, že „software dělá počítač„. A u AI to platí obzvlášť. Koneckonců, mozek lidský se učí/trénuje (byť, pravda, ne moc efektivně) roky a roky, takže se dá očekávat, že natrénovat mozek umělý bude také oříšek. Ale hlavně: díky svému výkonu bude model schopen „pochopit“ i poměrně zapeklité problémy – koneckonců sami autoři jej předurčují jako mnohem propracovanější nástroj pro zpracování řeči a přirozeného jazyka – ale to bez dostatku testovacích dat bude jen nevyužitý potenciál.

Navíc, jak zaznělo, podobnost mozku platí jenom ve velmi specifické kolonce. Všechny úlohy a možnosti, které páchají neurony, ale teprve dnes postupně odhalujeme. Nedávno se třeba ukázalo, že i jediný neuron (nikoli systém několika z nich, jak se čekalo) dovede provádět komplexnější úlohy! Nový čip tedy není automaticky hned mašina, kterou budou jednou dávat do hlav Terminátorům.

Takže nás to asi nesežere. A spíš než honění si nad tím, kdo sestaví silnější AI procesor podobnější tomu či onomu kusu masa to povede ke zlevnění tech obyčejnějích a masovějšímu nasazení AI. A třeba i ta Tesla pak nebude stát dva miliony!

[Martin Jašek, LL]

K čemu se to může hodit taky tuna…

Vědátor vzniká v dílně spolku studentů a popularizátorů vědy UP Crowd za podpory MUDRstart, který tvoří přípravné testy pro studenty vysokých škol. Krom různých autorů projekt jako šéfredaktor vede Ladislav Loukota – jeho kontaktní mail je vedatororg@seznam.cz