CNBC zistila, že nový veľký jazykový model Google, ktorý spoločnosť oznámila minulý týždeň, využíva takmer päťkrát viac tréningových dát ako jeho predchodca z roku 2022, čo mu umožňuje vykonávať pokročilejšie úlohy kódovania, matematiky a kreatívneho písania.

PaLM 2, nový model spoločnosti pre verejné použitie veľkého jazyka (LLM), predstavený na Google I/O, bol podľa interných dokumentov, ktoré videla CNBC, vyškolený na 3,6 biliónoch tokenov. Tokeny, čo sú reťazce slov, sú dôležitým stavebným kameňom pre tréning LLM, pretože učia model predpovedať ďalšie slovo, ktoré sa objaví v sekvencii.

Predchádzajúca verzia PaLM od Googlu, čo je skratka pre jazykový model Pathways, bola vydaná v roku 2022 a natrénovaná na 780 miliardách tokenov.

Zatiaľ čo Google chcel ukázať silu svojej technológie AI a ako ju možno integrovať do vyhľadávania, e-mailov, textového editora a tabuliek, spoločnosť nebola ochotná zverejniť objem alebo iné podrobnosti o svojich tréningových údajoch. OpenAI, inovátor ChatGPT podporovaného spoločnosťou Microsoft, tiež tajil podrobnosti o najnovšom jazyku LLM s názvom GPT-4.

Spoločnosti tvrdia, že dôvodom nezverejnenia je konkurenčný charakter podnikania. Google a OpenAI sa ponáhľajú prilákať používateľov, ktorí by mohli chcieť hľadať informácie pomocou chatbotov namiesto tradičných vyhľadávacích nástrojov.

Ale keďže preteky v zbrojení AI pokračujú, výskumná komunita volá po väčšej transparentnosti.

Od odhalenia PaLM 2 spoločnosť Google uviedla, že nový model je menší ako predchádzajúce LLM, čo je dôležité, pretože to znamená, že technológia spoločnosti sa stáva efektívnejšou a zároveň vykonáva zložitejšie úlohy. PaLM 2 je trénovaný podľa internej dokumentácie na 340 miliardách parametrov, čo svedčí o zložitosti modelu. Počiatočný PaLM je trénovaný na 540 miliardách parametrov.

Google neposkytol okamžite komentár k tomuto príbehu.

Google Povedal V blogovom príspevku o PaLM 2 model používa „novú techniku“ s názvom Computational Scale Optimization. Vďaka tomu je LLM „efektívnejší s lepším celkovým výkonom, vrátane rýchlejšieho odvodzovania, menšieho počtu parametrov služieb a nižších nákladov na služby.“

Pri ohlásení PaLM 2 Google potvrdil predchádzajúce správy CNBC, že model je vyškolený v 100 jazykoch a vykonáva širokú škálu úloh. Používa sa už na napájanie 25 funkcií a produktov vrátane experimentálneho chatbota Barda. Je k dispozícii v štyroch veľkostiach, od najmenšej po najväčšiu: Gecko, Otter, Bison a Unicorn.

PaLM 2 je výkonnejší ako ktorýkoľvek existujúci model na základe zverejnených informácií. LLM na Facebooku sa nazýva LLaMA, čo je oznámiť Vo februári sa natrénovalo 1,4 bilióna tokenov. Naposledy OpenAI zdieľal objem školenia ChatGPT s GPT-3, keď spoločnosť uviedla, že za ten čas natrénovala 300 miliárd kódov. OpenAI vydala GPT-4 v marci a uviedla, že vykazuje „výkon na ľudskej úrovni“ v niekoľkých profesionálnych testoch.

LaMDA, LLM konverzácia, ktorú Google chodidlo Pred dvoma rokmi a povýšená vo februári po boku Barda, bola podľa najnovších dokumentov, ktoré videla CNBC, vyškolená na 1,5 bilióne tokenov.

Ako sa nové aplikácie AI rýchlo dostanú do hlavného prúdu, tak aj diskusia o základnej technológii.

Mehdi Elmohamady, hlavný vedecký pracovník spoločnosti Google, Vo februári rezignoval O netransparentnosti spoločnosti. V utorok generálny riaditeľ OpenAI Sam Altman svedčil na vypočutí senátneho podvýboru pre súkromie a technológie a súhlasil so zákonodarcami, že na riešenie AI je potrebný nový systém.

„Pre technológiu, ktorá je taká nová, potrebujeme nový rámec,“ povedal Altman. „Spoločnosti, ako je tá naša, majú určite veľkú zodpovednosť za nástroje, ktoré dávame do sveta.“

— Jordan Novette z CNBC prispel k tejto správe.

Sleduje: Sam Altman, generálny riaditeľ OpenAI, vyzval na správcovstvo AI