Umelá inteligencia sa už nemá z čoho učiť. Dáta sa míňajú a jej trénovanie je čoraz drahšie

Jazykové modely sú čoraz dokonalejšie. Na to, aby boli schopné generovať kvalitný text a vykonávať rôzne úlohy, potrebujú tréning. Trénovanie veľkých modelov vyžaduje veľký výpočtový výkon a kvalitné dáta, ktoré sú kľúčové pre čo najkvalitnejšie výstupy.

Exponenciálny rast

Okrem priekopníka v oblasti jazykových modelov, firmy OpenAI, sa v tejto oblasti snažia robiť pokroky aj ďalšie veľké technologické firmy ako napríklad Google. Americký gigant prišiel s vlastnou architektúrou hlbokého učenia v roku 2017. Transformer, ako sa technológia nazývala, vyžadoval v tom čase k trénovaniu menej výpočtov, pričom náklady na jeho vycvičenie sa odhadovali na 900 dolárov, informuje Cybernews.

Koncom vlaňajšieho roka Google predstavil konkurenta pre GPT-4 od spoločnosti OpenAI s názvom Gemini Ultra. V tomto prípade už predstavovali náklady na vývoj vlajkovej lode viac ako 191 miliónov dolárov, uvádza výskum Stanfordovej univerzity a spoločnosti Epoch AI. Ide tak o najvyššiu čiastku, ktorú firma doteraz za trénovanie veľkého jazykového modelu zaplatila.

Pre porovnanie, konkurenčná OpenAI investovala podľa štúdie do vývoja modelu GPT-4 viac ako 78 miliónov dolárov. Generálny riaditeľ spoločnosti Sam Altman však prezradil, že náklady presiahli 100 miliónov dolárov. Výskumníci ceny počítajú z prenájmu cloudových počítačov, miery využitia hardvéru, dĺžky trvania tréningu a hodnoty tréningového hardvéru. Náklady modelov, ktoré sa vyvíjajú v súčasnosti, by podľa expertov mohli narásť až na niekoľko miliárd dolárov.

Náklady na trénovanie exponenciálne rastú aj z dôvodu, že veľké jazykové modely zvládajú čoraz viac úloh. Príkladom je najnovšia verzia modelu GPT-4 s názvom omni, ktorý je výrazne rýchlejší a v reálnom čase dokáže porozumieť textu, obrázkom a dokonca aj hlasu. Model sa môže okrem iného veľmi jednoducho premeniť aj na prekladateľa cudzích jazykov.

Dáta sa rýchlo míňajú

Rastúca cena za trénovanie je však len jeden z problémov, ktoré vývojárov trápia. Tým ďalším je hrozba, že už čoskoro nebudú zdroje, z ktorých sa modely učia. Veľké jazykové modely totiž čerpajú z rôznych článkov či kníh a tieto materiály sa míňajú. To by mohlo spomaliť vývoj najmä veľkých jazykových modelov a dokonca zameniť trajektóriu revolúcie AI, informuje NDTV.