Nový model umelej inteligencie Mamba môže smrteľne uhryznúť ChatGPT

Aktuálne populárne AI ako ChatGPT, Bing alebo Copilot sú jedného druhu. Ide o predtrénované transformery, ktoré dokážu podľa slovného zadania generovať textový či obrazový obsah. Na rozdiel od nich je AI model Mamba založený na inom princípe, nazvanom Selective State Space Model (SSM). Ten spracúva a chápe kontext iným spôsobom.

Vyberá si zo zadania to, čo považuje za relevantné a ostatné informácie, ktoré sú zbytočné, vynecháva a zabúda. Vďaka tomu ide o rýchlejšie a lacnejšie riešenie, čo v prípade prevádzkovania AI nie sú zanedbateľné aspekty.

Nevýhodnosť aktuálneho konceptu veľkých jazykových modelov spočíva v tom, že využívajú mechanizmus sústredenia pozornosti na konkrétne časti textu a popri tom spracúvajú celý kontext vrátane zbytočných či nezmyselných údajov. Pri spracúvaní sa pritom snažia hľadať vzťahy medzi slovami. Takýto postup udržiava všetky informácie v pamäti a zvyšuje tým zložitosť trénovania aj logického zvažovania dát.