Įvadas

Ar manote, kad „Grok3“ bus iš anksto apmokytų modelių „galutinis taškas“?

Elonas Muskas ir „xAI“ komanda tiesioginės transliacijos metu oficialiai pristatė naujausią „Grok“ versiją – „Grok3“. Prieš šį įvykį daugybė susijusios informacijos ir nuolatinis Musko reklaminis ažiotažas pakėlė pasaulinius lūkesčius dėl „Grok3“ iki precedento neturinčio lygio. Vos prieš savaitę Muskas tiesioginės transliacijos metu, komentuodamas „DeepSeek R1“, užtikrintai pareiškė: „xAI netrukus paleis geresnį dirbtinio intelekto modelį“. Remiantis tiesiogiai pateiktais duomenimis, „Grok3“ pranoko visus dabartinius pagrindinius modelius matematikos, mokslo ir programavimo srityse, o Muskas netgi teigė, kad „Grok3“ bus naudojamas skaičiavimo užduotims, susijusioms su „SpaceX“ Marso misijomis, ir prognozavo „Nobelio premijos lygio proveržius per trejus metus“. Tačiau šiuo metu tai tik Musko teiginiai. Po paleidimo išbandžiau naujausią „Grok3“ beta versiją ir uždaviau klasikinį triuką dideliems modeliams: „Kuris didesnis – 9.11 ar 9.9?“ Deja, be jokių kvalifikacijų ar žymėjimų vadinamasis „Grok3“ vis tiek negalėjo teisingai atsakyti į šį klausimą. „Grok3“ nepavyko tiksliai nustatyti klausimo prasmės.

Šis testas greitai sulaukė daugelio draugų dėmesio ir, kaip bebūtų keblu, įvairūs panašūs testai užsienyje parodė, kad „Grok3“ sunkiai sekasi spręsti pagrindinius fizikos/matematikos klausimus, tokius kaip „Kuris rutulys pirmas nukrenta nuo Pizos bokšto?“. Todėl jis buvo juokingai pavadintas „genijumi, nenorinčiu atsakyti į paprastus klausimus“.

„Grok3“ yra geras, bet ne geresnis už „R1“ ar „o1-Pro“.

Praktikoje „Grok3“ patyrė „nesėkmių“ atlikdamas daugelį bendrųjų žinių testų. „xAI“ pristatymo renginio metu Muskas pademonstravo, kaip naudodamas „Grok3“ analizuoja žaidimo „Path of Exile 2“, kurį, jo teigimu, dažnai žaidžia, veikėjų klases ir efektus, tačiau dauguma „Grok3“ pateiktų atsakymų buvo neteisingi. Tiesioginės transliacijos metu Muskas šios akivaizdžios problemos nepastebėjo.

Ši klaida ne tik suteikė užsienio interneto vartotojams dar daugiau įrodymų šaipytis iš Musko už tai, kad jis „rado pakaitalą“ žaidimuose, bet ir sukėlė didelį susirūpinimą dėl „Grok3“ patikimumo praktinėse srityse. Tokio „genijaus“, nepaisant jo realių galimybių, patikimumas itin sudėtinguose taikymo scenarijuose, tokiuose kaip Marso tyrinėjimo užduotys, tebėra abejotinas.

Šiuo metu daugelis testuotojų, kurie prieigą prie „Grok3“ gavo prieš kelias savaites, ir tie, kurie modelio galimybes išbandė tik vakar kelias valandas, visi prieina prie bendros išvados: „„Grok3“ yra geras, bet ne geresnis už „R1“ ar „o1-Pro“.“

Kritinis požiūris į „Nvidia sutrikdymą“

Oficialiai pristatytoje PPT versijos metu „Grok3“ buvo parodytas kaip „toli priekyje“ „Chatbot Arena“ pozicijoje, tačiau tam buvo sumaniai panaudoti grafiniai metodai: vertikalioje lyderių lentelės ašyje buvo rodomi tik 1400–1300 balų intervalo rezultatai, todėl pradinis 1 % skirtumas testo rezultatuose šiame pristatyme atrodo itin reikšmingas.

Faktiniuose modelių vertinimo rezultatuose „Grok3“ vos 1–2 % lenkia „DeepSeek R1“ ir „GPT-4.0“, o tai atitinka daugelio naudotojų patirtį praktiniuose bandymuose, kuriuose „nebuvo pastebimo skirtumo“. „Grok3“ savo įpėdinius lenkia tik 1–2 %.

Nors „Grok3“ surinko daugiau balų nei visi šiuo metu viešai testuojami modeliai, daugelis to nevertina rimtai: juk xAI anksčiau buvo kritikuojamas dėl „balų manipuliavimo“ „Grok2“ eroje. Kadangi lyderių lentelėje buvo pradėta bausti už atsakymų ilgio stilių, balai labai sumažėjo, todėl pramonės atstovai dažnai kritikuoja „aukšto balo, bet mažo gebėjimo“ reiškinį.

Ar tai būtų lyderių lentelių „manipuliavimas“, ar iliustracijų dizaino triukai, jie atskleidžia xAI ir Musko apsėstą idėją „pirmauti“ modelių galimybių srityje. Už šiuos pelno maržas Muskas sumokėjo didelę kainą: paleidimo metu jis gyrėsi naudojęs 200 000 H100 GPU (tiesioginės transliacijos metu teigdamas, kad jų buvo „daugiau nei 100 000“) ir pasiekęs 200 milijonų valandų bendrą mokymo laiką. Tai leido kai kuriems manyti, kad tai dar vienas reikšmingas GPU pramonės laimėjimas, ir „DeepSeek“ poveikį šiam sektoriui laikyti „kvaila“. Pažymėtina, kad kai kurie mano, jog gryna skaičiavimo galia bus modelių mokymo ateitis.

Vis dėlto kai kurie interneto vartotojai palygino 2000 H800 GPU sunaudojimą per du mėnesius, kad sukurtų „DeepSeek V3“, ir apskaičiavo, kad „Grok3“ faktinis energijos suvartojimas mokymo metu yra 263 kartus didesnis nei V3. Skirtumas tarp „DeepSeek V3“, kuris surinko 1402 taškus, ir „Grok3“ yra šiek tiek mažesnis nei 100 taškų. Paskelbus šiuos duomenis, daugelis greitai suprato, kad už „Grok3“ titulo kaip „stipriausio pasaulyje“ slypi aiškus ribinio naudingumo efektas – logika, kad didesni modeliai generuoja geresnį našumą, pradeda mažėti.

Net ir turėdamas „aukštą balų skaičių, bet žemą pajėgumą“, „Grok2“ turėjo didžiulį kiekį aukštos kokybės pirmosios šalies duomenų iš X („Twitter“) platformos, kad galėtų juos naudoti. Tačiau mokant „Grok3“, xAI natūraliai susidūrė su „lubomis“, su kuriomis šiuo metu susiduria „OpenAI“ – aukščiausios kokybės mokymo duomenų trūkumas greitai atskleidžia modelio galimybių ribinį naudingumą.

„Grok3“ kūrėjai ir Muskas greičiausiai pirmieji giliai supras ir atpažins šiuos faktus, todėl Muskas socialiniuose tinkluose nuolat minėjo, kad versija, su kuria šiuo metu susiduria vartotojai, „vis dar yra tik beta versija“ ir kad „pilna versija bus išleista ateinančiais mėnesiais“. Muskas ėmėsi „Grok3“ produktų vadovo vaidmens, siūlydamas vartotojams pateikti atsiliepimus apie įvairias iškilusias problemas komentarų skiltyje. Jis gali būti labiausiai sekamas produktų vadovas Žemėje.

Vis dėlto per vieną dieną „Grok3“ našumas neabejotinai sukėlė nerimą tiems, kurie tikėjosi pasikliauti „didžiuliu skaičiavimo pajėgumu“, kad apmokytų stipresnius didelius modelius: remiantis viešai prieinama „Microsoft“ informacija, „OpenAI“ GPT-4 parametrų dydis yra 1,8 trilijono parametrų, daugiau nei dešimt kartų didesnis nei GPT-3. Gandai rodo, kad GPT-4.5 parametrų dydis gali būti dar didesnis.

Didėjant modelio parametrų dydžiams, sparčiai auga ir mokymo išlaidos. Atsiradus „Grok3“, tokie konkurentai kaip GPT-4.5 ir kiti, norintys toliau „deginti pinigus“, kad pasiektų geresnių modelio našumo per parametrų dydį, turi atsižvelgti į dabar aiškiai matomas lubas ir apsvarstyti, kaip jas įveikti. Šiuo metu buvęs „OpenAI“ vyriausiasis mokslininkas Ilja Sutskeveris praėjusių metų gruodį pareiškė: „Mums pažįstamas išankstinis mokymas baigsis“, – ši mintis vėl iškilo diskusijose ir paskatino pastangas rasti tikrąjį kelią didelių modelių mokymui.

Iljos požiūris sukėlė nerimą pramonėje. Jis tiksliai numatė neišvengiamą prieinamų naujų duomenų išsekimą, dėl kurio negalės būti toliau gerinamas našumas renkant duomenis, prilygindamas tai iškastinio kuro išeikvojimui. Jis nurodė, kad „kaip ir nafta, žmonių sukurtas turinys internete yra ribotas išteklius“. Sutskeverio prognozėse, kita modelių karta, po išankstinio mokymo, turės „tikrą autonomiją“ ir samprotavimo galimybes, „panašias į žmogaus smegenis“.

Skirtingai nuo šiandieninių iš anksto apmokytų modelių, kurie daugiausia remiasi turinio atitikimu (remiantis anksčiau išmoktu modelio turiniu), ateities dirbtinio intelekto sistemos galės mokytis ir kurti metodologijas problemoms spręsti panašiai kaip žmogaus smegenų „mąstymas“. Žmogus gali pasiekti pagrindinių įgūdžių tam tikroje srityje turėdamas tik pagrindinę profesinę literatūrą, o dideliam dirbtinio intelekto modeliui reikia milijonų duomenų taškų, kad pasiektų bent jau patį pagrindinį pradinio lygio efektyvumą. Net ir šiek tiek pakeitus formuluotę, šie esminiai klausimai gali būti neteisingai suprasti, o tai rodo, kad modelio intelektas iš tikrųjų nepagerėjo: straipsnio pradžioje paminėti esminiai, tačiau neišsprendžiami klausimai yra aiškus šio reiškinio pavyzdys.

Išvada

Tačiau, be grubios jėgos, jei „Grok3“ iš tiesų pavyks atskleisti pramonei, kad „iš anksto apmokyti modeliai artėja prie savo pabaigos“, tai turės didelę įtaką šiai sričiai.

Galbūt po to, kai „Grok3“ supančios ažiotažo palaipsniui nurims, pamatysime daugiau tokių atvejų kaip Fei-Fei Li pavyzdys, kai „tik už 50 USD galima derinti didelio našumo modelius konkrečiame duomenų rinkinyje“ ir galiausiai atrasti tikrąjį kelią į dirbtinį dirbtinį intelektą (AGI).