Ամերիկացի հետազոտողներն արհեստական բանականության (AI) մոդելների արդյունավետությունը գնահատելու համար տեսախաղեր են օգտագործել, հայտնում է TechCrunch պարբերականը։
Կալիֆորնիայի Սան Դիեգոյի համալսարանի Halo արհեստական բանականության լաբորատորիայի մասնագետները փորձարկել են AI մոդելները 1985 թվականի լեգենդար Super Mario Bros խաղի միջոցով։ Մշակողները ստեղծել են GamingAgent շրջանակը, որի օգնությամբ մոդելներին «ստիպել են» վերարտադրել և նմանակել խաղային փորձը։
Մասնագետները նկատել են, որ «Մարիո» խաղն օգնել է գնահատելու, թե յուրաքանչյուր մոդել որքան արագ կարող է սովորել, որոշումներ կայացնել և մշակել խաղային ռազմավարություն։ Թեստերի արդյունքում լավագույնը եղել է Anthropic-ի Claude 3.7-ը, որը փոքր-ինչ գերազանցել է Google-ի Gemini 1.5 Pro-ին և OpenAI-ի GPT-4o-ին։
Սակայն հետազոտողները եզրակացրել են, որ նույնիսկ ամենահաջող AI մոդելը խաղում էր ավելի վատ, քան ցանկացած սկսնակ խաղացող։ Ամենայն հավանականությամբ, սա պայմանավորված է նրանով, որ AI մոդելներին որոշում կայացնելու համար պահանջվում է առնվազն մեկ վայրկյան, մինչդեռ «Մարիոն» նրանց նման հնարավորություն չի տվել։
