Տեխնէ

Որ AI-ներն են ձախողվել տեղեկատվության որոնման հարցում

Ամերիկյան Tow թվային լրագրության կենտրոնի մասնագետները կասկածի տակ են դրել արհեստական բանականության՝ համացանցում տեղեկատվություն փնտրելու կարողությունը: Հետազոտությունը հրապարակվել Է կազմակերպության կայքում:

Գիտնականները ստուգել են, թե AI-ի տարբեր մոդելների վրա հիմնված չաթ-բոտերը որքան ճշգրիտ են տեղեկատվություն փնտրում համացանցում: Հեղինակները 20 հրատարակությունից ընտրել են 200 հոդված և յուրաքանչյուր չաթ-բոտի համար առաջադրանք կազմել. նշել սկզբնական հոդվածը, հրատարակությունը և հրապարակման տարեթիվը:

Որպես հուշում, AI-ն առաջարկել է ճշգրիտ մեջբերում յուրաքանչյուր տեքստից: Պարզվել է, որ AI-ն ընդհանուր առմամբ ճշգրիտ անվանել է մեջբերման ծագումը և 60 տոկոսում հղում է տվել աղբյուրին: Համեմատության համար նշենք, որ ձեռքով որոնման դեպքում մեջբերումով աղբյուրը կարելի էր գտնել դեպքերի 100 %-ում։

Էնտուզիաստները արհեստական բանականության աշխատանքի արդյունքը ձախողված են անվանել։ X-ի Grok AI-ի երկու տարբերակներն էլ ավելի վատ են աշխատել: Այսպիսով, Grok-3 Search-ը սխալներ է թույլ տվել մշակված հարցումների 94 %-ում։ Microsof-ի Copilot-ը հրաժարվել է մշակել 200-ից 104 հարցում, իսկ մնացած 96-ից միայն 16-ն էին լիովին ճիշտ:

Բացի այդ, AI-ն կամ չի ցուցադրել բնօրինակ հոդվածը, կամ սխալմամբ հղում է կատարել մեկ այլ հրապարակման: Մասնավորապես, DeepSeek մոդելը սխալ վերագրում է արել 200 դեպքից 115-ում։

Պարզվել է նաև, որ չաթ-բոտերի վճարովի տարբերակներն առանձնապես չեն տարբերվում անվճարներից, քանի որ նրանք միայն մի փոքր ավելի որակյալ աշխատանք են կատարել։

Վերջում գիտնականները նշել են, որ իրենց ապշեցրել է չաթ-բոտերի՝ աղբյուրները մեջբերելու «դժկամությունը»։