Uuring mõõdab keelemudelite teadmisi eesti keelest ja kultuurist

Müürilehe loos käsitletakse keelemudelite võimet anda usaldusväärseid eestikeelsete raamatute soovitusi ning kirjeldatakse selle hindamiseks loodud võrdlustesti. Testis esitati mudelitele 40 küsimust, milles paluti soovitada kokku 160 teost, ja vastuseid võrreldi Eesti rahvusbibliograafia andmetega. Artiklis toodud tulemuste järgi suutsid enam kui 50 mudeli seas reaalseid raamatuid enam-vähem adekvaatselt nimetada OpenAI ja Google’i uusimad lipulaevad, vastavalt 80 ja 75 protsendi ulatuses.