Modailean Cànain Mòra agus a' Ghàidhlig
Sgòr‑bhòrd MCM
| 1 | Gemini 3 Pro Prev | 83.3% |
| 2 | Gemini 3 Flash Prev | 79.2% |
| Duine fìleanta san fharsaingeachd | ||
| 3 | GPT-5 | 69.2% |
| 4 | Gemini 2.5 Flash | 61.7% |
| 5 | Claude Opus 4.6 | 59.2% |
| 6 | GPT-4o | 50.0% |
| 7 | Claude Haiku 4.5 | 47.5% |
| 7 | GPT-5 Mini | 47.5% |
| 8 | DeepSeek R1 | 45.0% |
| 8 | Llama 4 Maverick | 45.0% |
| 9 | GPT-5.2 | 43.3% |
| 10 | GPT-4.1 | 42.5% |
| 11 | GPT-5 Nano | 36.7% |
| 12 | GPT-4o Mini | 34.2% |
| 13 | GPT OSS 120B | 33.3% |
| 14 | GLM 4.7 | 32.5% |
| 15 | GPT-4.1 Nano | 30.0% |
| 16 | GPT OSS 20B | 29.2% |
| 17 | GPT-4.1 Mini | 24.2% |
Mar phàirt de dh'obair mheasaidh leantainneach ÈIST, tha sinn air slat-tomhais a chruthachadh gus dearbhadh dè cho math 's a tha modailean cànain mòra (LLMs) — Chat GPT, Gemini agus Claude nam measg — a' tuigsinn ghnàthasan-cainnte agus gràmar na Gàidhlig.
Cleachdaidh an deuchainn seo, ris an canar GaelEval, 120 ceist ioma-roghnach a chaidh a dhealbhadh le eòlaiche cànain Gàidhlig. Bidh gach ceist ag amas air feart gràmadaigeach sònraichte — bho thuiseal ainmearan is cruthan ghnìomhairean, gu gnàthsan-cainnte agus clàsan dàimheach — a' tarraing air eisimpleirean doirbh nach gabh eadar-theangachadh facal air an fhacal bhon Bheurla.
Tha e cudromach nach robh sinn dìreach a' cur nam modailean fo dheuchainn. Dh'iarr sinn cuideachd air 30 fileantach Gàidhlig an aon deuchainn a dhèanamh. Tha seo a' toirt dhuinn inbhe-thomhais dhaonna airson coimeas a dhèanamh rithe.
Tha na toraidhean annasach. Fhuair Gemini 3 Pro Preview aig Google 83.3%, a' dol thairis air cuibheas ('average') nam fileantach fhèin de 78.1%. Cha do rinn na modailean adhartach eile cho math idir, agus bha siostaman fosgailte-cuideam (an fheadhainn a tha rim faighinn an-asgaidh) fada air dheireadh air an fheadhainn fo sheilbh. San fharsaingeachd, bha na modailean na bu treasa ann an gràmar structarail ach na bu laige ann an gnàthasan-cainnte agus cainnt conaltraidh — raointean far a bheil làmh an uachdair aig mac-an-duine fhathast.
Anns a' ghraf shuas, tha coimeas eadar mar a rinn na modailean anns gach roinn ghràmadaigeach, a' cur nam prìomh mhodailean an coimeas ris an inbhe-thomhais dhaonna.
Chaidh an obair seo a dhèanamh le buill de dh'Ionad Eòlais CLARIN airson Goireasan Digiteach do Chànanan ann an Èirinn is Breatainn (DR-LIB), le maoineachadh bho EPSRC, còmhla ri ÈIST, aig a bheil taic bho Riaghaltas na h-Alba agus Bòrd na Gàidhlig.
Leugh am pàipear slàn: GaelEval: Benchmarking LLM Performance for Scottish Gaelic