Ugrás a tartalomra
MI KisokosRSS

Mennyire pontos az MI magyarul? Folyékony — de nem mindig igaz

A nagy nyelvi modellek folyékonyan írnak magyarul, de a tényekben gyengék. Mit mért az OpenHuEval, mikor bízhatsz az MI-ben, és hogyan ellenőrizd a válaszait?

Számok ebben a kisokosban

1 kocka = 10%

Miért tűnik tökéletesnek a magyar MI-szöveg?

Mert a forma alapján ítélünk. Egy gördülékeny, magabiztos, helyesen ragozott mondatról az agyunk automatikusan feltételezi, hogy a tartalma is rendben van — embereknél ez többnyire működik is, hiszen aki egy témáról szabatosan tud beszélni, az általában érti is. A nyelvi modelleknél ez a kapcsolat megszakad: a modell attól még folyékonyan fogalmaz, hogy a konkrét tényt nem tudja. És éppen ettől veszélyes — ugyanazzal a magabiztossággal írja le a helyes és a kitalált választ.

A magyar helyzet külön figyelmet érdemel. A modellek tanítóanyagának túlnyomó része angol nyelvű; a magyar nyelvű és magyar vonatkozású tartalom ehhez képest jóval kisebb rész. A nyelvtant a modellek ettől még kiválóan megtanulták — a magyar tényeket kevésbé. Ez nem apró javítanivaló, hanem a technológia természetéből következik, ezért nem várhatod, hogy magától eltűnjön: kezelni kell, méghozzá a te oldaladon.

Mit mértek pontosan a kutatók?

A 2025-ben publikált OpenHuEval kifejezetten a magyar nyelvre és magyar tudásanyagra épített mérőrendszer, amely 10 nagy nyelvi modellt vizsgált. A tényismereti része, a HuSimpleQA rövid, egyértelmű, magyar vonatkozású ténykérdéseket tesz fel — olyanokat, amelyekre egyetlen válasz van, és az vagy helyes, vagy nem.

Az eredmény: a legjobban teljesítő modell, a GPT-4o a kérdések 50,3%-ára adott helyes választ, a gyengébb modellek 9–16% között teljesítettek. Másként fogalmazva: a legjobb mért modell nagyjából minden második magyar ténykérdést elrontott, a mezőny többi tagja szinte az összeset.

Két korlátot érdemes ismerni, mielőtt messzemenő következtetést vonsz le. Egyrészt a mérés 2025 elején készült, az azóta megjelent modellek nem szerepelnek benne — a konkrét számok tehát nem vihetők át egy az egyben a ma elérhető legújabb eszközökre. Másrészt viszont a tanulság ettől még érvényes: minden mért modell sokkal gyengébb volt a magyar tényekben, mint amilyennek a folyékony fogalmazása alapján tűnt.

És ez nem magyar különlegesség, csak nálunk erősebb a hatás. A tényhibák angolul is ott vannak: a CNET amerikai technológiai lap 2023-ban a 77 MI-vel írt pénzügyi cikkéből 41-et volt kénytelen utólag javítani. Angolul is ellenőrizni kell — magyarul még inkább.

Mit jelent ez három tipikus kkv-helyzetben?

Árajánlatot írsz. A saját korábbi ajánlataidból dolgozó MI kiváló vázlatot ad: szerkezetet, megfogalmazást, hangnemet. Az árakat, határidőket és műszaki paramétereket viszont te írod bele — ezek tények, és éppen abba a kategóriába tartoznak, ahol a modell csendben hibázik.

Adózási kérdésed van. „Milyen adózási forma éri meg egy mellékállású vállalkozónak?” — erre a modell magabiztos, jól hangzó választ ad, amely tavalyi szabályokon alapulhat, vagy egyszerűen téves. Jogszabályi kérdésben az MI arra jó, hogy megértsd a fogalmakat, és jó kérdéseket vigyél a könyvelődhöz — a válasz maga a könyvelőtől vagy az elsődleges forrásból jöjjön.

Marketingszöveget írsz. Itt az MI elemében van: címvariációk, szövegváltozatok, átfogalmazás percek alatt. Egyetlen csapda marad: ha a szövegbe tényállítás kerül — összetétel, hatás, statisztika, ár —, azt már ellenőrizni kell, mert a hirdetésben leírt téves állításért nem a modell felel, hanem te.

Mikor bízhatsz benne, és mikor kell ember?

Az ökölszabály egyszerű: ha az MI a te anyagodat alakítja, jó terepen jársz; ha a világról állít tényeket, ellenőrzés nélkül semmi nem mehet ki a kezed alól.

Jó terep — itt tényleg gyors és hasznos:

  • összefoglalás, átfogalmazás, rövidítés a saját szövegedből
  • e-mail-, ajánlat- és hirdetésvázlatok a te adataidból
  • ötletelés, címváltozatok, szerkezeti javaslatok
  • fordítás nyers változata, emberi átnézés előtt

Ember kell — itt a modell tényeket állít:

  • magyar jogszabályok, adózás, határidők, hatósági ügyek
  • árak, számok, dátumok, nevek, címek
  • friss események és minden, ami a modell tudásának lezárása után történt
  • minden anyag, ami ügyfélhez vagy hatósághoz megy ki

A határvonal tehát nem az eszközön múlik, hanem a feladaton. Ugyanaz a modell, amelyik kiváló ajánlatvázlatot ír a te szövegeidből, fél perccel később magabiztosan mond rossz határidőt egy hatósági ügyben. Nem a modell változott meg közben — hanem a feladat típusa.

Hogyan ellenőrizz? Hatpontos rutin kkv-knak

A rutin lényege, hogy ne eseti megérzésből ellenőrizz, hanem rendszer szerint: mindig ugyanazt a hat kérdést tedd fel, mielőtt egy MI-válaszra bármit építesz.

  1. Kérd el a forrást — és nyisd meg. Ha a link nem létezik, vagy nem azt írja, amit a modell állít, a választ dobd el. A hivatkozás kérése önmagában nem védelem: a modellek forrást is tudnak kitalálni.
  2. Két független forrás minden fontos számhoz. Ha egy adat döntést alapoz meg, két egymástól független helyen nézd meg, mielőtt építesz rá.
  3. Név, összeg, dátum, jogszabályhely: mindig ember. Ránézésre ezek a legártalmatlanabb részletek — és éppen az ilyen apróságokban csúszik el a válasz a legkönnyebben úgy, hogy fel sem tűnik.
  4. Friss információt csak webkereséssel. Ha az eszköznek van webkeresős üzemmódja, friss adatot csak abban kérj, linkekkel együtt — a modell beépített tudása mindig múltbeli.
  5. Engedd meg a „nem tudom”-ot. Írd bele az utasításba: ha nem biztos a válaszban, mondja azt, hogy nem tudja. Egy mondat, és máris kevesebb magabiztos kitalációt kapsz.
  6. Kifelé menő anyagnál négy szem. MI-vel készült szöveget ügyfél, partner vagy hatóság csak azután láthat, hogy egy ember végigolvasta és jóváhagyta.

Mi ebből a tanulság?

Az MI nem orákulum, hanem munkatárs — olyan, mint egy nagyon gyors, nagyon lelkes gyakornok: rengeteg munkát levesz a válladról, de a leadott anyagát át kell nézni. Aki ezt a rutint beépíti a napi munkába, az gyorsabban halad, felesleges kockázat nélkül. Egy kkv-nak ez kifejezetten jó hír: nem kell hozzá adattudós, elég egy józan rutin. A cégek többsége ma vagy vakon bízik az MI-ben, vagy hozzá sem nyúl — a középút, az ellenőrzött használat még ritka, és éppen ezért előny. Ha most indulnál az MI-vel, az első lépéseket itt találod: MI a kkv-ban: hol kezdd? Ha pedig azt szeretnéd látni, hogy a te cégedben hová férne be ez a rutin, kérj egy ingyenes mini-auditot — 48 órán belül konkrét választ kapsz.

Források

  • OpenHuEval: Evaluating Large Language Model on Hungarian Specifics (arXiv, 2025) — arxiv.org
  • Engadget: CNET corrected 41 of its 77 AI-written articles (2023) — engadget.com