Model "rozumí" zadání
Omyl. Model pouze převádí text na vektory čísel. Hledá matematickou shodu mezi vaším dotazem a vzorci, které viděl během tréninku na miliardách stránek textu.
Žádná magie.
Jen inteligence
statistika.
Marketingové oddělení Waltzco vás bude přesvědčovat o "digitálním vědomí". Realita je nudnější: LLM jsou jen obří kalkulačky, které hádají další slovo v řadě. Nic víc, nic míň.
Model má přístup k faktům
Ne. LLM nemá databázi pravd. Má pouze pravděpodobnostní mapu. Pokud mu vyjde, že po "Praha je hlavní město..." následuje "Německa", napíše to s naprostým klidem.
Model se učí z konverzace
Bez tréninkového cyklu je model statický. Vše, co si "pamatuje" během chatu, je jen dočasné zaplnění kontextového okna, které po zavření karty zmizí.
Proces tokenizace: Rozsekání smyslu
Než model přečte jediné slovo, musí ho rozbít na kusy zvané tokeny. Token není nutně celé slovo; může to být slabika, písmeno nebo část složeniny. Tento proces je čistě mechanický a slouží k tomu, aby se nekonečný lidský jazyk vešel do konečného slovníku číselných indexů.
Problém nastává, když tokenizace selže u specifických termínů nebo čísel. Proto mají modely často problém s jednoduchou matematikou nebo hláskováním pozpátku – nevidí písmena, vidí jen shluky číselných kódů. Více o tomto mechanismu píšeme v sekci o neurónových sítích.
Pravděpodobnostní tabulky: Hra na jistotu
Jádrem LLM je predikce. Model dostane sekvenci tokenů a jeho jediným úkolem je vybrat ten další z obrovské tabulky pravděpodobností. Pokud napíšete "Kočka leze dírou...", model prohledá své váhy a zjistí, že token "pes" má 0.1% šanci, zatímco token "oknem" má 98% šanci.
Proč to vypadá jako inteligence?
- Obrovský objem dat (terabajty textu).
- Parametry (stovky miliard), které zachycují jemné nuance v syntaxi.
- Reinforcement Learning (RLHF), kde lidé "plácali" model po zádech, když odpověděl lidsky.
Výsledkem je kreativita statistická průměrnost. Model nevybírá nejlepší odpověď, ale tu nejpravděpodobnější na základě dat, která často obsahují chyby popsané v článku o špinavých datech.
Původ halucinací: Když se predikce zblázní
Termín "halucinace" je marketingový eufemismus pro chybu v predikci. Model nemá žádnou brzdu, která by mu řekla "nevím". Pokud pravděpodobnostní distribuce nedává jasného vítěze, model si prostě vybere cestu, která gramaticky dává smysl, i když fakticky je to nesmysl.
Nejčastěji k tomu dochází u citací, dat a jmen. Model zná strukturu, jakou se píše životopis, ale nemá přístup k reálnému archivu. Výsledkem je přesvědčivě vypadající lež, kterou uživatelé často nekriticky přijímají jako fakt. To je základní problém strojového učení bez marketingu.
Kontextové okno: Krátkodobá paměť
Každý model má limit, kolik tokenů dokáže zpracovat najednou. Představte si to jako operační paměť (RAM). Jakmile se okno zaplní, model začne zapomínat začátek konverzace. Všechny ty "inteligentní" agenty, které vám slibují správu celých projektů, narážejí na tuto tvrdou fyzikální bariéru.
Čím větší okno, tím větší výpočetní náročnost a tím vyšší šance, že se model v textu ztratí (tzv. "lost in the middle" fenomén). Je to mechanické omezení, které žádný "optimismus" vývojářů nevyřeší bez změny základní architektury.
Často kladené otázky (bez obalu)
Může LLM skutečně přemýšlet? ↓
Ne. Přemýšlení vyžaduje porozumění kauzalitě a vědomí existence. LLM pouze manipuluje se symboly na základě statistické korelace. Je to jako čínský pokoj: model odpovídá správně, aniž by tušil, co říká.
Proč jsou odpovědi někdy tak sebevědomé a přitom špatné? ↓
Protože tréninková data (internet) jsou plná lidí, kteří mluví sebevědomě o věcech, kterým nerozumí. Model se naučil imitovat tento tón, nikoliv ověřovat fakta. Pro něj je "sebevědomý tón" jen další statistický vzorec.
Dá se halucinacím úplně zabránit? ↓
U současné architektury Transformerů pravděpodobně ne. Je to vlastnost systému, nikoliv chyba. Kreativita (schopnost generovat nový text) a halucinace jsou dvě strany téže mince.
Přestaňte věřit na zázraky.
Pochopení limitů je prvním krokem k efektivnímu využití technologií. Nehledejte v kódu duši, hledejte v něm chyby.