Čo je LLM? Vysvetlenie veľkých jazykových modelov

Keď používaš ChatGPT, Claude alebo Gemini, v pozadí beží niečo, čo sa volá LLM – Large Language Model. V tomto článku ti vysvetlím, čo to vlastne je, ako to funguje a prečo je to také revolučné.

LLM v skratke

LLM (Large Language Model) je typ umelej inteligencie, ktorý rozumie a generuje ľudský jazyk. “Large” znamená, že má miliardy parametrov – nastaviteľných hodnôt, ktoré určujú jeho správanie.

Príklady LLM:

• GPT-4 (ChatGPT) od OpenAI
• Claude od Anthropic
• Gemini od Google
• LLaMA od Meta
• Mistral od Mistral AI

Ako LLM funguje – zjednodušene

Predstav si, že LLM je ako autokorekt na steroidoch. Keď píšeš správu a telefón ti navrhne ďalšie slovo – to je primitívna verzia toho, čo robí LLM. Akurát že LLM to robí oveľa sofistikovanejšie.

Princíp predpovedania

LLM v jadre robí jednu vec: predpovedá, aké slovo (token) má nasledovať. Keď sa opýtaš “Aké je hlavné mesto Slovenska?”, model postupne generuje:

1. “Hlavné” → predpovedá “mesto”
2. “Hlavné mesto” → predpovedá “Slovenska”
3. “Hlavné mesto Slovenska” → predpovedá “je”
4. “Hlavné mesto Slovenska je” → predpovedá “Bratislava”

Tento proces sa opakuje, kým model nevygeneruje celú odpoveď.

Tréning na textoch

LLM sa učí čítaním obrovského množstva textu z internetu, kníh, článkov a ďalších zdrojov. Počas tréningu sa model učí vzory:

• Ktoré slová sa často vyskytujú spolu
• Ako vyzerajú gramaticky správne vety
• Aké sú logické súvislosti medzi konceptmi
• Ako vyzerá štýl rôznych typov textov

GPT-4 bol trénovaný na:

• Webové stránky (miliardy)
• Knihy a publikácie
• Kód a dokumentácia
• Konverzácie a fóra

Kľúčové koncepty

Tokeny

LLM nepracuje so slovami, ale s tokenmi. Token je kúsok textu – môže to byť celé slovo, časť slova, alebo len znak.

Príklad tokenizácie:

• “Ahoj” → 1 token
• “Bratislava” → 2-3 tokeny
• “Neurónové siete” → 3-4 tokeny

Prečo na tom záleží? Lebo LLM majú limit tokenov, ktoré môžu spracovať naraz (context window).

Context window

Context window je “pamäť” LLM – koľko textu dokáže naraz spracovať.

Porovnanie:

• GPT-3.5: 4 096 tokenov (~3 000 slov)
• GPT-4: 128 000 tokenov (~96 000 slov)
• Claude 3: 200 000 tokenov (~150 000 slov)

Väčšie context window = môžeš poslať dlhší text, viesť dlhšie konverzácie, analyzovať väčšie dokumenty.

Parametre

Parameter je číselná hodnota v “mozgu” modelu. Viac parametrov zvyčajne znamená väčšiu schopnosť rozumieť komplexným vzťahom.

Porovnanie:

• GPT-2 (2019): 1.5 miliardy
• GPT-3 (2020): 175 miliárd
• GPT-4 (2023): odhadované 1.7 trilióna

Transformers

Transformers je architektúra, na ktorej sú postavené moderné LLM. Bola predstavená v roku 2017 v článku “Attention is All You Need” od Google.

Kľúčová inovácia: mechanizmus attention (pozornosti), ktorý umožňuje modelu “sústrediť sa” na relevantné časti textu pri generovaní odpovede.

Čo LLM dokáže

Silné stránky

Generovanie textu:

• Písanie článkov, emailov, príbehov
• Sumarizácia dlhých dokumentov
• Preklad medzi jazykmi
• Vysvetľovanie komplexných tém

Analýza:

• Porozumenie otázkam a kontextu
• Extrakcia informácií z textu
• Klasifikácia a kategorizácia

Konverzácia:

• Vedenie dialógu
• Odpovedanie na otázky
• Prispôsobenie štýlu

Programovanie:

• Písanie kódu
• Vysvetľovanie kódu
• Debugging

Slabé stránky

Faktická presnosť: LLM nemá “databázu faktov”. Generuje text na základe vzorcov, čo môže viesť k “halucináciam” – presvedčivo znejúcim, ale nesprávnym informáciám.

Matematika a logika: Komplexné výpočty a logické úlohy sú problematické. LLM “predpovedá” odpoveď, nerozmýšľa logicky.

Aktuálne informácie: LLM má “knowledge cutoff” – nevie o udalostiach po dátume, kedy skončil tréning.

Konzistencia: Pri dlhých konverzáciách môže LLM zabúdať alebo si protirečiť.

Ako vzniká odpoveď ChatGPT

Keď napíšeš prompt do ChatGPT, deje sa toto:

1. Tokenizácia – tvoj text sa rozdelí na tokeny
2. Embedding – tokeny sa prevedú na čísla (vektory)
3. Spracovanie – čísla prechádzajú vrstvami neurónov
4. Attention – model sa “sústreďuje” na relevantné časti
5. Predpoveď – vypočíta pravdepodobnosti pre ďalší token
6. Sampling – vyberie token (nie vždy najpravdepodobnejší)
7. Opakovanie – proces sa opakuje pre každý token

Toto všetko sa deje za milisekundy, mnohokrát za sebou.

LLM vs iné typy AI

Moderné modely ako GPT-4o sú multimodálne – pracujú s textom, obrázkami aj zvukom.

Prečo sú LLM také užitočné

Emergent abilities

Zaujímavý fenomén: keď LLM dosiahne určitú veľkosť, “objaví” schopnosti, ktoré neboli explicitne trénované. Napríklad:

• Riešenie logických hádaniek
• Písanie kódu v jazyku, ktorý nebol v tréningových dátach
• “Uvažovanie” krok za krokom

In-context learning

LLM sa dokáže “naučiť” novú úlohu len z príkladov v prompte, bez akéhokoľvek ďalšieho tréningu. Toto sa volá few-shot learning.

Príklad:

Prevádzaj slová do Pig Latin:
hello → ellohay
world → orldway
computer → ?

Model pochopí vzor a správne odpovie “omputercay” – aj keď nikdy nebol špecificky trénovaný na Pig Latin.

Budúcnosť LLM

Trendy

• Väčšie modely – viac parametrov, lepšia kvalita
• Efektívnejšie modely – rovnaká kvalita s menej zdrojmi
• Špecializácia – modely pre konkrétne domény (právo, medicína)
• Multimodalita – integrácia textu, obrazu, zvuku, videa
• Reasoning – lepšie logické uvažovanie (OpenAI o1)

Výzvy

• Faktická presnosť a halucinácie
• Bezpečnosť a zneužitie
• Energetická náročnosť
• Autorské práva tréningových dát

Praktické dôsledky pre používateľov

Ako lepšie používať LLM

1. Buď konkrétny – čím presnejší prompt, tým lepšia odpoveď
2. Daj kontext – vysvetli pozadie a cieľ
3. Overuj fakty – LLM môže halucinovať
4. Iteruj – upresnuj a vylepšuj
5. Využívaj silné stránky – písanie, brainstorming, vysvetľovanie

Limity na pamäti

Ak máš dlhú konverzáciu, model môže “zabudnúť” začiatok. Riešenie:

• Zhrň dôležité body
• Začni novú konverzáciu s kontextom
• Použi model s väčším context window

Často kladené otázky

Je LLM skutočná inteligencia?

Nie v ľudskom zmysle. LLM nemá vedomie, emócie ani skutočné porozumenie. Je to sofistikovaný pattern-matching systém.

Prečo ChatGPT niekedy klame?

Neklamie zámerne. Generuje text, ktorý “vyzerá správne” na základe vzorcov. Niekedy tie vzory vedú k nesprávnym informáciám.

Môžem veriť odpovedi LLM?

Pri faktoch overuj z dôveryhodných zdrojov. Pri kreatívnych úlohách a brainstormingu je spoľahlivosť vyššia.

Čo je rozdiel medzi GPT-4 a Claude?

Sú to rôzne modely od rôznych firiem. Majú odlišný tréning, architektúru a “osobnosť”. Claude je známy dlhším context window a dôrazom na bezpečnosť.

Záver

LLM sú fascinujúce nástroje, ktoré menia spôsob práce s informáciami. Nie sú magické a majú limity, ale ak rozumieš ako fungujú, môžeš ich využiť oveľa efektívnejšie.

Kľúčové takeaway:

• LLM predpovedá text token po tokene
• Silný v jazyku, slabší v faktoch a matematike
• Kvalita výstupu závisí od kvality promptu
• Vždy overuj dôležité informácie