Transformers – Architektúra za ChatGPT
Transformers sú revolučná neurónová architektúra z roku 2017, ktorá stojí za ChatGPT, Claude a väčšinou moderných AI modelov.
Prečo Transformers zmenili všetko
Pred Transformers boli recurrent neural networks (RNN) štandardom pre jazyk. Problém?
RNN limity:
- Spracovávali text sekvenčne (slovo po slove)
- Pomalé trénovanie
- Ťažko zachytávali dlhé závislosti
Transformers riešenie:
- Paralelné spracovanie
- Attention mechanizmus
- Dramaticky rýchlejšie a lepšie
Kľúčový koncept: Attention
“Attention is All You Need” – názov pôvodného článku.
Čo je Attention: Schopnosť modelu “sústrediť sa” na relevantné časti vstupu.
Príklad: Veta: “Pes, ktorý behal v parku, bol unavený.”
Keď model generuje “unavený”, attention mu pomáha spojiť to s “pes” (nie “park”).
Zjednodušená architektúra
Encoder-Decoder
Encoder: “Číta” vstup a vytvára reprezentáciu Decoder: Generuje výstup
Príklad (preklad):
- Encoder spracuje “Hello world”
- Decoder vygeneruje “Ahoj svet”
Self-Attention
Každý token sa “pozerá” na všetky ostatné tokeny a rozhoduje, ktoré sú relevantné.
Multi-Head Attention
Viacero “attention heads” sa pozerá na rôzne aspekty súčasne.
GPT vs BERT
GPT (Generative Pre-trained Transformer):
- Len decoder
- Generuje text
- ChatGPT, Claude
BERT (Bidirectional Encoder):
- Len encoder
- Rozumie textu
- Vyhľadávanie, klasifikácia
Prečo sú Transformers také dobré
- Paralelizácia – trénujú sa rýchlejšie
- Škálovanie – väčší = lepší
- Transfer learning – jeden model pre veľa úloh
- Attention – lepšie zachytáva vzťahy
”Attention is All You Need”
Pôvodný článok od Google (2017):
- Vaswani et al.
- Predstavil Transformer architektúru
- Jeden z najcitovanejších AI článkov
Evolúcia
- 2017: Originálny Transformer
- 2018: GPT-1, BERT
- 2019: GPT-2
- 2020: GPT-3
- 2023: GPT-4
- 2024: GPT-4o, Claude 3.5
Každá generácia väčšia a lepšia.
Záver
Transformers sú “motor” za AI revolúciou. Pochopenie základov ti pomôže lepšie rozumieť možnostiam a limitom AI nástrojov, ktoré denne používaš.