Tri otázky, ktoré rozhodnú
- Čo má model robiť? Dlhé dokumenty, obraz a zvuk, generovanie kódu a rozhodovanie sú štyri rôzne úlohy a každá má iného víťaza.
- Koľko toho bude? Pri desiatkach požiadaviek denne je cena za token nepodstatná. Pri desaťtisícoch je to hlavná položka rozpočtu.
- Kam smú ísť dáta? Toto je najtvrdšie obmedzenie a rozhoduje ako prvé — ak dáta nesmú opustiť budovu, ostatné dve otázky sa zužujú na open-source model u vás.
Na čo používame ktorý
| Model | Kde ho nasadzujeme | Prečo |
|---|---|---|
| Claude (Anthropic) | Dlhé dokumenty, práca s nástrojmi, agentické úlohy | Zvláda veľmi dlhý kontext a spoľahlivo drží viackrokovú úlohu do konca. Používame ho tam, kde je dôležitá presnosť práce s textom. |
| Gemini (Google) | Obraz, zvuk, video, veľké objemy | Silný v multimodalite a priaznivý pri objemovom spracovaní. Nasadzujeme ho na fotografie dokladov, prepisy hovorov a všade, kde ide o množstvo. |
| GPT a Codex (OpenAI) | Generovanie a revízia kódu | Najširšie odskúšaný ekosystém nástrojov okolo vývoja. |
| Llama, Mistral, Qwen | Beh na vašom serveri | Otvorené modely, keď dáta nesmú von alebo chcete mať náklady pod úplnou kontrolou. |
Nemáme províziu od žiadneho poskytovateľa. Model vyberáme podľa úlohy, ceny a toho, kam smú ísť vaše dáta — nie podľa toho, s kým máme zmluvu.
Kedy má zmysel vlastný server
Open-source model na vlastnom hardvéri dáva zmysel v troch prípadoch: dáta zo zákona alebo zo zmluvy nesmú opustiť vašu infraštruktúru, objem je taký veľký, že sa investícia do hardvéru vráti, alebo potrebujete istotu, že vám nikto nezmení ani nezruší službu pod rukami.
Cena za nasadenie je vyššia a treba počítať s údržbou. Pri bežnej firemnej automatizácii sa oplatí komerčné API; pri objemovom spracovaní citlivých dokumentov sa hranica prekročí rýchlo.
Ako staviame, aby sa dal model vymeniť
Volanie modelu izolujeme do jednej vrstvy. Zvyšok aplikácie o tom, ktorý model beží pod ňou, nevie nič — dostáva len výsledok v dohodnutom tvare. Vďaka tomu je prechod z komerčného API na open-source model, alebo naopak, otázkou konfigurácie, nie prepisovania.
Praktický dôsledok: keď o pol roka vyjde model, ktorý je na vašu úlohu lepší alebo lacnejší, prepnete naň bez nového projektu.