Pri väčšine AI projektov raz príde otázka: „Smieme vôbec tieto dáta poslať AI firme?“ A hneď za ňou ďalšia: nemohli by sme si model jednoducho spustiť sami? Obe otázky sú namieste. Odpoveď závisí od vašich dát, od objemu a od toho, kto sa bude o celé riešenie starať.
Veľký jazykový model (LLM), teda typ modelu, na ktorom stojí ChatGPT, môžete používať tromi bežnými spôsobmi. Prvým je verejné API, druhým firemné API hostované v EÚ a tretím open-weight model, ktorý prevádzkujete sami. Open-weight znamená, že natrénovaný model je zverejnený. Môžete si ho stiahnuť a spustiť na vlastnom hardvéri.
Tri možnosti
Verejné API
Cez internet pošlete požiadavku do OpenAI, Anthropic alebo Google a dostanete odpoveď. Platíte za tokeny (kúsky slov) a sami neprevádzkujete nič. Poskytovateľ zabezpečuje prevádzku modelov a ponúka ich výber. Dostupnosť závisí od služby a plánu.
Vaše dáta opustia vaše prostredie a spracuje ich poskytovateľ. V podmienkach konkrétnej služby si overte použitie vstupov na tréning, dobu uchovávania promptov a odpovedí aj miesto spracúvania. Pri osobných údajoch posúďte úlohu poskytovateľa a potrebné zmluvné záruky.
Firemné API alebo API hostované v EÚ
Spravovaná služba môže ponúknuť regionálne spracúvanie, firemné zmluvy a správu identít, ktorú vaše IT už používa. Záleží však na type nasadenia. Úložisko v EÚ samo osebe neurčuje, kde model spracuje požiadavku. Dokumentácia Microsoftu rozlišuje globálne spracúvanie, dátové zóny a konkrétne geografické oblasti. AWS podobne rozlišuje geografické a globálne smerovanie. Pred použitím firemných dát overte konkrétny model, smerovanie aj zmluvu.
Open-weight model na vlastnom serveri
Model ako Llama, Mistral, Qwen alebo Gemma spustíte na vlastných serveroch alebo na GPU strojoch vo vlastnom cloudovom účte. Prompty a dokumenty môžu zostať vo vašom prostredí, ak tak nastavíte aj okolitý softvér, logovanie a prepojenia. Pri prenajatých serveroch sa na prevádzke stále podieľa cloudový poskytovateľ. Na oplátku zodpovedáte za hardvér, softvér, aktualizácie aj bezpečnosť.
Tri spôsoby, ako používať jazykový model
| Verejné API | API v EÚ | Vlastný server | |
|---|---|---|---|
| Kvalita pri vašich úlohách | Otestujte dostupné modely | Otestujte modely v zvolenom regióne | Otestujte model spolu s hardvérom |
| Dáta zostávajú vo vašom prostredí | Nie | Nie | Áno |
| Kontrola nad miestom spracúvania | Podľa služby | Podľa nasadenia a zmluvy | Podľa vašej infraštruktúry |
| Náročnosť nasadenia | Nízka | Nízka až stredná | Vysoká |
| Ako platíte | Za tokeny | Za tokeny alebo za rezervovanú kapacitu | Servery a ľudia, väčšinou fixne |
| Funguje bez internetu | Nie | Nie | Ak je celé riešenie lokálne |
| Kto ho udržiava v chode | Poskytovateľ | Poskytovateľ | Vy alebo váš dodávateľ |
Súkromie: čo sa naozaj mení
Tréning, uchovávanie a prístup k údajom sú samostatné otázky. Služba môže vylúčiť použitie na tréning a zároveň ukladať logy alebo zapájať ďalších sprostredkovateľov. Prejdite podmienky služby, ktorú chcete používať:
- Kto dáta spracúva. Pri osobných údajoch určite úlohu každej strany a potrebné zmluvné podmienky. EDPB vysvetľuje zodpovednosti prevádzkovateľov a sprostredkovateľov aj dodatočné pravidlá prenosov mimo EHP. Viac v našom návode AI, GDPR a európsky AI Act.
- Kde sa spracúvajú. Osobitne overte spracovanie modelom, úložisko, prístup podpory aj ďalších sprostredkovateľov. Niektoré zmluvy alebo interné pravidlá obmedzujú externé spracúvanie aj pri službe s regiónom v EÚ.
- Ako dlho sa uchovávajú. Overte si, ako dlho sa ukladajú prompty a výstupy a či sa to dá skrátiť.
Vlastný server sa oplatí posúdiť, ak platí niečo z tohto:
- Konkrétna zmluva alebo interná požiadavka vyžaduje spracovanie v infraštruktúre, ktorú spravujete. Samotné odvetvie neurčuje, ktorý spôsob hostingu je povolený.
- Systém musí fungovať offline, napríklad vo výrobe bez spoľahlivého internetu.
- Spracúvate vysoký a stály objem. Viac o tom nižšie.
Vlastný server však nie je automaticky bezpečný. Prístupové práva, aktualizácie a logy sú teraz na vás. Model môže vo výstupe prezradiť informácie z dokumentov, ktoré dostane. Oprávnenia sú preto stále dôležité: asistent by mal hľadať len v dokumentoch, ktoré smie vidieť človek, ktorý sa pýta.
Kvalita: aký veľký je rozdiel
Modely cez API aj na vlastnom serveri zvládajú vyťahovanie údajov, triedenie a otázky k dokumentom. Porovnávajte, či konkrétny model spĺňa požiadavky na presnosť, jazyk a čas odpovede na infraštruktúre, ktorú chcete používať.
Medzi týmito spôsobmi hostingu neexistuje nemenný rebríček kvality. Pri práci v slovenčine alebo češtine zahrňte tieto jazyky do testov namiesto spoliehania sa na anglické benchmarky.
Nerozhodujte sa podľa verejných benchmarkov. Vezmite 50 až 100 skutočných príkladov z vášho procesu, spustite ich na dvoch či troch modeloch a výsledky porovnajte vedľa seba. Najlepšie spolu s ľuďmi, ktorí túto prácu dnes robia.
Cena: závisí od objemu
API účtované podľa spotreby stojí najmä podľa počtu a veľkosti požiadaviek. Niektoré plány majú aj predplatné alebo rezervovanú kapacitu. Vlastné nasadenie pridáva cenu hardvéru či prenájmu a čas na správu. Stále zapnutý server stojí peniaze aj bez práce. Vypínanie pri nečinnosti náklady znižuje, no treba počítať s opätovným spúšťaním a dostupnosťou kapacity.
Stála záťaž rozdelí fixné náklady medzi viac požiadaviek. Pri občasnom používaní porovnajte API podľa spotreby s celou cenou pripraveného vlastného nasadenia. Pri nepretržitej práci otestujte výkon a oceňte obe možnosti pri rovnakej kvalite. Započítajte aj čas ľudí, nielen účet za servery. Ako odhadnúť náklady na API, ukazuje článok koľko stojí AI projekt.
Koľko hardvéru? Veľkosť váh je východisko, nie celý návrh servera. Ilustračný výpočet: 8 miliárd parametrov pri 16 bitoch potrebuje asi 16 GB len na váhy. Nižšia presnosť môže tento objem zmenšiť; postup vysvetľuje dokumentácia kvantizácie od Hugging Face. Ďalšiu pamäť potrebuje samotná prevádzka, kontext aj súbežné požiadavky. Pred kúpou hardvéru otestujte konkrétny model, presnosť a záťaž.
Ktorá možnosť sa hodí
Citlivosť dát →
- 1 Marketingové koncepty
- 2 Otázky k interným smerniciam
- 3 Kontrola zmlúv v advokátskej kancelárii
- 4 Zhrnutia poznámok o pacientoch
- 5 Koncepty odpovedí podpory
- 6 Označovanie milióna popisov produktov
Objem požiadaviek →
- 1 Marketingové koncepty
- 2 Otázky k interným smerniciam
- 3 Kontrola zmlúv v advokátskej kancelárii
- 4 Zhrnutia poznámok o pacientoch
- 5 Koncepty odpovedí podpory
- 6 Označovanie milióna popisov produktov
Ako vyzerá prevádzka na vlastnom serveri
Vlastný model nie je len stiahnutý súbor. Bežné nasadenie má tieto vrstvy:
AI na vlastnom serveri
- Vaše aplikácie a používatelia Chat, interné nástroje, automatické workflowy
- Brána Prihlásenie, oprávnenia, logy, limity používania
- Vyhľadávanie Hľadanie vo vašich dokumentoch podľa toho, kto čo smie vidieť
- Inferenčný server Softvér, ktorý model spúšťa, napríklad vLLM alebo Ollama
- Open-weight model Llama, Mistral, Qwen, Gemma a podobné
- GPU servery Vo vašom dátovom centre alebo cloudovom účte
- Brána. Jediné dvere k modelu. Overí, kto sa pýta, zaznamená požiadavky a nedovolí, aby jeden splašený skript zabral celú kapacitu. Niektoré požiadavky vie poslať aj do externého API. Presne tak fungujú kombinované riešenia.
- Vyhľadávanie. Model vaše dokumenty nepozná. Vyhľadávací krok nájde relevantné pasáže a pošle ich modelu spolu s otázkou. Volá sa to RAG. Viac v článku ako funguje RAG.
- Inferenčný server. Softvér, ktorý model nahrá do GPU a odpovedá na požiadavky viacerých používateľov naraz.
- Model a hardvér. Vyberajú sa spolu. Model, ktorý sa nezmestí do pamäte GPU, nepobeží alebo pobeží veľmi pomaly.
Do prevádzky patria aj bezpečnostné aktualizácie, nové verzie modelov, sledovanie rýchlosti a chýb a plán pre prípad, že server vypadne.
Kombinované riešenia
Jeden vstup, rôzne modely
- Príde požiadavka
- Overiť pravidlá Zdroj, používateľ a povolené spracúvanie
- Vybrať model Schválené API alebo vlastný model
- Vrátiť výsledok Používateľ ostáva v rovnakej aplikácii
Nemusíte si vybrať jednu možnosť na všetko, tak ako nemusíte všetko kúpiť alebo všetko postaviť. V praxi sa dajú kombinovať takto:
- Smerovanie podľa citlivosti. Požiadavky s osobnými alebo dôvernými údajmi idú na model na vlastnom serveri, všeobecné úlohy do API. Brána rozhoduje podľa zdroja dát alebo skupiny používateľov.
- Overiť na API, potom presunúť. Pilot spustite na API hostovanom v EÚ s dátami, ktoré tam smiete použiť. Na vlastný server prejdite, keď viete, že proces funguje a aký objem čakať.
- Malý model doma, veľký na ťažké prípady. Lokálny model zvládne bežné kroky. Zriedkavý ťažký prípad bez citlivých údajov ide do API.
Klinika môže napríklad smerovať otázky o verejných ordinačných hodinách do schváleného API a poznámky o pacientoch spracúvať vo vlastnom nasadení. Aj pripomienka termínu môže obsahovať osobné údaje, preto treba jej smerovanie posúdiť osobitne.
Skôr než sa rozhodnete pre vlastný server
Pripravenosť na vlastný server
- Písomný dôvod Zmluva, regulácia, prevádzka bez internetu alebo zmeraný objem, nie len pocit
- Kvalita otestovaná na vašich dátach Dva či tri otvorené modely na skutočných príkladoch, vo vašom jazyku
- Odhadnutý objem a špičky Požiadavky za deň a počet ľudí, ktorí model používajú naraz
- Plán hardvéru Kúpiť, prenajať GPU vo vašom cloude, alebo využiť poskytovateľa v EÚ, ktorý otvorené modely hostuje
- Zodpovedná osoba za prevádzku Aktualizácie, bezpečnostné záplaty, monitoring, výpadky
- Overená licencia modelu Niektoré otvorené modely majú vlastné podmienky a obmedzenia používania
- Pravidlá prístupu Kto sa smie pýtať na ktoré dokumenty
- Záložné riešenie pre prípad výpadku servera
Časté chyby
- Kúpa GPU pred otestovaním modelov. Najprv testujte na prenajatom hardvéri, potom podľa toho dimenzujte nákup.
- Porovnávanie účtu za servery s účtom za API. Vlastný server stojí aj čas ľudí. Zarátajte ho.
- Predpoklad, že vlastný server znamená súlad s pravidlami. GDPR stále platí: účel, prístupy, doba uchovávania a záznamy o spracúvaní.
- Najväčší model, aký sa zmestí. Menší model je rýchlejší, lacnejší a často stačí. Väčší použite len tam, kde testy ukážu, že ho potrebujete.
Čo urobiť ďalej
Začnite dátami, nie hardvérom. Spíšte, aké dáta AI proces potrebuje, čo o nich hovoria vaše zmluvy a regulátori a približne koľko požiadaviek čakáte. V mnohých prípadoch stačí API hostované v EÚ. Kde nestačí, je model na vlastnom serveri overená cesta.
Staviame súkromných AI asistentov, ktorí bežia vo vašom vlastnom prostredí a prepájajú sa s vašimi dokumentmi a systémami. Ak potrebujete práve to, pozrite si súkromnú AI a jazykové modely na vlastnom serveri.
