„Koľko to bude stáť?“ býva prvá otázka pri AI projekte. Odpoveďou je zvyčajne len cenová ponuka na vývoj. To je však iba tretina obrazu. AI nástroj stojí peniaze aj každý mesiac, keď beží. A treba sa oň starať, keď sa mení váš proces, vaše dáta aj samotné modely.
Tento článok rozdeľuje náklady na tri časti: vývoj, prevádzku a údržbu. Ukazuje naše vlastné cenové pásma za vývoj, prepočítava príklad prevádzkových nákladov a vymenúva páky, ktorými udržíte mesačný účet pod kontrolou.
Tri druhy nákladov
Kam idú peniaze
| Vývoj | Prevádzka | Údržba | |
|---|---|---|---|
| Kedy platíte | Raz, pred spustením | Každý mesiac | Každý mesiac alebo pri zmene |
| Čo ich určuje | Zložitosť procesu, počet prepájaných systémov | Objem, voľba modelu, veľkosť každej požiadavky | Ako často sa mení proces, dáta alebo modely |
| Typické položky | Workshop, prepojenia, obrazovky, testovanie | Používanie modelu, hosting, vyhľadávací index, minúty hlasu | Monitoring, úpravy promptov a modelov, podpora |
| Na čo sa ľahko zabudne | Upratanie dát a výnimky | Čas ľudí na kontrolu výstupov | Nové testy, keď poskytovateľ model stiahne |
| Dá sa ľahko predvídať | Áno | Čiastočne | Čiastočne |
Vývoj: čo zaplatíte raz
Vývoj zahŕňa viac než „pripojiť ChatGPT“. Pri bežnom AI procese obsahuje:
- Zmapovanie procesu. Prejsť proces s ľuďmi, ktorí ho robia, zozbierať skutočné príklady a dohodnúť sa, ako vyzerá dobrý výsledok.
- Prepojenia. Čítanie z vašich systémov a zápis do nich: e-mail, ERP, CRM, úložisko dokumentov. Často je to najväčšia časť práce, najmä pri starších systémoch.
- AI časť. Inštrukcie pre model, vyhľadávanie vo vašich dokumentoch, ak ho potrebuje, a sada testovacích prípadov na kontrolu kvality.
- Obrazovky pre ľudí. Miesto, kde niekto skontroluje koncept, opraví pole alebo schváli výnimku. Dobrá obrazovka na kontrolu ušetrí viac času než šikovný prompt.
- Testovanie a spustenie. Skutočné prípady, okrajové situácie a zaškolenie tímu.
Toto sú naše vlastné cenové pásma:
Koľko stojí vývoj v QikBuilde
- 5 – 10 tis. € Jeden proces: jednoduchý nástroj alebo AI funkcia prepojená s 1 – 2 systémami
- 10 – 30 tis. € Prepojený systém: portál alebo interný nástroj s 10 a viac funkciami, prepojený s vašimi systémami
- 30 tis. € a viac Väčšie projekty: platformy, náhrada starého softvéru, veľa prepojení
Do ktorého pásma by projekt patril? Tri ilustratívne príklady:
- Účtovná kancelária chce, aby sa faktúry od dodávateľov načítali z e-mailu a zapísali do účtovného programu. Výnimky skontroluje človek. Jeden proces, dva systémy: prvé pásmo.
- Klinika chce pacientsky portál. Pacienti si v ňom rezervujú termín, vyplnia vstupný dotazník a dostanú odpovede o príprave na vyšetrenie podľa pokynov kliniky. Viacero funkcií prepojených s rezervačným systémom: stredné pásmo.
- Distribútor chce nahradiť 15 rokov starý objednávkový systém, pridať AI príjem objednávok z e-mailu a prepojiť sklad, účtovníctvo a zákaznícky portál. Väčší projekt.
Cenu zvyšuje viac prepájaných systémov, staré systémy bez API, veľa výnimiek, vysoké nároky na presnosť (teda viac testovania) a podrobné oprávnenia. Cenu znižuje jeden jasný proces, dobré príklady a človek na vašej strane, ktorý za výsledok zodpovedá.
Fixnú cenu dohodneme po workshope v prvom týždni. Potom staviame v dvojtýždňových etapách a každý týždeň ukážeme funkčné demo. Pri doterajších projektoch trvala prvá verzia 6 týždňov až 3 mesiace.
Prevádzka: čo platíte každý mesiac
Prevádzkové náklady majú štyri zdroje.
Používanie modelu
Jazykové modely sa účtujú po tokenoch, teda kúskoch slov. V angličtine je token v priemere zhruba tri štvrtiny slova. Slovenčina na ten istý text zvyčajne potrebuje viac tokenov. Platíte za tokeny, ktoré pošlete (inštrukcie, dokument, doterajšiu konverzáciu), aj za tokeny, ktoré model napíše späť. Výstupné tokeny bývajú niekoľkonásobne drahšie než vstupné. Podrobnejšie to vysvetľujeme v článku tokeny a kontextové okno.
Ceny najmenšieho a najväčšieho modelu toho istého poskytovateľa sa môžu líšiť aj desaťnásobne a často sa menia. Preto ich tu neuvádzame. Pozrite si aktuálny cenník poskytovateľa, ktorého používate. Ak namiesto toho prevádzkujete vlastný model, z používania sa stane fixná cena za servery. Viac v článku LLM na vlastnom serveri, alebo cez API.
Hosting
Samotná aplikácia, jej databáza, úložisko súborov a záznamy (logy). Ak AI vyhľadáva vo vašich dokumentoch, pribudne aj vyhľadávací index, často vektorová databáza. To je databáza, ktorá hľadá text podľa významu, nie podľa presných slov. Pri malom internom nástroji je to zvyčajne skromná mesačná položka. Rastie však s počtom používateľov a dokumentov.
Hlas a ďalšie služby
Hlasoví agenti pridávajú prepis reči na text, syntézu reči a telefóniu, zvyčajne účtované po minútach. Rozpoznávanie textu, elektronický podpis a SMS sa účtujú za stranu, dokument alebo správu.
Čas ľudí
Táto položka na faktúre nikdy nebude. Ak človek kontroluje každý koncept od AI, jeho čas je prevádzkový náklad. Vo väčšine procesov je to ten najväčší. Dobrý návrh túto kontrolu zrýchli a časom ju obmedzí len na výnimky. Ako na to, ukazuje článok o človeku v procese.
Prepočítaný príklad
Dajme bežnému prípadu čísla. Všetko sú predpoklady, takže si dosaďte vlastné.
Distribútor dostane mesačne 2 000 objednávok e-mailom. AI workflow prečíta každý e-mail aj prílohu, spáruje položky s katalógom a pripraví v ERP návrh objednávky. Pred potvrdením každý návrh skontroluje človek.
Predpoklady:
- Každá objednávka pošle modelu asi 4 000 tokenov: 2 500 na inštrukcie a relevantnú časť katalógu, 1 500 na e-mail a prílohu.
- Model napíše späť asi 500 tokenov: štruktúrovanú objednávku.
- Model stojí 3 € za milión vstupných tokenov a 15 € za milión výstupných. Je to vymyslená stredná cena pre tento príklad, nie aktuálna cena žiadneho poskytovateľa.
- Hosting, databáza a logy stoja 150 € mesačne.
- Kontrola jedného návrhu trvá človeku minútu a hodina jeho času stojí firmu 30 €.
Výpočet:
- Vstup: 2 000 × 4 000 = 8 miliónov tokenov × 3 € = 24 €
- Výstup: 2 000 × 500 = 1 milión tokenov × 15 € = 15 €
- Používanie modelu: asi 39 € mesačne
- Čas na kontrolu: 2 000 minút, teda asi 33 hodín × 30 € = asi 1 000 € mesačne
Mesačné prevádzkové náklady v príklade
Vyniknú dve veci. Po prvé, účet za model je malý v porovnaní s nákladmi na ľudí, ktorí výstup kontrolujú. Ak kontrolu skrátite z minúty na 30 sekúnd, ušetríte asi 500 € mesačne. Prechod na model za polovičnú cenu ušetrí asi 20 €. Po druhé, porovnávať treba s dneškom. Ak ručné zadanie objednávky trvá šesť minút, tím na tom dnes strávi asi 200 hodín mesačne. Ako to spočítať poriadne, ukazuje článok o návratnosti AI projektu.
Tú istú prácu by AI agent urobil drahšie. Agent si sám určuje kroky a v slučke volá nástroje: vyhľadá zákazníka, prehľadá katalóg, overí sklad, skontroluje cenník. Pri každom kroku posiela modelu celú narastajúcu konverzáciu. Pri ôsmich krokoch môže vstup ľahko dosiahnuť 40 000 tokenov na objednávku a výstup 1 500. Pri rovnakých predpokladoch je to asi 285 € mesačne namiesto 39 €, teda zhruba sedemkrát viac za ten istý výsledok. Agent sa oplatí tam, kde sa kroky nedajú určiť vopred. Pri zadávaní objednávok sa dajú. Viac o tejto voľbe v článku kedy použiť AI agentov.
Ako odhadnúť vlastnú spotrebu
- Spočítajte požiadavky za mesiac: e-maily, dokumenty, otázky, hovory.
- Odhadnite vstup na jednu požiadavku: inštrukcie, dokument alebo relevantné pasáže a prípadnú históriu konverzácie. Strana bežného textu má v angličtine zhruba 500 až 800 tokenov, v slovenčine viac.
- Odhadnite výstup: krátke označenie má pár tokenov, koncept odpovede pár stoviek.
- Vynásobte to aktuálnymi cenami poskytovateľa za vstup a výstup.
- Pridajte štedrú rezervu, povedzme tretinu až polovicu navrch, na opakované pokusy, testovanie a rast.
Potom odhady nahraďte faktami. Počas pilotu zaznamenávajte tokeny každej požiadavky. Po týždni budete mať skutočné čísla.
Údržba: čo platíte priebežne
AI nástroj spustením nekončí. Počítajte s prácou v štyroch oblastiach:
- Zmeny modelov. Poskytovatelia staršie verzie modelov podľa plánu sťahujú a nové sa správajú trochu inak. Každá zmena znamená znova spustiť testovacie prípady a niekedy upraviť inštrukcie.
- Zmeny procesu. Nové produkty, nový vzhľad faktúry od veľkého dodávateľa, nové pravidlo schvaľovania. Nástroj musí držať krok.
- Monitoring. Chybovosť, cena za požiadavku a to, čo nahlásia používatelia. Bez neho o probléme zistíte, až keď si ho všimne zákazník.
- Podpora. Niekto, kto opraví, čo sa pokazí, a spraví drobné zmeny.
U nás klient od spustenia vlastní kód, repozitáre aj účty. Chyby tri mesiace po spustení opravujeme zadarmo, potom je mesačná podpora voliteľná. Nech to robí ktokoľvek, údržbu majte v rozpočte od prvého dňa. Nástroj, o ktorý sa nikto nestará, sa postupne zhoršuje, pretože svet okolo neho sa mení.
Ako udržať prevádzkové náklady nízko
Páky na náklady
- Kde stačí pravidlo, použite pravidlo Pravidlo nestojí nič za požiadavku a nikdy si nevymýšľa
- Vyberte najmenší model, ktorý prejde testami Triedenie a vyťahovanie údajov zriedka potrebuje najväčší model
- Posielajte menej Vyhľadajte relevantné pasáže namiesto vkladania celých dokumentov
- Využite prompt caching Poskytovatelia zlacňujú vstup, ktorý sa opakuje, napríklad dlhé stále inštrukcie
- Prácu, ktorá počká, spracujte hromadne Dávkové spracovanie, napríklad cez noc, býva lacnejšie
- Obmedzte slučky agentov Maximálny počet krokov a limit výdavkov na jeden beh
- Nastavte rozpočty a upozornenia Na mesiac aj na funkciu, aby chyba nenarobila obrovský účet
- Sledujte cenu za položku Cenu za objednávku alebo odpoveď, nielen mesačný súčet
Chyby, ktorým sa vyhnite
- Porovnávanie len ponúk na vývoj. Od každého dodávateľa si vypýtajte odhad prevádzkových nákladov pri vašom objeme a popis toho, čo bude obnášať údržba.
- Najväčší model všade. Na každom kroku vyskúšajte menší. Mnohým krokom stačí.
- Zabudnutý čas na kontrolu. Ak krok kontroly nikto nenavrhne, ľudia ho buď vynechajú, alebo zaberie všetok čas, ktorý ste chceli ušetriť.
- Dôvera v náklady z pilotu. Pilot s 50 upratanými príkladmi veľa nepovie o 2 000 neuprataných mesačne. V prvých týždňoch ostrej prevádzky zaznamenávajte skutočnú spotrebu.
Čo urobiť ďalej
Pre proces, ktorý máte na mysli, si zapíšte tri čísla: koľko položiek mesačne, ako dlho dnes trvá jedna a koľko kontroly bude výstup potrebovať. To stačí na prvý odhad ceny vývoja aj prevádzky.
Ak s tým chcete pomôcť, dohodnite si 30-minútový hovor. Odídete s tým, čo postaviť ako prvé, a s orientačnou cenou.
