Prevádzkujte AI vo vlastnom prostredí, keď dáta nesmú ísť do verejných AI služieb
Niektoré dáta nesmú ísť do verejnej AI služby: klientske spisy, zdravotné záznamy, zmluvy, zdrojový kód. Staviame AI asistentov na otvorených modeloch, ktoré si môžete stiahnuť a prevádzkovať sami, napríklad Llama, Mistral alebo Qwen. Bežia vo vašom cloudovom účte alebo na vašich serveroch. Odpovedajú z vašich dokumentov a databáz s odkazom na zdroj a každý vidí len to, čo mu dovoľuje jeho rola. Ak vašim pravidlám vyhovuje firemné API s dátami v EÚ, povieme vám to, lebo je lacnejšie a začať sa dá rýchlejšie.
Situácie, v ktorých sa nám firmy najčastejšie ozvú.
Bezpečnostné alebo právne oddelenie zakázalo verejné AI nástroje na všetko, čo obsahuje údaje klientov.
Zamestnanci aj tak vkladajú interné dokumenty do verejných chatbotov, lebo nič schválené im nepomôže.
Chcete sa pýtať na zmluvy, smernice alebo spisy bez toho, aby ste ich niekam nahrávali.
Zmluva s klientom alebo regulátor vyžaduje, aby dáta zostali vo vašej infraštruktúre alebo v jednej krajine.
Pilot s AI ste spravili cez verejné API a teraz potrebujete riešenie, ktoré prejde vaším bezpečnostným posúdením.
Všetko tu beží vo vašom prostredí. Model je len jedna časť. Najviac práce je v hľadaní správnych dokumentov a dodržaní oprávnení.
Čo hovoríme firmám skôr, než kúpia server s GPU.
Mnohé pravidlá pre dáta splní firemné API s dátami v EÚ, zmluvou o spracúvaní osobných údajov a bez trénovania na vašich dátach. Je lacnejšie a dostanete najsilnejšie modely. Vlastný server dáva zmysel, keď zmluvy, regulácia alebo vaše posúdenie rizík hovoria, že dáta nesmú opustiť vašu kontrolu. Alebo keď máte vysoký a stabilný objem.
Otvorené modely zvládajú zhrnutia, odpovede z dokumentov, vyťahovanie údajov aj návrhy textov. Pri náročnom uvažovaní a dlhých zložitých úlohách sú najlepšie komerčné modely stále vpredu. Skôr než sa rozhodnete, otestujte oboje na vašich skutočných otázkach, nie na verejných porovnaniach.
Väčšina zlých odpovedí vzniká pri vyhľadávaní: naskenované PDF bez textovej vrstvy, staré verzie, dokumenty rozdelené na nesprávnych miestach. Upratanie a štruktúrovanie zdrojov zvyčajne zlepší odpovede viac ako väčší model.
Server s GPU stojí peniaze, aj keď nič nerobí, a niekto musí aktualizovať model, sledovať ho a záplatovať systém. Prenájom GPU v cloude v EÚ je často lepší začiatok ako kúpa hardvéru. Kupujte, až keď je používanie stabilné a viete, aký veľký model potrebujete.
Všetky tri sa dajú pri správnych dátach používať bezpečne. Rozdiel je v tom, kto vaše dáta spracúva a čo za kontrolu zaplatíte.
| Verejné AI API | Firemné API s dátami v EÚ | Model na vlastnom serveri | |
|---|---|---|---|
| Dáta zostávajú vo vašej infraštruktúre | Nie | Nie | Áno |
| Dáta zostávajú v EÚ | Čiastočne | Áno | Áno |
| Najsilnejšie modely | Áno | Áno | Čiastočne |
| Čas do spustenia | Dni | Dni až týždne | Týždne |
| Ako sa správajú náklady | Platíte za použitie | Platíte za použitie | Väčšinou fixné |
| Kto udržiava model | Poskytovateľ | Poskytovateľ | Vy alebo my |
| Funguje bez internetu | Nie | Nie | Áno |
Bežný harmonogram. Ten váš potvrdíme po úvodnom workshope.
1. týždeň
Pravidlá pre dáta a jedno použitiePrejdeme, o aké dáta ide a čo vyžadujú vaše pravidlá a zmluvy. Potom vyberieme jedno použitie s jasným vlastníkom, napríklad otázky k zmluvám alebo interným smerniciam. Dostanete fixnú cenu.
2. – 3. týždeň
Test modelov na vašich otázkachOtvorené modely pustíme na sadu vašich skutočných otázok a porovnáme ich s API s dátami v EÚ. Rozdiel v kvalite uvidíte ešte pred rozhodnutím.
4. – 6. týždeň
Nasadenie a prepojenieNasadenie vo vašom cloude alebo na vašich serveroch, zdroje dokumentov, oprávnenia a záznamy. Každý týždeň funkčné demo.
Potom
Pilot a rozšírenieJeden tím ho denne používa a my meriame kvalitu odpovedí. Potom pridáme ďalšie zdroje a tímy. Kód aj nastavenie sú vaše.
Systémy, ktoré sme postavili a ktoré sú tomuto blízke.
AI asistent, ktorý odpovedá na otázky o stavebných povoleniach a zhotoviteľoch podľa aktuálnych údajov z databázy.
Prečítať prípadovú štúdiu
Datair pomocou AI umožňuje analyzovať dáta a vytvárať reporty aj ľuďom bez technických znalostí.
Prečítať prípadovú štúdiuNa začiatok nie. Pilot môže bežať na GPU prenajatých v cloude v EÚ, vo vašom vlastnom účte. Kúpa hardvéru dáva zmysel, keď je používanie stabilné a viete, aký veľký model potrebujete.
Na zhrnutia, odpovede z dokumentov, vyťahovanie údajov a návrhy textov sú súčasné otvorené modely pre väčšinu interného použitia dosť dobré. Pri náročnom uvažovaní a dlhých zložitých úlohách sú najlepšie komerčné modely stále vpredu. Oboje otestujeme na vašich skutočných otázkach, aby ste rozdiel videli ešte pred rozhodnutím.
Súkromný asistent s viacerými zdrojmi a oprávneniami sa zvyčajne zmestí do nášho pásma pre prepojené systémy, teda 10 – 30 tis. €. Pilot nad jedným zdrojom môže vyjsť na 5 – 10 tis. €. Hardvér alebo prenájom GPU sú samostatné prevádzkové náklady, ktoré odhadneme vopred. Cenu vývoja zafixujeme po úvodnom workshope.
Odpadne jedna veľká otázka: ktorá externá firma vaše dáta spracúva. GDPR však stále platí pre to, čo ukladáte a ako dlho, a AI Act pridáva povinnosti podľa toho, na čo systém slúži. Pomôžeme riešenie zdokumentovať, ale nie je to právna rada. Potvrdiť by ho mala vaša zodpovedná osoba alebo právnik.
Áno. Overí, kto sa pýta, a prehľadá len dokumenty a záznamy, ktoré tento človek môže otvoriť v zdrojovom systéme. Obchodník teda nedostane odpoveď z personálnych spisov.
Zvyčajne nie. Model si pri každej otázke prečíta relevantné pasáže (RAG). Je to lacnejšie, odpovede sú aktuálne a mazanie dát je jednoduché. Doladenie modelu (fine-tuning) sa oplatí len v úzkych prípadoch, napríklad pri pevnom formáte výstupu alebo špecializovanej klasifikácii vo veľkom objeme.
Kód, konfigurácia aj účty sú vaše. Prvé 3 mesiace opravujeme chyby zadarmo. Potom sa o aktualizácie a monitoring môžeme starať v mesačnej podpore, alebo všetko odovzdáme vášmu IT.
Prvá verzia zvyčajne trvá 6 týždňov až 3 mesiace podľa počtu zdrojov a toho, či už máte hardvér. Ak začnete na prenajatých GPU, nemusíte čakať na dodanie hardvéru.
Napíšte nám, o aké dáta ide a čo vyžadujú vaše pravidlá. Povieme vám, či vlastný server vôbec potrebujete a koľko by stálo prvé použitie.
JurajCEO, QikBuild
Z hovoru si odnesiete
Alebo napíšte na hello@qikbuild.com
