V roku 2024 nariadil kanadský tribunál spoločnosti Air Canada odškodniť cestujúceho. Chatbot na jej webe mu opísal pravidlo o vrátení časti cestovného pri úmrtí v rodine, ktoré neexistovalo. Aerolinka tvrdila, že za svoje slová zodpovedá chatbot sám. Tribunál s tým nesúhlasil. O rok skôr dostali dvaja newyorskí advokáti sankciu za podanie na súd s citáciami prípadov, ktoré si vymyslel ChatGPT. V roku 2025 vrátila spoločnosť Deloitte austrálskej vláde časť honoráru, keď sa ukázalo, že odovzdaná správa obsahuje vymyslené odkazy.
Vo vašej firme je v hre pravdepodobne menej, no vzorec je rovnaký. Faktúra od dodávateľa sa zaúčtuje so splatnosťou, ktorá v PDF nebola. Zákazník sa dozvie, že tovar je na sklade, hoci nie je. Manažér sa rozhodne podľa čísla, ktoré nikto neskontroloval. Jazykový model, ktorý sa nikdy nemýli, nepostavíte. Viete však navrhnúť systém, v ktorom sa chybné odpovede zachytia skôr, než vás niečo stoja. Tento článok ukazuje ako.
Čo je halucinácia
Halucinácia je odpoveď, ktorá znie sebaisto a správne, no fakty ju nepodopierajú. Nie je to chyba, ktorú odstráni ďalšia aktualizácia. Je to vedľajší účinok toho, ako jazykové modely píšu. Najčastejšie podoby:
- Vymyslené fakty: pravidlá vrátenia tovaru, parametre produktu, paragraf zákona, ktorý neexistuje.
- Falošné zdroje: citácie, odkazy, spisové značky či názvy správ, ktoré vyzerajú skutočne, no nie sú.
- Nesprávne čísla: súčty, dátumy, percentá, DPH, ktorá nesedí.
- Zlé čítanie zdroja: v zmluve je 30 dní, v zhrnutí 60.
- Dopĺňanie prázdnych miest: model má z faktúry vytiahnuť dátum splatnosti, ktorý na nej nie je, a doplní uveriteľný.
Vo firmách najviac záleží na posledných dvoch. Stávajú sa totiž aj vtedy, keď ste modelu dali správny dokument.
Prečo vznikajú
Jazykový model píše tak, že odhaduje pravdepodobný text, kúsok po kúsku (vysvetľujeme to v článku čo je generatívna AI). Nič v tomto procese text neporovnáva so skutočnosťou. Konkrétne príčiny:
- Otázka bez faktov. Ak model nemá pred sebou váš cenník, smernicu či včerajšie údaje, vie napísať len to, ako takáto odpoveď zvyčajne vyzerá.
- Hádanie sa vypláca. Výskumníci z OpenAI v štúdii z roku 2025 tvrdia, že spôsob tréningu a hodnotenia modelov odmeňuje sebaistý tip viac než „neviem“. Je to ako test, v ktorom prázdna odpoveď dostane nula bodov. Modely sa tak naučia hádať.
- Úlohy, ktoré modelom nesedia: výpočty, počítanie položiek, presné citácie, dátumy.
- Zastrčené detaily. V dlhom dokumente sa jediný dôležitý riadok ľahko prehliadne.
- Návodné otázky. „Prečo je naša zmluva s týmto dodávateľom neplatná?“ zvádza k príbehu o tom, prečo neplatná je.
Kedy je to nebezpečné a kedy nie
Nie každá nesprávna veta je problém. Riziko je cena chyby vynásobená pravdepodobnosťou, že si ju nikto nevšimne skôr, než narobí škodu.
| Riziko | Príklady | Čo treba |
|---|---|---|
| Nízke | Brainstorming, prvé koncepty, ktoré človek prepíše, poznámky pre niekoho, kto bol na porade | Rýchle prečítanie |
| Stredné | Odpovede zákazníkom, ktoré pred odoslaním skontroluje pracovník podpory; polia z faktúr overené pravidlami | Zdroje, overovanie, kontrola výnimiek |
| Vysoké | Čokoľvek odoslané bez kontroly; právne, daňové, zdravotné či finančné tvrdenia; ceny a záväzky voči zákazníkom; čísla, podľa ktorých sa rozhoduje vedenie | Všetky postupy nižšie a schválenie človekom |
Úsilie prispôsobte riziku. Tím, ktorý dvakrát kontroluje každý brainstorming, plytvá časom. Tím, ktorý nechá chatbota bez kontroly uvádzať ceny, naozaj riskuje.
Sedem spôsobov, ako s halucináciami počítať pri návrhu
1. Dajte modelu zdroj
Toto pomôže najviac: nežiadajte od modelu, aby veci vedel. Nájdite relevantné dokumenty alebo záznamy, dajte mu ich spolu s otázkou a prikážte mu odpovedať len z nich. Tento prístup sa volá RAG. Ako funguje vyhľadávanie, ukazuje náš zrozumiteľný výklad. Pri živých dátach nechajte model pýtať sa priamo databázy. Tak sme postavili Charlieho pre Shovels. Na otázky o stavebných povoleniach a zhotoviteľoch odpovedá z aktuálnych záznamov v databáze, nie z toho, čo si model náhodou pamätá.
Rovnaká otázka, dva návrhy
Odpoveď spamäti
- Zákazník sa pýta na vrátenie rozbaleného tovaru
- Model napíše bežné pravidlo: 30 dní
- Nie je s čím porovnať
- Sľub, ktorý ste nikdy nedali
Odpoveď z vašich dokumentov
- Vyhľadávanie nájde vaše pravidlá vrátenia, časť 4
- Model odpovie: nepoužitý tovar do 14 dní
- Odpoveď odkazuje na časť 4
- Nič relevantné? Povie to a odovzdá kolegovi
2. Pýtajte si citácie a overte ich v kóde
Požiadajte model, aby uviedol dokument a doslovne odcitoval vetu, o ktorú sa odpoveď opiera. Váš softvér potom overí, či sa citát v zdroji naozaj nachádza. Ak nie, odpoveď sa označí a pozrie sa na ňu človek. Postaviť to je lacné a zachytí to veľa vymyslených detailov. Vymyslené tvrdenie totiž len zriedka sprevádza skutočný citát.
3. Dovoľte mu povedať „neviem“
Model sám od seba radšej odpovie. Dajte mu jasný a prijateľný únik: „Ak dokumenty na otázku neodpovedajú, povedz, že túto informáciu nemáš, a ponúkni, že otázku odovzdáš kolegovi.“ Potom toto odovzdanie aj postavte, aby „neviem“ niekam viedlo a neskončilo v slepej uličke.
- Vy: Môžem po 10 dňoch vrátiť rozbalený kávovar?
- Volanie nástroja: search_help_centre("vrátenie rozbaleného spotrebiča")
- Výsledok: Pravidlá vrátenia tovaru, časť 4: nepoužitý tovar do 14 dní. O rozbalených spotrebičoch nič.
- AI: Podľa našich pravidiel môžete nepoužitý tovar vrátiť do 14 dní. O rozbalených spotrebičoch v nich nič nie je, preto nechcem hádať. Mám vašu otázku odovzdať kolegovi?
- Vy: Áno, prosím.
- Odovzdané aj s rozhovorom a časťou pravidiel
- Peter: Dobrý deň, tu Peter. Vidím vašu otázku. Overím si to so servisom a ešte dnes sa vám ozvem.
4. Pevne určte formát a overte ho
Pri vyťahovaní údajov nežiadajte voľný text. Pýtajte si pevnú sadu polí (vývojári tomu hovoria štruktúrovaný výstup) a dovoľte, aby pole zostalo prázdne, keď ho dokument neobsahuje. Výsledok potom overte bežnými pravidlami.
Účtovná firma, ktorá spracúva faktúry od dodávateľov, môže kontrolovať, či položky dávajú dokopy celkovú sumu a či DPH zodpovedá sadzbe. Ďalej či je splatnosť až po dátume vystavenia, či dodávateľ aj jeho IBAN už v systéme existujú a či číslo faktúry nie je duplicitné. Čo kontrolou neprejde, ide k človeku.
Údaje z faktúr s kontrolou
- Príde faktúra v PDF
- AI vytiahne polia Pevné polia, prázdne, ak chýbajú
- Kontrola pravidlami Súčty, DPH, dátumy, dodávateľ, duplicity
- Človek skontroluje označené Len faktúry, ktoré neprešli kontrolou
- Zaúčtované
5. Na fakty a výpočty použite nástroje
Nenechajte model vymýšľať čísla, ktoré sa dajú vyhľadať alebo vypočítať. Dajte mu radšej nástroje: zisťovanie stavu skladu, dopyt na cenu, kalkulačku, kalendár. Model rozhodne, čo treba zistiť, a napíše vetu okolo výsledku. Samotné číslo však príde z vášho systému. Asistent obchodníkov u distribútora si cenu nikdy nemá „pamätať“. Má si ju vyžiadať.
6. Človeka dajte tam, kde je riziko
Vopred určte, ktoré výstupy kontroluje človek. Na začiatku kontrolujte všetko. Keď chybovosť klesne, prejdite na kontrolu výnimiek a náhodnej vzorky. Všetko nevratné, napríklad platba, mazanie dát alebo záväzok voči zákazníkovi, potrebuje schválenie. Tieto vzorce rozoberáme v článku o človeku v AI procesoch.
7. Testujte na skutočných príkladoch pri každej zmene
Zozbierajte 50 – 100 skutočných prípadov so známou správnou odpoveďou: bežné, zákerné aj otázky, na ktoré vaše dokumenty odpoveď nemajú. Spustite ich pri každej zmene promptu, dokumentov či modelu a sledujte, koľko ich dopadne zle. Bez takejto testovacej sady sa o chybách dozviete od zákazníkov. Práve ona patrí k tomu, čím sa pilot líši od ostrej prevádzky.
Ako to do seba zapadá: recepcia kliniky
Súkromná klinika chce asistenta, ktorý odpovedá na správy pacientov o termínoch a o príprave na vyšetrenie. Jednotlivé postupy sa tu spájajú takto:
- Asistent odpovedá len z pokynov kliniky na prípravu, z cenníka a z otváracích hodín. Personál ich priebežne aktualizuje (postup 1).
- Každá odpoveď odkazuje na pokyn, z ktorého vychádza, a systém overí, či citované riadky existujú (2).
- Otázky o príznakoch, výsledkoch či liekoch dostanú pevnú odpoveď a idú k sestre. Asistent nikdy neimprovizuje zdravotné rady (3 a 6).
- Voľné termíny a ceny prichádzajú z rezervačného systému, nie od modelu (5).
- Pred spustením personál zozbiera 80 skutočných správ od pacientov, aj tých nepríjemných. Tím ich spúšťa znova po každej zmene (7).
Správy pacientov obsahujú údaje o zdraví, preto klinika rieši aj to, kde model beží a čo sa ukladá. Na ukážke takýto asistent zapôsobí menej než chatbot, ktorý odpovie na všetko. V bežnej prevádzke je však oveľa bezpečnejší a sestry mu dôverujú. A to napokon rozhoduje, či ho bude niekto používať.
Čo nefunguje
- „Nevymýšľaj si“ v prompte. Trochu pomôcť môže, no nie je to kontrola. Model nevie spoľahlivo rozpoznať, ktoré z jeho viet nemajú oporu.
- Dôvera v tón. Sebaistá a pekne naformátovaná odpoveď nie je o nič častejšie správna.
- Čakanie na lepší model. Novšie modely sa mýlia menej, no stále sa mýlia. Zvyšok musí zachytiť váš proces.
- Teplota nastavená na nulu. Teplota je nastavenie, ktoré určuje, nakoľko náhodný je výstup. Pri nule sú odpovede opakovateľnejšie, nie správnejšie. Z chybnej odpovede sa jednoducho stane chybná odpoveď, ktorá sa opakuje.
- Otázka „si si istý?“ Ten istý model môže chybnú odpoveď obhajovať alebo správnu zahodiť. Druhá kontrola pomáha, len keď odpoveď porovná so zdrojom.
Kontrolný zoznam pred spustením
Predtým, než AI funkciu spustíte
- Model odpovedá zo zdrojov, ktoré mu dáte, nie spamäti
- Každá odpoveď odkazuje na zdroj Dokument, časť alebo záznam
- Citáty a čísla overuje kód Existuje citát? Sedia súčty?
- Vie povedať „neviem“ A odovzdanie človeku funguje
- Údaje sa vyťahujú do pevných polí, ktoré smú zostať prázdne
- Ceny, sklad a výpočty prichádzajú z nástrojov, nie od modelu
- Všetko rizikové alebo nevratné schvaľuje človek
- Testovacia sada so skutočnými prípadmi Spustená znova po každej zmene promptu, dokumentov či modelu
Väčšina týchto poistiek je bežný softvér okolo modelu. Práve na ne minieme najviac času, keď pre klientov staviame AI funkcie. Ak máte proces, v ktorom by nesprávna odpoveď vyšla draho, poďme si ho spolu prejsť.
