RAG jednoducho: ako AI odpovedá z vašich vlastných dokumentov

Opýtajte sa verejného AI asistenta na podmienky vrátenia tovaru pre firemných zákazníkov vašej firmy a dostanete sebavedomú, dobre napísanú odpoveď. Bude však vymyslená. Model nikdy nevidel vaše obchodné podmienky, cenník ani e-mail z minulého utorka, ktorý zmenil dodacie lehoty.

Väčšina firiem na túto stenu narazí hneď v prvom týždni, keď AI skúša. Riešením zvyčajne nie je trénovať nový model. Je ním technika s názvom retrieval-augmented generation, skrátene RAG, teda generovanie doplnené vyhľadávaním. Skôr než model odpovie, systém nájde vo vašich dokumentoch relevantné pasáže a odovzdá mu ich. Model odpovie z nich a ukáže, odkiaľ odpoveď pochádza.

V tomto článku vysvetlíme, ako RAG funguje, čo z neho robí dobrý alebo zlý nástroj a kedy sa naozaj hodí.

Prečo model vašu firmu nepozná

Veľký jazykový model sa učí z obrovského množstva verejných textov, a to len do určitého dátumu. Z toho vyplývajú tri veci:

• Nikdy nevidel vaše interné dokumenty, zmluvy, tikety ani wiki.
• Jeho vedomosti končia dátumom trénovania. Ceny z minulého mesiaca v ňom nie sú.
• Nepamätá si predchádzajúce rozhovory, pokiaľ mu ich aplikácia znova nepošle.

Celú príručku by ste mohli vložiť do každej otázky. Pri jednom krátkom dokumente to funguje, pri stovkách dokumentov nie. Všetko, čo model číta, stojí peniaze aj čas. Každý model má limit, koľko textu prečíta naraz. A odpovede sú menej spoľahlivé, keď je užitočný odsek zahrabaný v dlhom vstupe. V roku 2023 to ukázala štúdia, ktorú viedli výskumníci zo Stanfordu. Modely podľa nej využívajú informácie na začiatku a na konci dlhého vstupu oveľa lepšie ako tie v strede. Jav nazvali „lost in the middle“, teda stratené v strede. Tieto limity vysvetľuje náš článok o tokenoch a kontextovom okne.

RAG dá modelu len to, čo je dôležité pre túto jednu otázku.

Ako RAG funguje, krok za krokom

Názov pochádza z výskumného článku z roku 2020 od tímu Facebook AI Research, ktorý je dnes súčasťou spoločnosti Meta. Myšlienka je jednoduchá: najprv vyhľadať, potom generovať.

Generovanie doplnené vyhľadávaním

1. 01 Otázka Vlastnými slovami používateľa
2. 02 Vyhľadanie Nájde pasáže s podobným významom
3. 03 Najlepšie pasáže Znovu zoradené a vyfiltrované podľa oprávnení
4. 04 Model píše Odpovedá len z týchto pasáží
5. 05 Odpoveď so zdrojmi Odkazy na použité odseky

1. Príprava dokumentov

Skôr než sa ktokoľvek niečo opýta, systém zozbiera dokumenty z miest, kde sú uložené: SharePoint, Google Drive, wiki, helpdesk. Vyčistí ich a rozdelí na časti s niekoľkými odsekmi (chunky). Dobrá časť dáva zmysel aj samostatne: jedna sekcia smernice, jedna odpoveď z FAQ, jeden článok zmluvy. Každá časť si nesie metadáta: názov dokumentu, dátum, vlastníka a to, kto ju smie vidieť.

2. Význam premenený na čísla

Každá časť prejde embedding modelom, ktorý premení text na dlhý rad čísel vyjadrujúci jeho význam. Texty s podobným významom dostanú podobné čísla. Preto otázka „koľko dní voľna mám?“ nájde odsek s nadpisom „Nárok na dovolenku“, hoci nemajú spoločné ani jedno slovo. Čísla sa uložia do vyhľadávacieho indexu, ktorému sa často hovorí vektorová databáza.

3. Vyhľadanie a nové zoradenie

Keď príde otázka, systém ju rovnako premení na čísla a index vráti najbližšie časti. Dobré systémy kombinujú toto vyhľadávanie podľa významu s bežným vyhľadávaním podľa kľúčových slov. Kódy produktov, mená a čísla zmlúv totiž potrebujú presnú zhodu. Druhý model potom 20 – 50 kandidátov znovu zoradí (re-ranking) a ponechá niekoľko tých, ktoré na otázku odpovedajú najlepšie.

4. Odpoveď so zdrojmi

Model dostane vaše pokyny, vybrané pasáže a otázku. Pokyny v podstate hovoria: odpovedz len z týchto pasáží, pri každom tvrdení uveď zdroj, a ak tam odpoveď nie je, povedz to. Používateľ dostane odpoveď s odkazmi na odseky, z ktorých vychádza, a môže si ju overiť.

Z čoho sa RAG systém skladá

Otázka ↓ · Odpoveď ↑

1. Chat alebo vyhľadávacie pole V intranete, helpdesku alebo Teams
2. Model, ktorý odpovedá Pokyny + pasáže + otázka
3. Vyhľadávanie Podľa významu aj kľúčových slov, nové zoradenie, oprávnenia
4. Index Časti textu, embeddingy, metadáta
5. Vaše zdroje Drive, SharePoint, wiki, tikety, PDF

Takto to vyzerá pre zamestnanca veľkoobchodného distribútora:

Interný znalostný asistent

1. Vy: Môžeme novému distribútorovi dať splatnosť 60 dní?
2. Volanie nástroja: search(„splatnosť pre nových distribútorov“)
3. Výsledok: Úverová smernica v3, bod 4.2 · Kontrolný zoznam pre nových distribútorov, strana 2
4. AI: Nie bez schválenia. Noví distribútori začínajú so splatnosťou 30 dní. Dlhšia splatnosť si vyžaduje preverenie bonity a súhlas finančného riaditeľa (Úverová smernica v3, bod 4.2). Formulár nájdete v kontrolnom zozname pre nových distribútorov (strana 2).

Vyhľadávanie podľa slov, alebo RAG?

Hľadanie odpovede vo firemných dokumentoch

Vyhľadávanie podľa slov

• Hádate presné slová, ktoré použil dokument
• Dostanete 40 výsledkov, polovica je zastaraná
• Otvárate PDF jedno po druhom
• Správny odsek si hľadáte sami

→

Asistent s RAG

• Pýtate sa vlastnými slovami
• Najlepšie pasáže prečíta za vás
• Jedna odpoveď s odkazmi na zdroj
• Povie, keď to dokumenty nepokrývajú

RAG nenahrádza vaše dokumenty ani vyhľadávanie. Stojí nad nimi. Ak sú dokumenty nesprávne, dostanete nesprávnu odpoveď, aj s citáciou.

Čo robí RAG dobrým alebo zlým

Väčšina RAG projektov, ktoré sklamú, zlyhá pri vyhľadávaní, nie pri modeli. Ak sa správny odsek k modelu nikdy nedostane, dobre neodpovie žiadny model.

Kvalita dokumentov

Najviac zlých odpovedí spôsobujú tri verzie tej istej smernice, naskenované PDF so zle rozpoznaným textom a dôležité údaje schované v tabuľkách či obrázkoch. K tomu stránky, na ktorých je len „pozri prílohu“. Skôr než zaindexujete všetko, vyberte zdroje, ktoré niekto naozaj udržiava, a odstráňte staré verzie.

Oprávnenia

Asistent nesmie skladníkovi ukázať mzdové pásma len preto, že sú v rovnakom SharePointe. Systém musí výsledky filtrovať podľa toho, čo smie vidieť človek, ktorý sa pýta. A to už pri vyhľadávaní, skôr než model čokoľvek prečíta. Ideálne využije oprávnenia, ktoré už máte v SharePointe alebo na Drive, a nevytvára druhú sadu.

Aktuálnosť

Keď sa zmení dokument, musí sa zmeniť aj index. Naplánujte automatické preindexovanie a pri každom zdroji zobrazte dátum dokumentu, aby ľudia zastaranú odpoveď spoznali.

Vyhodnocovanie

Ešte pred stavbou zozbierajte 50 – 100 skutočných otázok so známymi správnymi odpoveďami. Potom kontrolujte dve veci zvlášť: našlo vyhľadávanie správne pasáže a odpovedal z nich model správne? Rovnakú sadu spustite po každej zmene. Bez nej ladíte od oka. Ďalšie spôsoby, ako udržať odpovede pri zdrojoch, nájdete v článku prečo si AI vymýšľa.

RAG, dlhý kontext, alebo fine-tuning?

• Vložte text priamo do promptu, keď je materiál krátky a týka sa konkrétnej úlohy: jedna zmluva na kontrolu, jeden report na zhrnutie.
• Použite RAG, keď máte veľa dokumentov, menia sa, rôzni ľudia smú vidieť rôzne veci a potrebujete zdroje.
• Fine-tuning mení, ako sa model správa: jeho štýl, formát, úzku úlohu. Na učenie faktov sa nehodí, lebo model ich nevie citovať a rýchlo zastarajú. Všetky tri možnosti porovnávame v článku prompting, RAG alebo fine-tuning.

Ešte jeden rozdiel. RAG je na text. Ak znie otázka „aké boli naše tržby v Bratislave minulý kvartál?“, odpoveď je v databáze, nie v dokumente. Hľadanie v kúskoch textu je tu zlý nástroj. Model sa má radšej pýtať databázy cez nástroj. Presne takto odpovedá Charlie, asistent, ktorého sme postavili pre Shovels, na otázky o stavebných povoleniach zo živých záznamov.

Kde RAG funguje dobre

• Interný znalostný asistent: HR smernice, návody od IT, popisy procesov. Otázky, s ktorými dnes ľudia chodia za kolegom.
• Odpovede v zákazníckej podpore: návrhy odpovedí pre pracovníkov podpory z centra pomoci a z vyriešených tiketov. Zdroj je zobrazený, takže si ho pracovník pred odoslaním overí.
• Vyhľadávanie v smerniciach a zmluvách: „aký máme limit zodpovednosti s týmto dodávateľom?“ v stovkách zmlúv.
• Technická dokumentácia: manuály a servisné poznámky pre technikov, ktorí na mieste potrebujú jednu odpoveď, nie 300-stranové PDF.

RAG je menej užitočný, keď máte 20 odpovedí na časté otázky (dajte ich do promptu alebo na dobrú stránku FAQ). Rovnako, keď sú dokumenty v neporiadku a nikto ich nevlastní, alebo keď odpoveď vyžaduje úsudok, nie vyhľadanie.

Čo zaberie prvá verzia

Asistent nad jednou dobre udržiavanou sadou dokumentov je zvyčajne malý projekt. Väčšina práce nie je v modeli, ale okolo neho. Treba pripojiť zdroje, rozumne rozdeliť dokumenty, nastaviť oprávnenia a preindexovanie pri zmenách. A všetko otestovať na skutočných otázkach.

Orientačne podľa našich cien: asistent napojený na jeden či dva zdroje patrí do nášho pásma „jeden proces“ za 5 – 10 tis. €. Asistent zabudovaný do portálu alebo interného nástroja s viacerými zdrojmi a oprávneniami pre každého používateľa patrí do pásma 10 – 30 tis. €. Naše projekty sa k prvej funkčnej verzii dostali za 6 týždňov až 3 mesiace.

Prevádzkové náklady majú tri zdroje: model, ktorý pri každej otázke číta pasáže a píše odpoveď, prevod nových a zmenených dokumentov na embeddingy a hosting indexu. Prvá položka rastie s počtom otázok. Odhadujte ju preto podľa toho, koľko otázok mesačne čakáte, nie podľa dema.

Najčastejšie zabúdaným nákladom je vlastníctvo. Niekto vo firme musí udržiavať zdroje aktuálne a pozerať sa na otázky, na ktoré asistent nevedel odpovedať. Tie sú najcennejšou spätnou väzbou, akú dostanete: ukážu vám, ktoré dokumenty chýbajú.

Ako začať

1. Vyberte jednu skupinu používateľov a jednu sadu dokumentov, napríklad zákaznícku podporu a centrum pomoci.
2. Zozbierajte 50 – 100 skutočných otázok so správnymi odpoveďami. To je vaša testovacia sada.
3. Vyčistite zdroje. Odstráňte staré verzie a ku každému zdroju určte vlastníka.
4. Rozhodnite o oprávneniach a využite to, čo už o prístupoch vedia vaše súčasné systémy.
5. Postavte pilot, ktorý odpovedá so zdrojmi a povie „neviem“, keď nič nesedí.
6. Po štyroch týždňoch to vyhodnoťte: na čo sa ľudia pýtali, čo zlyhalo a čo pridať ďalej.

Ak vaše dokumenty nesmú opustiť vaše prostredie, rovnaké riešenie môže bežať na modeloch vo vlastnej infraštruktúre; pozrite si privátne AI systémy. A ak chcete druhý názor na to, či sa RAG hodí na váš prípad, ozvite sa nám.