Kako spriječiti da AI izmišlja odgovore klijentima
Izmišljanje odgovora najveći je neriješeni problem AI sustava danas. Model koji ne zna odgovor rijetko šuti. Ponudi nešto što zvuči točno, i to jednako sigurnim glasom kao kad je stvarno u pravu.
Zato dio vlasnika kod nas još ne želi AI pred svojim klijentima, i taj je oprez opravdan. Objašnjavamo zašto se to događa i kako se sustav ograničava na vlastiti sadržaj. Na kraju je pet testova koje napravite prije puštanja u rad.
U ovom vodiču
Zašto AI uopće izmišlja odgovore?
AI izmišlja odgovore jer je napravljen da nastavi rečenicu, a ne da provjeri činjenicu. Kad mu podatak nedostaje, neće stati. Popunit će prazninu onim što najviše zvuči kao točan odgovor.
Zamislite natjecatelja u kvizu koji za netočan odgovor ne gubi ništa, a za točan dobiva bod. Takav natjecatelj nikad neće reći "ne znam". Uvijek će nešto reći, i to sigurno, jer mu se šutnja ne isplati.
Zašto je to gore od obične greške
Problem nije samo u tome što AI griješi, griješe i ljudi na recepciji. Problem je što pogrešan odgovor izgleda identično kao točan, pa ga nitko ne provjerava.
Klijent ne zna razliku. Ako mu sustav kaže da popust vrijedi do kraja mjeseca, to za njega ima težinu vaše riječi. Šteta je poslovna, ne tehnička.
U praksi se takva greška otkrije tek kad netko dođe naplatiti ono što mu je obećano. Do tada je isti odgovor mogao otići i drugim klijentima.
Gdje pogađanje najviše košta
Nisu sve izmišljene informacije jednako skupe, pa je dobro znati gdje je rizik najveći.
- Cijene i popusti. Klijent koji dobije nižu cijenu očekuje da ćete tu cijenu i priznati.
- Rokovi i uvjeti otkazivanja. Netočan rok stvara spor u kojem nema pobjednika.
- Priprema za uslugu. U zdravstvu kriva uputa znači propušten ili neupotrebljiv nalaz.
- Dostupnost. Obećan termin koji ne postoji gori je od nikakvog odgovora.
Sve četiri su stvari koje ni zaposlenik ne izgovara napamet. Čovjek bi provjerio. Neograničen AI neće.
Što znači utemeljen odgovor
Utemeljen odgovor sustav smije dati samo ako ga nađe u vašem sadržaju. Nema pogađanja iz općeg znanja i nema miješanja s onim što je model negdje drugdje pročitao.
Vratimo se na kviz. Utemeljen sustav je student na ispitu s otvorenom knjigom. Smije odgovoriti samo ono što piše u knjizi koju ste mu dali. Ako u knjizi ne piše, ne odgovara.
Pravilo "ne znam"
Ovo je najvažnija postavka i ujedno najlakša za provjeriti. Dobro postavljen sustav ima jasno definirano ponašanje za trenutak kad odgovora nema.
- Prizna da nema podatak. Ne nudi približan odgovor i ne improvizira.
- Ponudi sljedeći korak. Kontakt, obrazac ili predaju timu.
- Zabilježi pitanje. Poslije vidite što su ljudi tražili, a nisu dobili.
Treći dio se često previdi, a vrijedan je. Pitanja bez odgovora pokazuju što vam nedostaje na stranici.
Ta se postavka ne rješava jednom kvačicom u sučelju. Odlučujete koliko sustav smije pretpostaviti kad je podatak nepotpun. Tvrtke koje granicu postave strogo dobiju asistenta koji češće preda razgovor čovjeku, ali gotovo nikad ne kaže nešto što ne stoji. Bolje je taj kompromis napraviti svjesno nego ga otkriti nakon prve pritužbe.
Izvor uz odgovor
Sustav koji zna odakle mu odgovor može ga i pokazati. Uz odgovor stoji naziv dokumenta ili poveznica na stranicu s koje je podatak uzet.
U prvom tjednu prođete dvadesetak razgovora i vidite čita li sustav ono što mislite da čita. Bez izvora morate svaki odgovor znati napamet.
Izvor je koristan i poslije. Kad nešto promijenite na stranici, odmah vidite kojih se odgovora ta promjena tiče.
ChatGPT i asistent vezan uz vlastiti sadržaj
Ovu razliku većina vlasnika ne vidi jer oba izgledaju kao prozor za razgovor. Ponašaju se, međutim, potpuno drukčije.
| Situacija | Javni alat (npr. ChatGPT) | Asistent vezan uz vaš sadržaj |
|---|---|---|
| Odakle mu odgovor | Sve što je model negdje pročitao | Samo iz odobrenog sadržaja |
| Kad podatak ne postoji | Ponudi uvjerljivu pretpostavku | Kaže da nema podatak i daje kontakt |
| Vaše cijene i uvjeti | Ne zna ih, pa ih izvodi iz sličnih tvrtki | Čita ih iz cjenika |
| Provjerljivost | Nema izvora | Odgovor se veže uz dokument ili stranicu |
| Kad promijenite uvjete | Ne zna za promjenu | Odgovori se mijenjaju sa sadržajem |
| Tko snosi posljedicu | Vi, pred klijentom | Rizik je ograničen na odobreno |
Javni su alati napravljeni za drugu svrhu. Odlični su za pisanje i razmišljanje, a neprikladni za davanje vaših cijena vašim klijentima.
Postoji i srednja varijanta koju treba prepoznati. Neki alati koriste vaš sadržaj, ali ga smiju nadopuniti općim znanjem kad podatak nedostaje. Zvuči korisno, a zapravo je najopasnije od svega jer izmišljeni dio izgleda identično kao provjereni. Pitajte ponuđača izravno smije li sustav reći išta izvan vaših dokumenata.
Pet testova prije puštanja u rad
Svaki ponuđač će vam reći da njegov sustav ne izmišlja. Ovih pet pitanja to provjerava za deset minuta i najbolje je da ih postavite sami, uživo.
- Pitajte nešto čega nigdje nema. Izmislite uslugu koju ne nudite i pitajte za cijenu. Sustav mora reći da te usluge nema, a ne ponuditi procjenu.
- Pitajte za podatak koji na stranici postoji na dva mjesta. Ako se ta dva mjesta razlikuju, dobar sustav to pokaže ili traži pojašnjenje.
- Pitajte nešto izvan svoje djelatnosti. Poliklinika ne treba imati mišljenje o vremenskoj prognozi. Sustav se mora vratiti na svoju temu.
- Tražite izvor. Pitajte odakle mu ta informacija. Odgovor mora voditi na konkretnu stranicu ili dokument.
- Postavite isto pitanje tri puta, svaki put drukčije. Odgovori se smiju razlikovati po riječima, ali ne po sadržaju. Različiti podaci znače da sustav pogađa.
Ako sustav padne na prvom testu, ostali više nisu bitni. Samouvjeren odgovor na pitanje bez podloge u dokumentima najjasniji je znak da nešto nije dobro postavljeno.
Testove radite s podacima koje sami znate napamet. Nema smisla provjeravati odgovor koji ni vi ne možete potvrditi bez otvaranja dokumenta.
Testiranje ne staje na demou
Ovih pet pitanja je minimum, a ne cijeli posao. Prije nego sustav pustite pred klijente, prođite dvadesetak pitanja koja vam stvarno dolaze i usporedite odgovore s onim što biste sami rekli.
Kod naših klijenata taj krug prolazimo prije puštanja u rad i još jednom nakon prvog tjedna, kad se vide stvarna pitanja korisnika. Iste testove ponovite i nakon svake veće promjene cjenika ili uvjeta, jer se s promjenom sadržaja mijenja i ono što sustav smije tvrditi.
Što ostaje na vama
Ograničavanje sustava na vlastiti sadržaj rješava pogađanje, ali ne i netočnost. Ako je izvor kriv, odgovor će biti krivo prenesen, uredno i sigurnim glasom.
- Proturječja u sadržaju. Cijena na stranici, cijena u PDF-u i cijena u brošuri često su tri različita broja. Sustav ne zna koji je pravi.
- Zastarjeli dokumenti. Prošlogodišnji cjenik koji je i dalje na webu pročitat će se kao važeći.
- Pravila koja nigdje ne pišu. Ako uvjeti otkazivanja postoje samo u glavi tima, sustav ih ne može poštovati.
- Iznimke koje radite usmeno. Popusti i dogovori izvan cjenika moraju ostati kod ljudi jer nisu nigdje zapisani.
Iz našeg iskustva, cijene su najčešći izvor problema. Kod više klijenata cijene na stranici bile su zastarjele i još su se međusobno razlikovale. Asistent je davao netočne odgovore dok izvore nismo posložili, iako je vjerno prenosio ono što je pisalo.
Takva se proturječja rijetko otkriju sama od sebe. Klijent koji je dobio povoljniji uvjet nema razloga javiti vam da nešto ne štima, pa greška zna ostati mjesecima. Kako izvore proći po koracima, objašnjavamo u vodiču kako pripremiti sadržaj za AI asistenta.
Ograničenja na provjerene izvore i pravila za nepoznata pitanja postavljamo mi, zajedno s testiranjem odgovora prije nego sustav dođe pred klijente. Kod osjetljivijih slučajeva, poput AI asistenta u zdravstvu, granicu između odgovaranja i predaje čovjeku dogovaramo s vama prije puštanja u rad.
Česta pitanja
Kratki odgovori na pitanja koja nam najčešće dolaze.
Može li se potpuno spriječiti da AI izmišlja odgovore?
Rizik se svodi na vrlo nisku razinu, ali nulu nitko ne bi trebao obećavati. Sustav ograničen na vlastiti sadržaj, s jasnim pravilom za nepoznata pitanja i s praćenjem razgovora, griješi rijetko i vidljivo.
Kako da znam da moj asistent ne pogađa?
Pitajte ga za uslugu koju ne nudite. Ako odgovori procjenom umjesto da kaže kako podatak nema, sustav nije dobro ograničen.
Što se dogodi kad korisnik pita nešto što nije u našim dokumentima?
Dobro postavljen sustav kaže da nema tu informaciju i nudi kontakt ili predaju timu. To bi se pitanje trebalo i zabilježiti, kako biste vidjeli što vam nedostaje.
Je li AI agent rizičniji od običnog asistenta?
Po točnosti nije, ali agent djeluje, pa greška ima veću posljedicu. Zato se za svaku radnju definira što smije bez ljudske potvrde, o čemu više u vodiču chatbot ili AI agent.
Tko odgovara ako AI da klijentu pogrešnu informaciju?
Prema klijentu odgovarate vi, kao i za bilo kojeg zaposlenika. Zato se prije puštanja u rad dogovori što sustav smije tvrditi, a što obavezno ide na čovjeka.
Točnost AI odgovora ovisi o postavci i o sadržaju, a ne o sreći ili izboru modela. Sustav ograničen na vaše dokumente, uz obavezu da prizna neznanje, griješi rjeđe od prosječnog novog zaposlenika u prvom tjednu. Ostatak posla je na vama i svodi se na to da sadržaj govori jednu priču umjesto tri. To se isplati bez obzira na to hoćete li ikad uvesti AI.