Kako provjeriti AI citate i spriječiti lažnu sigurnost

Kako provjeriti AI citate prije nego što ih upotrijebite?

AI citat provjerava se u tri odvojena koraka: otvorite izvor, utvrdite podupire li doista konkretnu tvrdnju i procijenite je li izvor dovoljno pouzdan, aktualan i relevantan za odluku. Sama poveznica nije dokaz. Ako ne možete pronaći odgovarajući odlomak, potvrditi metodologiju ili objasniti zašto je izvor prikladan, tvrdnju treba označiti kao nepotvrđenu i izostaviti iz konačne preporuke.

AI alati s pristupom internetu mogu znatno ubrzati poslovno istraživanje. U nekoliko minuta mogu pronaći izvore, usporediti rezultate i pripremiti pregled teme za koju bi nam inače trebalo znatno više vremena.

Problem nastaje kada brzinu pronalaženja zamijenimo za kvalitetu dokaza.

Odgovor može sadržavati velik broj poveznica, zvučati uvjerljivo i biti napisan sigurnim tonom, a da pritom:

• poveznica ne radi

• izvor postoji, ali ne sadržava navedenu tvrdnju

• tvrdnja je šira od rezultata opisanih u izvoru

• AI sekundarni članak prikazuje kao izvorno istraživanje

• više poveznica prenosi podatke iz istoga početnog izvora

• izvor je zastario ili se odnosi na drugo tržište

• organizacija koja je objavila rezultat ima interes za određeni zaključak

• važna ograničenja istraživanja nisu prenesena u AI odgovor

Zato citirani AI odgovor treba promatrati kao početak provjere, a ne kao njezin završetak.

Zašto poveznica uz odgovor nije isto što i dokaz?

Postojanje poveznice potvrđuje samo da je AI uz određeni dio odgovora povezao neki web-izvor. Ne potvrđuje automatski da taj izvor podržava cijelu rečenicu, brojku ili zaključak.

Primjerice, AI može napisati:

Uvođenje četverodnevnog radnog tjedna povećava produktivnost u njemačkim proizvodnim poduzećima.

Povezani izvor možda govori o pilot-programu u Njemačkoj, ali uključuje organizacije iz više sektora. Ako su proizvodna poduzeća bila samo manji dio uzorka, nije opravdano cijeli rezultat predstaviti kao istraživanje njemačke proizvodne industrije.

Preciznija formulacija bila bi:

Istraživanje provedeno u Njemačkoj obuhvatilo je organizacije iz više sektora, među kojima su bila i proizvodna poduzeća.

Razlika nije samo stilska. Prva rečenica stvara dojam da je tvrdnja potvrđena baš za određeni sektor. Druga vjerno opisuje opseg dostupnog dokaza.

Sami pružatelji AI alata upozoravaju na potrebu provjere. OpenAI navodi da rezultati i citati web-pretraživanja mogu biti nepotpuni, zastarjeli ili netočni te preporučuje otvaranje izvora i provjeru podržava li odgovor. Anthropic također preporučuje usporedbu citiranih izvora i korištenje autoritativnih izvora za važne odluke.

Workflow za provjeru AI citata u sedam koraka

1. Izdvojite točnu tvrdnju koju provjeravate

Nemojte provjeravati cijeli odlomak odjednom. Razdvojite ga na pojedinačne tvrdnje koje se mogu potvrditi ili opovrgnuti.

U rečenici „Pilot-program povećao je produktivnost, smanjio izgaranje zaposlenika i nije utjecao na prihode” nalaze se najmanje tri zasebne tvrdnje:

1. produktivnost se povećala

2. izgaranje zaposlenika se smanjilo

3. prihodi se nisu smanjili

Jedan izvor može potvrditi samo jednu od njih. Zato svakoj važnoj tvrdnji treba pridružiti odgovarajući dokaz.

2. Otvorite citiranu poveznicu

Provjerite:

• otvara li se poveznica

• vodi li na izvornu stranicu ili samo na naslovnicu

• je li sadržaj još dostupan

• odgovara li naslov izvora temi

• je li riječ o punom dokumentu, sažetku, objavi za medije ili tuđem osvrtu

Ako poveznica vodi na početnu stranicu organizacije, rezultat pretraživanja ili članak koji više ne postoji, tvrdnja još nije provjerena.

3. Pronađite odlomak koji podupire tvrdnju

U dokumentu potražite:

• ključnu brojku

• naziv uzorka ili skupine

• opis metode

• razdoblje istraživanja

• zemlju ili tržište

• zaključak autora

• ograničenja navedena uz rezultat

Nije dovoljno pronaći iste ključne riječi. Potrebno je utvrditi govori li izvor zaista isto što tvrdi AI odgovor.

Ako izvor kaže da je „većina sudionika prijavila poboljšanje”, AI ne bi smio rezultat pretvoriti u „produktivnost svih zaposlenika povećala se”.

4. Klasificirajte vrstu izvora

Za poslovno istraživanje korisno je razlikovati najmanje tri razine:

Sekundarni izvor nije automatski loš. Može biti koristan za razumijevanje konteksta, pronalaženje početnog izvora ili pregled različitih stajališta.

Međutim, važnu brojku, zakonsku obvezu, financijski podatak ili rezultat istraživanja treba, kada je moguće, potvrditi u primarnom izvoru.

5. Procijenite kvalitetu i primjenjivost izvora

Nakon što pronađete izvor, postavite sljedeća pitanja:

• Tko je autor ili izdavač?

• Kada je sadržaj objavljen ili posljednji put ažuriran?

• Je li opisana metodologija?

• Koliki je uzorak?

• Postoji li odgovarajuća kontrolna ili usporedna skupina?

• Na koju se zemlju, industriju i skupinu rezultat odnosi?

• Je li mjereno ono što AI tvrdi da je mjereno?

• Tko je financirao istraživanje?

• Ima li izdavač izravan interes za određeni rezultat?

• Navodi li izvor vlastita ograničenja?

Cilj nije pronaći savršen izvor, nego razumjeti koliko je jak i za koju ga tvrdnju možemo opravdano koristiti.

6. Potražite kontradiktorne izvore

Ako svi rezultati podržavaju isti zaključak, nemojte odmah pretpostaviti da je pitanje riješeno.

Zatražite:

• istraživanja s drugačijim rezultatom

• kritike korištene metodologije

• podatke iz druge zemlje ili industrije

• neuspjele pilot-programe

• dugoročnije rezultate

• objašnjenja zašto se zaključci razlikuju

Kontradikcija ne znači da je jedan izvor nužno pogrešan. Rezultati se mogu razlikovati zbog uzorka, načina mjerenja, trajanja istraživanja, lokalnog konteksta ili promjena koje su uvedene istodobno s analiziranom intervencijom.

7. Zabilježite zaključak provjere

Za svaku važnu tvrdnju zabilježite rezultat u jednostavnoj matrici:

Takva tablica omogućuje da se kasnije vidi zašto je tvrdnja prihvaćena, ublažena ili uklonjena.

Što je pokazala naša webinar-demonstracija?

U našem webinaru o poslovnom istraživanju uz AI analizirali smo pitanje treba li organizacija uvesti četverodnevni radni tjedan uz punu plaću.

Riječ je o webinar-demonstraciji, a ne o znanstvenom istraživanju, usporednom testu alata ili success storyju. Cilj je bio pokazati postupak istraživanja i provjere, a ne proglasiti najbolji alat ili donijeti konačnu preporuku o četverodnevnom radnom tjednu.

U demonstraciji smo uz ChatGPT, Claude i Perplexity:

1. definirali uža istraživačka pitanja

2. zatražili izvore koji podupiru različite tvrdnje

3. pregledali kako su izvori povezani sa zaključcima

4. klasificirali primarne i sekundarne izvore

5. tražili potencijalne sukobe interesa

6. zatražili kontradiktorne dokaze i protuargumente

7. oblikovali završni decision brief s razinom sigurnosti

Početni rezultat izgledao je bogato jer je sadržavao veći broj poveznica. Tek je dodatna evaluacija pokazala slabosti dokazne osnove.

U jednom analiziranom skupu od 12 citiranih izvora:

• nijedna poveznica nije vodila na izvorni akademski rad ili recenziranu znanstvenu publikaciju

• tri poveznice bile su povezane s organizacijom koja je sudjelovala u provedbi ili promociji pilot-programa

• velik dio sadržaja činili su sekundarni članci koji su izvještavali o istraživanjima

• velik broj poveznica nije predstavljao jednak broj neovisnih primarnih dokaza

To ne znači da su svi navedeni izvori bili beskorisni ili pogrešni. Znači da je razina sigurnosti morala biti niža nego što je početni, uvjerljivo napisan odgovor sugerirao.

Tijekom iste demonstracije pojavila se i zemljopisna tvrdnja koju nismo mogli pronaći na otvorenoj izvornoj stranici. U drugom koraku alat nije pronašao akademsku studiju koja bi istodobno zadovoljila vrlo precizne uvjete o godini, zemlji, industriji i mjerenom učinku. Nakon promjene kriterija pronađen je širi izvor koji je uključivao proizvodna poduzeća, ali nije bio istraživanje provedeno isključivo u proizvodnom sektoru.

Upravo je to korisna lekcija: kada dokaz ne odgovara cijeloj tvrdnji, potrebno je prilagoditi tvrdnju dok ne postane jednako precizna kao izvor.

Tri korisna upita za provjeru izvora

Upit za početno istraživanje

Ponašaj se kao poslovni istraživački analitičar. Istraži pitanje: [upišite pitanje]. Razdvoji dokaze koji podupiru i osporavaju tvrdnju. Za svaku važnu tvrdnju navedi izvor, datum objave, zemlju, analizirani uzorak i ograničenja. Prednost daj primarnim izvorima. Ako odgovarajući dokaz ne postoji, napiši da tvrdnju nije moguće potvrditi. Nemoj popunjavati nedostajuće podatke pretpostavkama.

Upit za evaluaciju citata

Za svaki izvor iz prethodnog odgovora izradi tablicu sa stupcima: tvrdnja, naziv izvora, poveznica, primarni ili sekundarni izvor, datum, autor ili organizacija, metodologija, mogući interes izdavača, ograničenja i procjena podržava li izvor tvrdnju u cijelosti, djelomično ili je ne podržava. Nemoj procjenjivati samo prema naslovu. Ako ne možeš pristupiti punom sadržaju, to jasno označi.

Upit za skeptičnu provjeru

Zauzmi perspektivu skeptičnog člana uprave. Pronađi najmanje tri vjerodostojna protuargumenta ili izvora koji se ne slažu s početnim zaključkom. Objasni može li razlika nastati zbog uzorka, razdoblja, tržišta, metodologije ili interesa autora. Na kraju navedi što još treba provjeriti prije donošenja odluke.

AI može pomoći u provođenju sva tri koraka, ali završna provjera ne smije ostati samo na njegovoj samoprocjeni.

Što mora provjeriti čovjek?

Razina ljudske provjere treba ovisiti o posljedici moguće pogreške.

Odgovorna osoba treba moći odgovoriti na četiri pitanja:

1. Koju točno tvrdnju prihvaćamo?

2. Na kojem se izvoru temelji?

3. Koja su ograničenja tog izvora?

4. Što bi se dogodilo ako je tvrdnja pogrešna?

Ako odgovor na bilo koje pitanje nije jasan, proces provjere nije završen.

Najčešće pogreške pri provjeri AI citata

Provjerava se samo postoji li izvor

Izvor može postojati, a da ne podupire citiranu tvrdnju. Potrebno je pronaći odgovarajući odlomak, tablicu ili rezultat.

Broje se poveznice umjesto neovisnih izvora

Deset članaka može prenositi rezultat iz jednog izvornog istraživanja. To je deset poveznica, ali samo jedan početni dokaz.

Sekundarni članak prikazuje se kao primarno istraživanje

Novinski članak može dobro objasniti temu, ali nije zamjena za izvornu metodologiju i rezultate kada se donosi važna odluka.

Zanemaruje se opseg istraživanja

Rezultat dobiven u jednoj zemlji, industriji ili skupini ne treba automatski prenositi na cijelo tržište.

Ne provjerava se datum

Stari izvor može biti relevantan za povijesni kontekst, ali ne i za aktualne cijene, zakone, mogućnosti alata ili tržišne uvjete.

AI sam provjerava vlastiti odgovor

Drugi prompt može otkriti nedosljednosti, ali nije potpuno neovisna provjera. Alat može ponoviti istu pogrešku ili se osloniti na iste izvore.

Tvrdnja se ne mijenja nakon pronalaska ograničenja

Ako izvor samo djelomično podupire tvrdnju, nije dovoljno dodati fusnotu. Potrebno je preoblikovati samu tvrdnju.

Što ako je izvor iza pretplate ili nije dostupan?

Ako ne možete pregledati puni sadržaj, nemojte tvrditi da ste ga provjerili.

Možete:

• potražiti izvorni rad u službenom repozitoriju

• provjeriti postoji li javno dostupan sažetak metodologije

• pronaći službenu objavu autora ili ustanove

• upotrijebiti drugi izvor koji omogućuje punu provjeru

• navesti da je provjera ograničena jer puni dokument nije dostupan

Sažetak može biti dovoljan za osnovnu orijentaciju, ali često ne sadržava sve podatke potrebne za procjenu uzorka, metode i ograničenja.

Koliko je izvora dovoljno?

Ne postoji univerzalan broj.

Za jednostavnu činjeničnu tvrdnju može biti dovoljan jedan mjerodavan primarni izvor. Za složeno poslovno pitanje potrebno je više neovisnih izvora koji obuhvaćaju različite perspektive, tržišta ili metode.

Kvaliteta, neovisnost i relevantnost važnije su od broja poveznica.

Je li sekundarni izvor uvijek loš?

Nije. Sekundarni izvori mogu jasno objasniti složenu temu, povezati više istraživanja ili pomoći pronaći primarni izvor.

Problem nastaje kada se sekundarna interpretacija koristi kao jedini dokaz za važnu brojku ili kada se deset članaka koji prenose isti rezultat predstavlja kao deset neovisnih potvrda.

Može li AI provjeriti vlastite citate?

Može pomoći, ali ne može biti jedina kontrola.

Od AI-ja možete zatražiti klasifikaciju izvora, traženje kontradikcija i označavanje nepodudarnosti. Nakon toga odgovorna osoba ipak treba otvoriti najvažnije izvore i usporediti ih s tvrdnjama.

Treba li provjeravati svaki citat?

Prioritet treba dati tvrdnjama koje utječu na odluku, brojkama, uzročnim zaključcima te pravnim, financijskim, sigurnosnim i drugim rizičnim informacijama.

Kod sadržaja namijenjenog javnoj objavi preporučujemo provjeriti sve izvore koji podupiru glavne tvrdnje.

Kako od provjerenih izvora doći do poslovne odluke?

Nakon provjere citata pripremite decision brief koji jasno odvaja:

• dokaze koji podupiru prijedlog

• dokaze koji mu proturječe

• informacije koje još nisu poznate

• ograničenja dostupnih istraživanja

• rizike pogrešnog zaključka

• preporučeni sljedeći korak

• procijenjenu razinu sigurnosti

Ako su izvori slabi ili se zaključci znatno razlikuju, preporuka ne mora biti potpuno odustajanje. Razumniji sljedeći korak može biti manji interni pilot s unaprijed definiranim pokazateljima, kontrolama i datumom ponovne procjene.

Za širi odabir AI alata prema zadatku pročitajte našu usporedbu ChatGPTa, Claudea i Microsoft Copilota.

Razvijte sigurniji način rada s AI alatima

U našim edukacijama ne učimo samo kako brže dobiti odgovor, nego i kako procijeniti može li se taj odgovor sigurno upotrijebiti.

Ako želite razumjeti poslovne primjene, kvalitetne promptove, ograničenja modela i pravila odgovornog korištenja, pogledajte našu edukaciju AI za poslovne korisnike.

Za praktičnu usporedbu vodećih alata u radu s dokumentima, analizama i poslovnim sadržajem pogledajte našu edukaciju ChatGPT, Claude i Copilot za poslovne korisnike.

Nove datume i trenutačno otvorene prijave provjerite među aktualnim terminima naših edukacija.

Izvori i dodatna dokumentacija

• OpenAI: Searching the web with ChatGPT

• Anthropic: Enable and use web search