Cel mai recent articol științific al OpenAI diagnostichează exact de ce ChatGPT și alte modele lingvistice de mari dimensiuni pot inventa lucruri – fenomen cunoscut în lumea inteligenței artificiale drept „halucinație”. El arată, de asemenea, de ce problema ar putea fi imposibil de rezolvat, cel puțin din perspectiva consumatorilor.
Articolul oferă cea mai riguroasă explicație matematică de până acum despre motivul pentru care aceste modele afirmă cu încredere neadevăruri. El demonstrează că nu este vorba doar de un efect secundar nefericit al modului în care sunt instruite în prezent IA-urile, ci de un fenomen inevitabil din punct de vedere matematic.
Problema poate fi explicată parțial prin erori în datele de bază folosite pentru antrenarea softurilor de inteligență artificială. Dar, prin analiza matematică a felului în care sistemele IA învață, cercetătorii dovedesc că, chiar și cu date de antrenare perfecte, problema persistă.
Modul în care modelele lingvistice răspund la întrebări – prezicând următorul cuvânt din propoziție pe baza probabilităților – produce în mod natural erori.
Cercetătorii arată de fapt că rata totală de eroare pentru generarea de propoziții este cel puțin de două ori mai mare decât rata de eroare pe care același soft de IA ar avea-o la o întrebare simplă de tip da/nu, deoarece greșelile se pot acumula de-a lungul mai multor predicții.
Cu alte cuvinte, ratele de halucinație sunt fundamental limitate de capacitatea sistemelor IA de a distinge răspunsurile valide de cele invalide. Din moment ce această problemă de clasificare este în mod inerent dificilă pentru multe domenii ale cunoașterii, halucinațiile devin inevitabile.
Se mai dovedește și că, cu cât un model întâlnește mai rar un fapt în timpul instruirii, cu atât este mai probabil să halucineze când este întrebat despre el.
De exemplu, în cazul zilelor de naștere ale unor persoane notabile, s-a constatat că, dacă 20% dintre aceste date apar o singură dată în datele de instruire, atunci modelele de bază ar trebui să greșească cel puțin 20% dintre întrebările despre zile de naștere.
Și, într-adevăr, când cercetătorii au întrebat modele de ultimă generație despre ziua de naștere a lui Adam Kalai, unul dintre autorii articolului, DeepSeek-V3 a furnizat cu încredere trei date greșite diferite în încercări separate: „03.07”, „15.06” și „01.01”. Data corectă este în toamnă, deci niciuna nu era măcar aproape.
Capcana evaluării
Mai îngrijorătoare este analiza articolului privind motivul pentru care halucinațiile persistă, în ciuda eforturilor extinse de post-antrenament (cum ar fi oferirea de feedback uman extins asupra răspunsurilor softurilor de IA înainte ca acestea să fie lansate public). Autorii au examinat zece repere majore pentru IA, inclusiv cele folosite de Google, OpenAI și de principalele clasamente care ierarhizează modelele IA. Aceasta a arătat că nouă dintre aceste repere folosesc sisteme de notare binare care acordă zero puncte pentru exprimarea incertitudinii de către IA.
Aceasta creează ceea ce autorii numesc o „epidemie” de penalizare a răspunsurilor oneste. Când un sistem IA spune „Nu știu”, primește același scor ca și când ar fi dat o informație complet greșită. Strategia optimă într-un asemenea sistem de evaluare devine clară: să ghicești întotdeauna.
Cercetătorii demonstrează acest lucru matematic. Indiferent de probabilitatea ca un anumit răspuns să fie corect, scorul așteptat al ghicitului depășește întotdeauna scorul abținerii atunci când evaluarea folosește o notare binară.
Soluția care ar strica totul
Soluția propusă de OpenAI este ca softul de inteligență artificială să ia în considerare propria încredere într-un răspuns înainte de a-l oferi și ca reperele să fie notate pe această bază. IA ar putea fi instruită, de exemplu: „Răspunde doar dacă ești mai mult de 75% sigur, deoarece greșelile sunt penalizate cu 3 puncte, în timp ce răspunsurile corecte primesc 1 punct”.
Cadrul matematic al cercetătorilor OpenAI arată că, sub praguri de încredere corespunzătoare, sistemele IA ar exprima în mod natural incertitudinea mai degrabă decât să ghicească. Astfel s-ar reduce halucinațiile. Problema este însă ce s-ar întâmpla cu experiența utilizatorilor.
Imaginați-vă implicațiile dacă ChatGPT ar începe să spună „Nu știu” la 30% dintre întrebări – o estimare conservatoare bazată pe analiza din articol privind incertitudinea factuală din datele de instruire. Utilizatorii obișnuiți să primească răspunsuri ferme la aproape orice întrebare ar abandona probabil rapid astfel de sisteme.
Am întâlnit acest tip de problemă într-un alt domeniu al vieții mele. Sunt implicat într-un proiect de monitorizare a calității aerului în Salt Lake City, Utah. Când sistemul semnalează incertitudini în jurul măsurătorilor în timpul condițiilor meteo nefavorabile sau atunci când echipamentele sunt calibrate, implicarea utilizatorilor scade în comparație cu afișajele care arată citiri ferme – chiar și atunci când aceste citiri ferme se dovedesc inexacte la validare.
Problema economică a calculului
N-ar fi dificil să reducem halucinațiile folosind concluziile articolului. Metode consacrate de cuantificare a incertitudinii există de zeci de ani. Acestea ar putea fi utilizate pentru a oferi estimări de încredere ale incertitudinii și pentru a ghida un soft de inteligență artificială să facă alegeri mai inteligente.
Dar chiar dacă problema preferințelor utilizatorilor ar putea fi depășită, există un obstacol mai mare: costurile asociate efectuării calculelor. Modelele lingvistice sensibile la incertitudine necesită semnificativ mai multă putere de calcul decât abordarea de astăzi, deoarece trebuie să evalueze multiple răspunsuri posibile și să estimeze nivelurile de încredere. Pentru un sistem care procesează milioane de interogări zilnic, aceasta se traduce prin costuri operaționale substanțial mai mari.
Abordări mai sofisticate, precum învățarea activă, în care sistemele IA pun întrebări de clarificare pentru a reduce incertitudinea, pot îmbunătăți acuratețea, dar multiplică și mai mult cerințele de calcul. Astfel de metode funcționează bine în domenii specializate, cum ar fi proiectarea de cipuri, unde răspunsurile greșite costă milioane de dolari și justifică un calcul extins. Pentru aplicațiile destinate consumatorilor, unde utilizatorii așteaptă răspunsuri instantanee, costurile devin prohibitive.
Calculul se schimbă dramatic pentru sistemele IA care gestionează operațiuni asociate unor activități economice importante sau infrastructurii economice. Când agenții IA se ocupă de logistică în lanțul de aprovizionare, de tranzacții financiare sau de diagnostic medical, costul halucinațiilor depășește cu mult cheltuiala necesară pentru ca modelele să decidă dacă sunt prea nesigure. În aceste domenii, soluțiile propuse în articol devin viabile economic, chiar necesare. Agenții IA nesiguri vor avea costuri mai mari.
Cu toate acestea, aplicațiile pentru consumatori domină în continuare prioritățile de dezvoltare ale IA. Utilizatorii vor sisteme care să ofere răspunsuri ferme la orice întrebare. Reperele de evaluare recompensează sistemele care ghicesc, mai degrabă decât pe cele care exprimă incertitudine. Costurile asociate procesării favorizează răspunsurile rapide și prea încrezătoare, în detrimentul celor lente și prudente.
Scăderea costurilor energetice pe token și progresul arhitecturii cipurilor ar putea face, în cele din urmă, acceptabil sub aspect financiar ca IA să decidă dacă sunt suficient de sigure pentru a răspunde la o întrebare. Dar numărul de operațiuni de calcul, în comparație cu ghicitul de astăzi, ar rămâne la fel de mare, indiferent de costurile absolute ale componentei hardware.
Pe scurt, articolul OpenAI scoate la lumină, fără să vrea, un adevăr inconfortabil: forțele economice care stimulează dezvoltarea IA pentru consumatori nu se potrivesc cu dorința de reducere a halucinațiilor. Până când aceste forțe nu se vor schimba, halucinațiile vor persista.
Traducere după Why OpenAI’s solution to AI hallucinations would kill ChatGPT tomorrow de Wei Xing, profesor la School of Mathematical and Physical Sciences, University of Sheffield.
