Duże modele językowe mają poważny problem: nie potrafią powiedzieć „nie wiem”. Zamiast tego generują odpowiedzi z przekonaniem godnym eksperta; nawet wtedy, gdy są one całkowicie błędne. Naukowcy z MIT opracowali właśnie nową metodę, która pozwala identyfikować momenty, kiedy zbyt pewny siebie model AI podaje fałszywe informacje.
Nadmierna pewność siebie jako cichy problem dużych modeli językowych
Halucynacje AI nie przychodzą z etykietką ostrzegawczą. Model GPT-4, Claude czy Gemini potrafi wygenerować fałszywy cytat naukowy, nieistniejącą datę historyczną albo błędną poradę prawną i zrobi to z taką samą pewnością, z jaką podaje poprawną odpowiedź. Użytkownik nie ma szans odróżnić jednego od drugiego bez samodzielnej weryfikacji.
Zatem gdy modele AI trafiają do szpitali czy kancelarii prawnych, a trafiają coraz częściej, nadmierna pewność staje się zagrożeniem o trudno przewidywalnych konsekwencjach.
Co dokładnie odkryli naukowcy z MIT
Zespół z Massachusetts Institute of Technology, kierowany przez badaczy z grupy Computer Science and Artificial Intelligence Laboratory (CSAIL), opublikował w marcu 2026 roku wyniki prac nad nową metodą wykrywania nadmiernej pewności w dużych modelach językowych. Szczegóły opisano na stronie MIT News.
Dotychczasowe podejścia do kalibracji pewności modeli opierały się najczęściej na analizie prawdopodobieństw tokenów czyli surowych wartości liczbowych, jakie model przypisuje kolejnym słowom w generowanej odpowiedzi. Problem w tym, że te wartości bywają mylące. Model może przypisać wysokie prawdopodobieństwo konkretnemu tokenowi, a mimo to cała odpowiedź będzie nonsensem.
Nowa metoda MIT działa inaczej. Zamiast patrzeć wyłącznie na wewnętrzne prawdopodobieństwa, bada spójność odpowiedzi modelu przy wielokrotnym zadawaniu tego samego pytania w różnych sformułowaniach. Jeśli model jest naprawdę pewny odpowiedzi, powinien udzielać konsekwentnie tej samej, niezależnie od tego, jak pytanie zostanie sformułowane. Gdy odpowiedzi zaczynają się rozjeżdżać, to sygnał: model tak naprawdę nie „wie”, tylko zgaduje.
Kluczowym elementem podejścia jest porównanie semantycznej zgodności wielu odpowiedzi, a nie tylko ich dosłownego brzmienia. Dwie odpowiedzi mogą być sformułowane różnymi słowami, ale znaczyć to samo. I odwrotnie.
Dlaczego zbyt pewny siebie model AI jest groźniejszy niż ten, który się myli
Błąd sam w sobie nie jest katastrofą. Każdy system popełnia błędy, ludzie również. Problem pojawia się wtedy, gdy błędowi towarzyszy niezachwiana pewność. Bo właśnie pewność decyduje o tym, czy użytkownik zweryfikuje informację, czy przyjmie ją na wiarę.
Badania z zakresu psychologii poznawczej od lat pokazują, że ludzie są podatni na tzw. efekt autorytetu. Gdy źródło informacji wydaje się kompetentne i pewne siebie, nasz krytycyzm automatycznie spada. Modele językowe wraz z ich gładkim, encyklopedycznym stylem wyzwalają ten mechanizm niezwykle skutecznie.
Prosty przykład: zapytaj model o interakcje lekowe. Jeśli odpowie niepewnie, lekarz sprawdzi w bazie danych. Jeśli odpowie z pewnością – i akurat się pomyli – konsekwencje mogą być poważne. Zbyt pewny siebie model AI nie tyle generuje dezinformację, co ją uwiarygodnia.
Jak działa metoda MIT w praktyce
Podejście zaproponowane przez zespół MIT można streścić w kilku krokach, choć implementacja jest oczywiście znacznie bardziej złożona.
Najpierw to samo pytanie zostaje przeformułowane na kilka sposobów: automatycznie, z zachowaniem sensu, ale zmianą struktury gramatycznej i doboru słów. Następnie model generuje odpowiedzi na każdą z tych wersji. W kolejnym kroku algorytm analizuje semantyczną spójność tych odpowiedzi, korzystając z technik porównywania znaczeń (a nie samych ciągów znaków). Wysoka spójność oznacza, że model jest prawdopodobnie dobrze skalibrowany w danym przypadku. Niska spójność – że jego pewność jest pozorna.
Co istotne, metoda nie wymaga dostępu do wewnętrznych wag ani architektury modelu. Działa na poziomie wejścia i wyjścia, co czyni ją stosowalną także wobec zamkniętych, komercyjnych systemów. To ważne, ponieważ wiele najpopularniejszych modeli – jak GPT-4 czy Claude od Anthropic – nie udostępnia swoich parametrów publicznie.
Kalibracja pewności – nie tylko MIT pracuje nad problemem
MIT nie jest jedyną instytucją, która dostrzega wagę tego zagadnienia. Temat kalibracji modeli językowych i ich skłonności do nadmiernej pewności pojawia się regularnie w literaturze naukowej.
Zjawisko to opisuje się w literaturze jako overconfidence bias tj. tendencję systemu do przypisywania swoim odpowiedziom wyższej pewności, niż wynikałoby to z faktycznej trafności. Termin ten ma długą historię w psychologii poznawczej, gdzie od dekad bada się go u ludzi. Ludzie bowiem także systematycznie przeceniają swoją wiedzę. Okazuje się, że modele językowe odziedziczyły tę właściwość po danych, na których były trenowane.
Równolegle prowadzone są prace nad mechanizmami wstrzymywania się od odpowiedzi (abstention), czyli uczeniem modeli, by w pewnych sytuacjach odpowiadały wariantami „nie jestem pewien” lub „nie mam wystarczających danych”. To podejście komplementarne do metody MIT, bo zamiast wykrywać nadmierną pewność z zewnątrz, próbuje się ją eliminować u źródła.
Co to oznacza dla użytkowników?
Dla osób korzystających z modeli językowych na co dzień wniosek jest prosty. Gładkość i pewność odpowiedzi nie są dowodem jej prawdziwości.
Metoda opracowana przez MIT to krok w stronę budowania niezależnych systemów weryfikacji. Można sobie wyobrazić przyszłość, w której każda odpowiedź modelu językowego opatrzona jest wskaźnikiem rzetelności, czymś na kształt „paska pewności”, analogicznego do marginesu błędu w sondażach. Niektóre firmy już eksperymentują z tego typu rozwiązaniami.
Warto też pamiętać, że odpowiednie formułowanie zapytań może częściowo łagodzić problem. Pytania otwarte, proszenie modelu o wskazanie niepewności lub alternatywnych odpowiedzi – są to proste techniki, które zmuszają model do nieco uczciwszego zachowania. Nie rozwiązują problemu systemowo, ale pomagają w codziennym użytkowaniu.
Pewność to nie wiedza
Problem nadmiernie pewnego siebie modelu AI jest w gruncie rzeczy problemem zaufania. Zaufania, które buduje się łatwo i traci trudno. Jeśli użytkownicy – lekarze, prawnicy, nauczyciele, programiści – zaczną traktować odpowiedzi modeli jako wiarygodne bez weryfikacji, konsekwencje mogą być daleko idące. Jeśli natomiast stracą zaufanie całkowicie, wartościowe narzędzie zostanie odrzucone.
Badania MIT pokazują trzecią drogę: nie ufaj ślepo, nie odrzucaj z góry, ale mierz. Buduj narzędzia, które potrafią odróżnić prawdziwą kompetencję od pustej pewności. Bo jak wynika z prac zespołu CSAIL, „modele mogą być jednocześnie imponująco trafne i niebezpiecznie nadmiernie pewne siebie – i potrzebujemy metod, by jedno od drugiego oddzielić”.
