Czy Duże Modele Językowe (LLM) działają zgodnie z oczekiwaniami ludzi? Wraz z rosnącym wykorzystaniem dużych modeli językowych (LLM) w różnych dziedzinach, takich jak pisanie e-maili czy wsparcie w rozwiązywaniu problemów, coraz częściej pojawiają się pytania dotyczące ich rzeczywistej skuteczności. Nowe badania przeprowadzone przez naukowców z Harvardu, MIT i University of Chicago rzucają światło na to, jak ludzie postrzegają zdolności tych modeli oraz jakie ryzyko niesie ze sobą nadmierne zaufanie do ich możliwości.
Oczekiwania ludzi a rzeczywiste możliwości modeli
Badanie, którego celem było zrozumienie, w jaki sposób ludzie formułują przekonania na temat zdolności LLM, wykazało, że użytkownicy często generalizują zdolności tych modeli na podstawie ich wyników w określonych zadaniach. Przykładowo, jeśli model prawidłowo odpowie na pytanie z zakresu fizyki, użytkownik może założyć, że równie dobrze poradzi sobie z prostszymi zadaniami, takimi jak podstawowe obliczenia matematyczne.
Jednak wyniki badania pokazują, że takie generalizacje mogą być niebezpiecznie błędne, zwłaszcza w sytuacjach, gdzie koszt błędu jest wysoki. „Ludzie mają spójne i strukturalne sposoby generalizowania, ale te generalizacje mogą być niezgodne z rzeczywistymi możliwościami modeli” – wskazują autorzy badania.
Konsekwencje dla wdrażania AI
Nadmierne zaufanie do LLM może prowadzić do poważnych konsekwencji, szczególnie w sytuacjach, gdzie błędy mogą być kosztowne, jak np. w medycynie czy finansach. Badacze przeanalizowali blisko 19 tysięcy przykładów ludzkich generalizacji, wykorzystując 79 różnych zadań z benchmarków takich jak MMLU i BIG-Bench. Wyniki badania jasno pokazują, że większe, bardziej zaawansowane modele, takie jak GPT-4, mogą powodować fałszywe poczucie pewności użytkowników, co może prowadzić do ich nadmiernego wykorzystywania w obszarach, w których nie są w pełni dostosowane.
Potrzeba lepszej oceny i dostosowania modeli
Autorzy badania zwracają uwagę na konieczność opracowania nowych ram oceny LLM, które lepiej odzwierciedlą sposób, w jaki ludzie wybierają zadania, do których modele te są wykorzystywane. Tradycyjne metody oceny, oparte na stałych benchmarkach, mogą nie oddawać w pełni rzeczywistych możliwości modeli oraz tego, jak są one postrzegane przez użytkowników.
„Zrozumienie funkcji generalizacji ludzkiej jest kluczowe dla lepszego dostosowania tych modeli do zadań, do których są wykorzystywane” – podkreślają badacze. Proponują oni opracowanie metod, które umożliwią bardziej precyzyjne przewidywanie, w jakich sytuacjach modele mogą zawieść, co z kolei pozwoli na lepsze zarządzanie ryzykiem związanym z ich wdrażaniem.
„Najlepszy model to taki, który pozwala użytkownikom na najpewniejsze wnioskowanie o jego zdolnościach, bez zakładania, że może zrobić wszystko” – podsumowują autorzy badania.
