Zespół badawczy z Massachusetts Institute of Technology zaprezentował nowe podejście do uczenia modeli sztucznej inteligencji interpretacji wykresów, diagramów i wizualizacji danych. Wyniki opublikowane 3 czerwca 2026 roku pokazują, że AI może nie tylko rozpoznawać elementy graficzne, ale też wyciągać z nich wnioski. Jest to szczególnie przydane przy automatycznej interpretacji dokumentów.
Dlaczego AI miała problem z wykresami
Wykresy wydają się proste. Słupek wyżej – wartość większa. Linia idzie w górę – trend wzrostowy. Dla człowieka to intuicyjne, bo uczymy się czytać wizualizacje przez lata edukacji i codziennego kontaktu z danymi. Modele językowe działają inaczej. Operują bowiem na tekście, a obraz to dla nich zupełnie inny typ informacji.
Problem polega na tym, że wykres to pewien system relacji: osie mają jednostki, kolory oznaczają kategorie, proporcje między elementami niosą znaczenie. Dotychczasowe modele multimodalne radziły sobie z opisywaniem zdjęć kotów czy rozpoznawaniem obiektów, ale gdy dostawały raport finansowy z trzema wykresami kołowymi, gubiły kontekst. Myliły wartości procentowe, nie potrafiły porównywać serii danych ani odpowiadać na pytania wymagające wnioskowania tj. na przykład: „który kwartał wykazał największą dynamikę wzrostu?”.
Podejście zespołu z MIT
Badacze z Computer Science and Artificial Intelligence Laboratory (CSAIL) przy MIT zaproponowali metodę łączącą kilka elementów. Po pierwsze, stworzyli wyspecjalizowany zbiór danych treningowych zawierający pary: wykres plus zestaw pytań z poprawnie zweryfikowanymi odpowiedziami. Po drugie, opracowali architekturę, która rozkłada proces interpretacji na etapy. Zakłada ona, że najpierw model identyfikuje typ wykresu i strukturę osi, potem ekstrahuje wartości liczbowe, a dopiero na końcu przeprowadza rozumowanie.
Znaczenie dla analizy dokumentów
Automatyczna interpretacja wykresów ma konkretne zastosowania. Analitycy finansowi codziennie przeglądają dziesiątki raportów pełnych wizualizacji. Naukowcy publikują wyniki w formie graficznej. Dziennikarze pracują z danymi statystycznymi. Jeśli model AI potrafi wiarygodnie odczytywać te informacje, może służyć jako asystent filtrujący i podsumowujący dane.
Zresztą modele multimodalne – łączące tekst, obraz i dźwięk – stają się standardem. Umiejętność rozumienia wykresów to naturalny element tej ewolucji, podobnie jak wcześniej było nim rozpoznawanie mowy czy generowanie obrazów na podstawie opisu tekstowego.
Jak działają modele multimodalne w praktyce
Współczesne systemy AI oparte na architekturze Vision Transformer przetwarzają obraz, dzieląc go na fragmenty (ang. patches), które następnie kodują jako sekwencje wektorów. Te wektory trafiają do tego samego mechanizmu uwagi (attention), który obsługuje tekst. Dzięki temu model może łączyć informacje wizualne z językowymi w jednej przestrzeni reprezentacji.
Problem z wykresami polegał na tym, że standardowe modele traktowały je jak każdy inny obraz. Tymczasem wykres to wysoce ustrukturyzowana informacja – bliższa tabeli niż fotografii. Badacze z MIT rozwiązali to, wprowadzając dodatkowy moduł dekodujący strukturę danych przed właściwym etapem rozumowania. Model najpierw „widzi” wykres jako obraz, potem rekonstruuje jego strukturę logiczną, a dopiero na tej bazie odpowiada na pytania.
Porównanie z wcześniejszymi metodami
Wcześniejsze podejścia do automatycznej interpretacji wykresów opierały się głównie na technikach OCR (rozpoznawanie tekstu) w połączeniu z heurystykami geometrycznymi. System wykrywał etykiety osi, odczytywał liczby, mierzył wysokości słupków. Działało to przyzwoicie dla prostych wykresów słupkowych, ale zawodziło przy bardziej złożonych wizualizacjach (wykresach warstwowych, diagramach rozrzutu z wieloma seriami czy infografikach łączących różne typy prezentacji danych).
Ograniczenia i dalsze kierunki
Żadna metoda nie jest doskonała. Zespół z MIT przyznaje, że model wciąż ma trudności z wykresami o bardzo nietypowej estetyce, ręcznie rysowanymi schematami czy wizualizacjami 3D, w których perspektywa zniekształca proporcje. Wykresy z brakującymi etykietami lub niejednoznaczną legendą również stanowią wyzwanie.
Kolejnym zagadnieniem jest wiarygodność. Gdy AI podaje konkretną wartość odczytaną z wykresu, użytkownik musi wiedzieć, na ile może jej zaufać. Badacze pracują nad mechanizmami kalibracji pewności tj. model miałby informować, z jakim prawdopodobieństwem jego odczyt jest poprawny.
Kontekst technologiczny i perspektywy
Prace MIT wpisują się w szerszy trend rozwoju systemów zdolnych do rozumienia dokumentów w ich pełnej złożoności – nie tylko tekstu, ale też tabel, wykresów, schematów i diagramów. Firmy takie jak Google (z modelem Gemini) czy OpenAI z rodziną GPT również intensywnie pracują nad tymi zdolnościami. Publikacja z MIT wyróżnia się jednak tym, że proponuje jasną, powtarzalną metodologię i udostępnia narzędzia badawcze społeczności naukowej.
Badania z MIT pokazują też, że postęp w AI nie zawsze polega na budowaniu coraz większych modeli. Czasem kluczem jest lepsze zrozumienie struktury problemu i zaprojektowanie procesu uczenia, który odzwierciedla sposób, w jaki ludzie nabywają złożone umiejętności.
Częste pytania
Jakie są główne trudności, które AI napotyka przy interpretacji wykresów?
AI ma problem z wykresami, ponieważ traktuje je jako obrazy, a nie jako strukturalne dane. Wykresy wymagają zrozumienia relacji między osiami, jednostkami i kategoriami, co jest trudne dla modeli, które operują głównie na tekście.
Dlaczego podejście zespołu z MIT jest innowacyjne w kontekście interpretacji wykresów?
Zespół z MIT opracował metodę, która łączy specjalistyczny zbiór danych treningowych z etapowym procesem interpretacji. Model najpierw identyfikuje typ wykresu, następnie ekstrahuje wartości liczbowe, a na końcu przeprowadza wnioskowanie.
Jakie zastosowanie ma automatyczna interpretacja wykresów w praktyce?
Automatyczna interpretacja wykresów jest przydatna dla analityków finansowych, naukowców i dziennikarzy, którzy codziennie przetwarzają wizualizacje danych. Dzięki AI mogą oni szybciej i dokładniej analizować raporty i wyciągać wnioski.
Jak działają modele multimodalne w kontekście analizy wykresów?
Modele multimodalne, takie jak te oparte na architekturze Vision Transformer, przetwarzają obrazy, dzieląc je na fragmenty i kodując je jako sekwencje wektorów. Dzięki temu mogą łączyć informacje wizualne z językowymi, co jest kluczowe dla interpretacji wykresów.
Jakie są ograniczenia obecnych metod interpretacji wykresów przez AI?
Obecne metody mają trudności z wykresami o nietypowej estetyce, ręcznie rysowanymi schematami czy wizualizacjami 3D. Dodatkowo, brakujące etykiety lub niejednoznaczne legendy mogą prowadzić do błędnych interpretacji.
