Czym jest Uczenie oparte na przykładach (Instance-based learning)?
Uczenie oparte na przykładach, znane też pod angielskim terminem Instance-based Learning (IBL), obejmuje rodzinę metod uczenia maszynowego, które podczas procesu treningowego nie budują w pełni uogólnionego modelu, lecz zachowują surowe lub przekształcone obserwacje treningowe. Decyzja w fazie predykcji powstaje poprzez odwołanie się do najbardziej podobnych przykładów z pamięci. Takie podejście, zamiast ekstrakcji jawnych parametrów, polega na przechowywaniu wiedzy w samych instancjach, a kluczową rolę odgrywa miara podobieństwa oraz strategia sąsiedztwa.
Jak dokładnie działa Uczenie oparte na przykładach (Instance-based learning)
Proces rozpoczyna się od zgromadzenia zbioru uczącego, który trafia do pamięci systemu. Podczas wnioskowania dla nowej instancji algorytm oblicza odległość do każdej zapamiętanej obserwacji, wybiera podzbiór najbardziej zbliżonych i na tej podstawie generuje odpowiedź. Najczęściej stosowaną techniką jest k-nearest neighbors, gdzie etykieta bądź wartość regresyjna powstaje przez głosowanie lub uśrednianie k najbliższych sąsiadów. Bardziej zaawansowane warianty, takie jak locally weighted regression czy case-based reasoning, wprowadzają ważenie przykładów oraz mechanizmy adaptacji, zachowując jednak fundamentalną ideę odwoływania się do konkretnych przypadków.
Kontekst historyczny
Termin został spopularyzowany na początku lat dziewięćdziesiątych dzięki pracom Davida Aha z Naval Research Laboratory oraz współautorów. W artykule „Instance-Based Learning Algorithms” zaprezentowano formalny opis IBL oraz serię eksperymentów, które wykazały konkurencyjność względem drzew decyzyjnych. Równolegle na Uniwersytecie Georgia Tech rozwijano paradygmat case-based reasoning, silnie związany z IBL, choć o większym nacisku na proces adaptacji zapożyczonych przypadków.
Zastosowania w praktyce
Dzięki możliwości natychmiastowego uczenia oraz łatwości interpretacji metody oparte na przykładach znalazły zastosowanie w systemach rekomendacyjnych, filtrowaniu spamu, diagnozie medycznej, klasyfikacji obrazów oraz systemach wspomagania decyzji. Przykładowo, w analizie medycznych zdjęć dermatoskopowych algorytm k-nearest neighbors może porównywać nową zmianę skórną z bazą historycznych przypadków, co ułatwia wstępną ocenę ryzyka czerniaka.
Zalety i ograniczenia
Niewątpliwą korzyścią jest brak kosztownego etapu trenowania modelu: aktualizacja wiedzy sprowadza się do dopisania nowych obserwacji do bazy. Algorytmy te naturalnie wspierają uczenie przyrostowe i radzą sobie z danymi wieloklasowymi bez modyfikacji struktury. Z drugiej strony rosnące rozmiary pamięci powodują zwiększenie czasu predykcji i zapotrzebowania na RAM. Wysoka wrażliwość na zbiór uczący może prowadzić do przeuczenia, zwłaszcza przy obecności szumu lub przykładów odstających, dlatego stosuje się edycję prototypów bądź redukcję wymiarowości.
Na co uważać?
Kluczowe decyzje projektowe dotyczą wyboru adekwatnej metryki oraz wartości k. Nieodpowiednia miara podobieństwa w danych wysokowymiarowych znacząco obniża skuteczność, czego przykładem jest tzw. przekleństwo wymiarowości. W praktyce konieczne bywa indeksowanie przestrzeni, np. drzewami KD lub strukturami approximate nearest neighbor, aby utrzymać akceptowalny czas odpowiedzi. Użytkownik powinien także dbać o balans klas i eliminację duplikatów, które mogą zniekształcać głosowanie większościowe.
Dodatkowe źródła
Dalsze pogłębienie zagadnienia oferuje hasło w serwisie Wikipedia, klasyczna publikacja Aha, Kibler i Albert z 1991 roku dostępna pod adresem CMU-CS-92-180 oraz przegląd najnowszych metod przyśpieszających wyszukiwanie sąsiadów w pracy arXiv:2102.11107. Wprowadzenie do case-based reasoning można znaleźć w książce „Case-Based Reasoning: Experiences, Lessons, & Future Directions” wydanej przez MIT Press.
