Czym jest Agregacja bootstrap (bootstrap aggregating)?
Agregacja bootstrap, częściej nazywana baggingiem, to technika zwiększania jakości modeli uczenia maszynowego poprzez łączenie wielu predyktorów trenowanych na losowo próbkowanych zbiorach danych. Termin wprowadził w 1996 roku Leo Breiman z Uniwersytetu Kalifornijskiego w Berkeley, a sama metoda szybko zyskała popularność, stając się fundamentem ensemble learningu. Najprościej ujmując, bagging polega na rozproszeniu błędów pojedynczych modeli dzięki ich równoległemu uczeniu na odmiennych, choć powstałych z tego samego źródła, podzbiorach danych.
Kontekst historyczny
Metoda ma korzenie w statystyce lat osiemdziesiątych, gdy Bradley Efron zaproponował procedurę bootstrap do szacowania rozkładów statystyk przez powtarzane próbkowanie z poprawką na reprezentatywność. Breiman zaadaptował ten pomysł, dodając warstwę agregacji predykcji, co pozwoliło znacząco obniżyć wariancję modeli drzewiastych. Publikacja „Bagging Predictors” (Machine Learning, 1996) szybko pokazała, że nawet proste drzewo decyzyjne staje się potężnym narzędziem, gdy jest częścią komitetu setek swoich losowych klonów.
Jak dokładnie działa Agregacja bootstrap (bootstrap aggregating)
Algorytm rozpoczyna się od wygenerowania B podzbiorów treningowych tej samej wielkości co oryginał, tworzonych przez losowanie ze zwracaniem. Każdy taki zbiór, zwany próbą bootstrapową, może zawierać powtarzające się obserwacje, a około jedna trzecia oryginalnych przykładów nie trafia do konkretnej próby, stanowiąc później próbę out-of-bag do estymacji błędu. Następnie budowany jest oddzielny model bazowy – najczęściej drzewo decyzyjne – na każdym z podzbiorów. W fazie predykcji wyniki poszczególnych modeli są łączone: dla regresji oblicza się średnią, a dla klasyfikacji stosuje się głosowanie większościowe. Takie uśrednienie zmniejsza wariancję, zachowując przy tym niski bias bazowych predyktorów, co jest szczególnie cenne, gdy pojedynczy model ulega przeuczeniu.
Zastosowania w praktyce
Bagging jest stosowany wszędzie tam, gdzie potrzebna jest stabilna, odporna na szum predykcja. W klasyfikacji obrazów zestaw drzew losowych skutecznie rozróżnia gatunki roślin na podstawie cech morfologicznych. W finansach komitet modeli odhacza fałszywe alarmy przy wykrywaniu nadużyć transakcyjnych. W medycynie zestawy klasyfikatorów pomagają prognozować nawroty chorób na podstawie heterogenicznych danych klinicznych i omicznych. Charakterystyczne jest to, że w każdym z tych przypadków bagging obniża wariancję wnioskowania, nie zwiększając istotnie złożoności implementacyjnej.
Zalety i ograniczenia
Najważniejszą korzyścią płynącą z agregacji bootstrap jest redukcja nadmiernego dopasowania pojedynczych modeli, co przekłada się na lepszą generalizację. Metoda zapewnia ponadto naturalny sposób estymacji błędu poprzez obserwacje out-of-bag, dzięki czemu można zrezygnować z osobnego zestawu walidacyjnego. Warto jednak pamiętać, że skuteczność baggingu zależy od niekorelacji błędów między modelami bazowymi. Jeżeli każdy model ulega podobnym zafałszowaniom, uśrednianie niewiele pomoże. Do ograniczeń należy też zwiększone zapotrzebowanie na zasoby obliczeniowe, zwłaszcza gdy liczba próbek bootstrapowych rośnie, co może wydłużyć czas predykcji w systemach działających w trybie czasu rzeczywistego.
Na co uważać?
Przy wdrażaniu baggingu kluczowe jest dobranie odpowiedniej liczby modeli B – zbyt mała nie zredukuje wariancji, zbyt duża nie przyniesie dodatkowych korzyści, a obciąży infrastrukturę. Warto także monitorować rozkład klas w próbkach bootstrapowych; w zadaniach z silną nierównowagą klasową konieczne może być ważenie przykładów lub adaptacyjne próbkowanie. Niezależnie od mocy obliczeniowej, agregacja nie rozwiąże problemu stronniczego zbioru danych: jeśli wszystkie obserwacje mają błąd systematyczny, bagging jedynie go uśredni.
Dodatkowe źródła
Szczegółowe omówienie matematycznych podstaw znaleźć można w artykule Leo Breimana „Bagging Predictors”. Wprowadzenie do metody bootstrap autorstwa Bradleya Efrona dostępne jest w serwisie Project Euclid. Wiedzę praktyczną poszerza rozdział o ensemble learningu w książce „Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow”. Definicję w ujęciu encyklopedycznym przedstawia Wikipedia, a najnowsze badania porównujące bagging z boostingiem omawia praca przeglądowa na arXiv.
