Czym jest Bagging?
Bagging, czyli Bootstrap Aggregating, to technika podnosząca stabilność i dokładność modeli uczenia maszynowego poprzez łączenie prognoz wielu, niezależnie wytrenowanych egzemplarzy tego samego algorytmu. Metoda polega na tworzeniu szeregu zbiorów treningowych w procesie losowania ze zwracaniem, co nawiązuje do statystycznej procedury bootstrap. Każdy model uczy się zatem na nieco innej próbce oryginalnych danych, a końcowa odpowiedź stanowi uśrednienie lub głosowanie, w zależności od tego, czy zadanie ma charakter regresyjny czy klasyfikacyjny.
Jak dokładnie działa Bagging
Proces rozpoczyna się od wielokrotnego losowego próbkowania danych wejściowych. Jeżeli pierwotny zbiór liczy n obserwacji, to dla każdego z k modeli losuje się również n obserwacji, przy czym to samo rekord może trafić do próbki wiele razy, a inny w ogóle. Dzięki temu każdy model poznaje nieco odmienny rozkład danych i uczy się na innej konfiguracji cech. Po etapie treningu predykcje są łączone przez prostą operację większościowego głosowania lub średniej arytmetycznej. Efekt końcowy zmniejsza wariancję, co przekłada się na większą odporność na nadmierne dopasowanie, zwłaszcza w przypadku drzew decyzyjnych.
Kontekst historyczny
Koncepcję opracował Leo Breiman, statystyk z Uniwersytetu Kalifornijskiego w Berkeley, publikując ją w 1996 roku w czasopiśmie Machine Learning. Pomysł szybko znalazł zastosowanie w pakietach statystycznych i stał się fundamentem popularnego algorytmu Random Forest, opublikowanego przez tego samego autora kilka lat później.
Zastosowania w praktyce
Bagging świetnie sprawdza się w przypadku niestabilnych bazowych predyktorów, takich jak drzewa decyzyjne czy regresja segmentowa. Przykładowo, w diagnostyce medycznej zestaw krótkich drzew klasyfikuje obrazy RTG klatki piersiowej, a uśrednianie wyników zmniejsza liczbę fałszywych alarmów w porównaniu z pojedynczym drzewem. W zastosowaniach finansowych metoda bywa używana do prognozy ryzyka kredytowego, gdzie wahania danych wejściowych mogą znacząco wpływać na wynik pojedynczej klasyfikacji.
Zalety i ograniczenia
Najważniejszą korzyścią jest redukcja wariancji i zwiększenie niezawodności prognoz bez potrzeby skomplikowanego dostrajania hiperparametrów. Bagging często poprawia wynik już po kilkunastu bazowych modelach. Warto jednak pamiętać, że metoda wymaga większych zasobów obliczeniowych, a korzyści maleją, gdy bazowy algorytm charakteryzuje się niską wariancją – na przykład w przypadku regresji liniowej.
Na co uważać?
Nadmierna liczba członów komitetu może wydłużyć czas odpowiedzi systemu w produkcji, a w złożonych przypadkach utrudnia interpretację poszczególnych predykcji. W praktyce zaleca się monitorowanie przyrostu dokładności w funkcji liczby modeli oraz stosowanie przyrostowego wyznaczania metryk walidacyjnych, aby uniknąć niepotrzebnego zwiększania kosztów obliczeń.
Dodatkowe źródła
Pełny artykuł Breimana znajduje się w repozytorium arXiv pod adresem arxiv.org/abs/1106.0257. Zwięzłe omówienie metody i przykład implementacji można znaleźć w hasłach Wikipedia – Bootstrap aggregating oraz w dokumentacji scikit-learn Bagging Classifier. Dodatkowe studia przypadków prezentuje artykuł Elsevier Pattern Recognition Letters, który opisuje wykorzystanie Baggingu w analizie obrazów medycznych.
