Czym jest Próbowanie (statystyka) (Sampling, statistics)?
Próbowanie to zbiór metod, dzięki którym wybrana część populacji – tak zwana próba – pozwala wnioskować o całości. W kontekście algorytmów uczących się oznacza to dobór obserwacji wykorzystywanych podczas trenowania, walidacji lub oceny modelu. Fundamenty tej dziedziny kładli Pierre-Simon de Laplace, Jerzy Neyman i Ronald Fisher, którzy pokazali, że dobrze zaprojektowana próba może wiernie odzwierciedlać właściwości bardzo dużych zbiorów danych.
Jak dokładnie działa Próbowanie (statystyka) (Sampling, statistics)
Rdzeń podejścia stanowi procedura losowania elementów zgodnie z określonym planem. Najprostsza wersja, próbkowanie proste niezwrotne, wybiera obserwacje niezależnie z równym prawdopodobieństwem. W praktyce uczenia maszynowego ta idea rozszerza się o takie odmiany jak stratyfikacja, kiedy zbiór danych dzielony jest na warstwy odzwierciedlające ważne cechy (na przykład klasę lub pochodzenie geograficzne), czy resampling, gdzie z już zebranych danych tworzy się bootstrapowe kopie do estymacji niepewności. W modelach generatywnych, na przykład w sieciach GAN lub łańcuchach Markowa Monte Carlo, próbowanie przyjmuje dodatkową rolę – staje się narzędziem do eksploracji przestrzeni rozwiązań poprzez sekwencyjne losowanie kolejnych stanów lub wektorów latentnych.
Zastosowania w praktyce
W uczeniu głębokim losowe mini-batche wyznaczane są właśnie przez próbkowanie i umożliwiają przyspieszenie obliczeń gradientu. W systemach rekomendacyjnych, gdzie pełna macierz użytkownik–produkt jest w większości pusta, próbowanie negatywnych przykładów zmniejsza koszty treningu. W analizie obrazów techniki podpróbkowania (subsampling) pozwalają ograniczyć rozmiar wejściowych klatek bez utraty informacji istotnej dla klasyfikacji. Porównując z rozwiązaniami klasycznymi, w których rozpatrywano cały zbiór danych jednocześnie, nowoczesne algorytmy opierające się na celowo dobranej próbie zwiększają skalowalność i pozwalają pracować na danych strumieniowych.
Zalety i ograniczenia
Największą zaletą jest oszczędność zasobów: mniejszy zbiór oznacza szybsze obliczenia i mniejsze zapotrzebowanie na pamięć. Próba dobrana według reguł statystycznych zapewnia przy tym dopuszczalny poziom błędu estymacji. Ograniczenia wynikają z ryzyka biasu – jeśli procedura losowania naruszy założenia o reprezentatywności, model może uczyć się na zniekształconych danych. Ponadto, w przypadku rzadkich zdarzeń konieczne jest zwiększenie próby lub zastosowanie ważenia, aby zachować informację o anomaliach.
Na co uważać?
Kluczowe jest kontrolowanie warunków, w jakich powstaje próba. Jeżeli dane przychodzą w kolejności czasowej, próbkowanie bez zwrócenia może doprowadzić do pominięcia istotnych trendów sezonowych. W projektach medycznych należy zweryfikować, czy próba zawiera odpowiedni odsetek przypadków pozytywnych i negatywnych, aby uniknąć błędów diagnostycznych. Wreszcie, gdy model wdrażany jest w nowym środowisku, warto przeprowadzić ponowne próbkowanie, aby zminimalizować efekt przesunięcia rozkładu (distribution shift).
Dodatkowe źródła
Rozszerzone omówienie metod próbkowania można znaleźć w artykule Wikipedia – Sampling (statistics). W kontekście algorytmów MCMC przydatny jest przegląd arXiv:2009.04449. Zastosowania w uczeniu głębokim omawia rozdział 8 książki Deep Learning Goodfellow, Bengio, Courville.
