Czym jest Ograniczona maszyna Boltzmanna (restricted Boltzmann machine, RBM)?
Ograniczona maszyna Boltzmanna to stochastyczny model sieci neuronowej zaproponowany w 1986 r. przez Geoffreya Hintona i Terry’ego Sejnowskiego, a udoskonalony w 2002 r. przez Russella Salakhutdinova i grupę University of Toronto. Model składa się z dwóch warstw: widocznej, reprezentującej obserwowane dane, oraz ukrytej, przechowującej reprezentacje cech. Brak połączeń wewnątrz tych samych warstw pozwala na wydajne obliczanie energii i prawdopodobieństw, co odróżnia RBM od klasycznej maszyny Boltzmanna.
Jak dokładnie działa Ograniczona maszyna Boltzmanna (restricted Boltzmann machine, RBM)
Działanie RBM opisuje funkcja energii, która przypisuje każdej konfiguracji neuronów widocznych i ukrytych wartość liczbową. Niższa energia oznacza wyższe prawdopodobieństwo wystąpienia danej konfiguracji. Uczenie sprowadza się do modyfikacji wag tak, aby dane treningowe uzyskiwały możliwie najmniejszą energię. Najczęściej stosowany algorytm – Contrastive Divergence – wykonuje krótkie łańcuchy symulacji typu Monte Carlo, co znacząco skraca czas treningu w porównaniu z pełną maksymalizacją wiarygodności.
Po nauczeniu model potrafi generować nowe przykłady poprzez samplowanie z rozkładu prawdopodobieństwa, wypełniać brakujące dane albo ekstraktować cechy, które następnie służą jako wejście dla klasyfikatora. W przeciwieństwie do deterministycznych sieci jednokierunkowych, RBM modeluje pełny rozkład, dzięki czemu uchwyci zależności nieliniowe pomiędzy zmiennymi bez ręcznego definiowania ich struktury.
Zastosowania w praktyce
Jednym z pierwszych praktycznych wdrożeń RBM był system rekomendacji filmów w konkursie Netflix Prize. Model uczył się reprezentacji użytkowników i tytułów na podstawie macierzy ocen, co umożliwiło trafniejsze przewidywanie nowych preferencji. RBM znalazły również zastosowanie w redukcji wymiarowości obrazów, w analizie dokumentów tekstowych oraz jako warstwa budująca głębokie sieci wierzeń (Deep Belief Networks) wykorzystywane do rozpoznawania mowy.
Zalety i ograniczenia
Do największych zalet należy zdolność do samodzielnego odkrywania ukrytych czynników generujących dane, a także probabilistyczny charakter umożliwiający wiarygodne generowanie i uzupełnianie informacji. W porównaniu z metodami liniowymi, takimi jak PCA, RBM lepiej radzi sobie z nieliniowością danych. Jednocześnie model cierpi na problem skalowalności: wraz ze wzrostem liczby jednostek rośnie trudność dokładnego oszacowania gradientu, a proces trenowania wymaga starannej regularyzacji i doboru hiperparametrów.
Na co uważać?
Zbyt krótki łańcuch Monte Carlo może prowadzić do płytkiej konwergencji i generować rozkład oddalony od rzeczywistego. Nadmierna liczba jednostek ukrytych zwiększa ryzyko przeuczenia, dlatego stosuje się wagi z rozkładem zerowym lub metody odcinania. W praktyce kluczowe jest monitorowanie log-likelihood na zbiorze walidacyjnym oraz wykorzystanie strategii wczesnego zatrzymania.
Dodatkowe źródła
Wikipedia: Restricted Boltzmann machine; Hinton, G. E. – Training Products of Experts by Minimizing Contrastive Divergence (PDF); ArXiv: A Practical Guide to Training Restricted Boltzmann Machines
