Czym jest uczenie głębokie?
Uczenie głębokie to gałąź uczenia maszynowego, w której wiedza reprezentowana jest przez wielowarstwowe sieci neuronowe. Każda warstwa przekształca dane wejściowe w coraz bardziej abstrakcyjne reprezentacje, dzięki czemu model samodzielnie odkrywa cechy istotne dla stawianego zadania. Termin „głębokie” odnosi się do liczby warstw ukrytych, znacznie większej niż w klasycznych perceptronach.
Dlaczego powstało?
Inspiracje sięgają roku 1943, gdy Warren McCulloch i Walter Pitts opisali pierwsze formalne neurony. Frank Rosenblatt zbudował perceptron (1958), a David Rumelhart, Geoffrey Hinton i Ronald Williams upowszechnili propagację wsteczną (1986). Dopiero jednak połączenie dużych zbiorów danych, akceleratorów GPU oraz prac Geoffreya Hintona nad głębokimi sieciami wierzeń (2006) nadało dyscyplinie obecny kształt. Przełomowy konkurs ImageNet 2012, wygrany przez model AlexNet z Uniwersytetu w Toronto, ugruntował jej praktyczną wartość.
Jak działa?
Rdzeniem jest kaskada warstw liniowych i nieliniowych. Dane przepływają od wejścia do wyjścia, a następnie błąd przewidywań cofa się wstecznie, aktualizując wagi poprzez spadek gradientu. W warstwach wstępnych sieć uczy się prostych krawędzi lub fonemów, w kolejnych – złożonych kształtów czy sylab, a w najwyższych – pełnych obiektów lub semantycznych myśli. W przeciwieństwie do klasycznych algorytmów wymagających ręcznego inżynierowania cech, model głęboki samodzielnie odkrywa hierarchię reprezentacji.
Hierarchiczne reprezentacje
Na przykład w rozpoznawaniu obrazów pierwsze filtry wykrywają krawędzie, kolejne łączą je w elementarne kształty, a ostatnie uchwytują całe przedmioty. Ta wielowarstwowość sprawia, że ten sam model radzi sobie z różnorodnymi wariantami obrazu, głosu czy tekstu.
Algorytm propagacji wstecznej
Propagacja wsteczna oblicza wpływ każdego połączenia na błąd wyjściowy. Dzięki odwróceniu przepływu informacji sieć uczy się setek milionów parametrów, osiągając trafność często niedostępną dla płytszych konstrukcji.
Zastosowania w praktyce
Algorytmy głębokie odpowiadają m.in. za tłumaczenie maszynowe, diagnozę zmian skórnych ze zdjęć dermatoskopowych, autonomiczne prowadzenie pojazdów, analizę obrazów satelitarnych, rekomendacje treści czy generowanie syntetycznej mowy. W systemie diagnozy dermatologicznej model konwolucyjny klasyfikuje zdjęcie znamienia w ułamku sekundy, wspierając lekarza w ocenie ryzyka czerniaka.
Zalety i ograniczenia
Do największych atutów należą wysoka skuteczność, możliwość pracy bez ręcznie tworzonych cech oraz elastyczność zastosowań. Metoda wymaga jednak obfitych danych, znacznych zasobów obliczeniowych i starannej optymalizacji hiperparametrów. Modele bywają trudne do interpretacji, a wrażliwość na zniekształcenia wejścia sprawia, że potrzebują testów odpornościowych.
Na co uważać?
Nadmierne dopasowanie do danych uczących może obniżyć jakość w środowisku produkcyjnym. Niebezpieczeństwo wzmacniania uprzedzeń zawartych w zbiorach treningowych wymaga kontroli jakości danych i audytów etycznych. Wysokie zużycie energii rodzi pytania o ślad węglowy, a prawo do wyjaśnienia decyzji modelu wyznacza granice zastosowań w sektorach regulowanych.
Dodatkowe źródła
Dobre wprowadzenie daje artykuł przeglądowy „Deep Learning” dostępny na arXiv. Ogólną charakterystykę pojęcia przedstawia Wikipedia. Szczegółowe zagadnienia sieci konwolucyjnych omawia rozdział 9 podręcznika „Deep Learning” autorstwa Goodfellow, Bengio i Courville, dostępny bezpłatnie na stronie deeplearningbook.org.
2 Komentarze