Czym jest Głębokie strukturalne modele semantyczne (Deep Structured Semantic Models, DSSM)?
Głębokie strukturalne modele semantyczne, znane również pod angielskim skrótem DSSM, to rodzina sieci neuronowych opracowanych w 2013 r. w laboratoriach Microsoft Research przez zespół, w którego skład wchodzili m.in. Po-Sen Huang oraz Xiaodong He. Głównym celem DSSM jest zamiana tekstu o dowolnej długości na zwartą reprezentację wektorową wyrażającą znaczenie, a następnie obliczanie podobieństwa między tak otrzymanymi wektorami. Dzięki temu algorytm lepiej ocenia zbieżność intencji użytkownika i treści dokumentu niż tradycyjne modele bazujące jedynie na statystyce słów.
Jak dokładnie działa Głębokie strukturalne modele semantyczne (Deep Structured Semantic Models)
Architektura DSSM składa się z dwóch równoległych sieci głębokich uczących się wspólnych reprezentacji dla par obiektów, najczęściej zapytania użytkownika oraz dokumentu. Na poziomie wejściowym surowy tekst przechodzi przez warstwę konwersji znaków lub słów na gęste wektory, co ogranicza wpływ rzadkich form fleksyjnych. Kolejne warstwy gęste, najczęściej z nieliniową aktywacją tanh lub ReLU, stopniowo kondensują informację semantyczną w wektor o ustalonej długości. W trakcie trenowania sieć minimalizuje funkcję strat typu contrastive loss, której zadaniem jest przybliżanie wektorów reprezentujących powiązane pary i oddalanie wektorów niepowiązanych. Po uczeniu wystarczy jedno przejście sieci, aby każde zapytanie oraz każdy dokument otrzymały swój odcisk semantyczny, a ich podobieństwo zwykle mierzy się iloczynem kosinusowym.
Kontrast z klasycznymi metodami
Wyszukiwarki oparte na modelu wektorowym TF-IDF lub oknie n-gramów traktują słowa jak niezależne znaczniki i rejestrują głównie ich częstość. DSSM uwzględnia relacje pomiędzy słowami oraz kontekst, co pozwala wykryć zgodność tematyczną nawet wtedy, gdy w zapytaniu i w dokumencie nie występuje ten sam zestaw słów kluczowych.
Zastosowania w praktyce
Najpopularniejszym polem zastosowania DSSM jest ranking wyników wyszukiwania w dużych portalach, gdzie model pomaga ocenić zgodność treści strony z intencją użytkownika. Stosuje się go również w systemach rekomendacji treści, dobieraniu reklam kontekstowych, dopasowywaniu par pytań i odpowiedzi w chatbotach oraz w filtrowaniu duplikatów dokumentów w korporacyjnych bazach wiedzy.
Zalety i ograniczenia
Do najmocniejszych stron DSSM należy zdolność wychwytywania niuansów semantycznych przy zachowaniu szybkiej funkcji podobieństwa, co jest kluczowe w środowiskach przetwarzających miliony dokumentów. Model jest też stosunkowo prosty w porównaniu z rozbudowanymi transformatorami, dlatego łatwiej wdrożyć go w produkcji. Z drugiej strony, DSSM nie bierze pod uwagę zależności pozycyjnych między słowami w takim stopniu, jak robią to transformery, przez co gorzej radzi sobie z analizą złożonej składni. Ponadto wymaga starannie dobranych danych negatywnych, aby upewnić się, że sieć uczy się właściwych wzorców podobieństwa.
Na co uważać?
Podczas implementacji należy zwrócić uwagę na skalowanie obliczeń: mimo że obliczenie jednego wektora jest szybkie, liczba porównań rośnie wraz z wielkością indeksu dokumentów. Stosuje się więc wyspecjalizowane struktury, takie jak Approximate Nearest Neighbor, aby ograniczyć koszty wyszukiwania. Istotne jest też monitorowanie driftu danych, ponieważ zmiana języka użytkowników może obniżyć trafność modelu.
Dodatkowe źródła
Osoby zainteresowane pogłębieniem tematu mogą sięgnąć do artykułu Learning Deep Structured Semantic Models for Web Search opublikowanego przez Microsoft Research, który stanowi fundament koncepcji DSSM. Zwięzły opis znajduje się także w hasłach Wikipedia – Deep Structured Semantic Model. Porównanie z innymi architekturami można prześledzić w przeglądzie arXiv:2103.00375 – A Survey on Neural Information Retrieval.
