Przyszedłem z twojego innego pytania Oryginalna praca dotycząca skupienia uwagi? Sformułowanie klucza / wartości / zapytania dotyczącego uwagi pochodzi z artykułu Attention Is All You Need.

Jak należy rozumieć zapytania, klucze i wartości

Pojęcia dotyczące klucza / wartości / zapytania pochodzą z systemów pobierania. Na przykład, gdy wpiszesz zapytanie w celu wyszukania jakiegoś filmu na Youtube, wyszukiwarka zmapuje Twój query na zestaw keys (tytuł wideo, opis itp.) Powiązany z kandydatami wideo w bazie danych, a następnie przedstawi Ci najlepiej dopasowane filmy (values).

Okazuje się, że operacja uwagi może być również potraktowana jako proces pobierania, więc pojęcia klucza / wartości / zapytania mają również zastosowanie w tym przypadku. (Swoją drogą, powyższy przykład to tylko zabawkowy system dla ilustracji, w praktyce wyszukiwarki a systemy rekomendacji są znacznie bardziej złożone.)

Jak wspomniano w cytowanym artykule ( Neural Machine Translation by Jointly Learning to Align and Translate), uwaga z definicji jest tylko średnią ważoną wartości,

$$ c = \ sum_ {j} \ alpha_jh_j $$ gdzie $ \ sum \ alpha_j = 1 $ .

Jeśli ograniczymy $ \ alpha $ do jednego gorącego wektora, ta operacja stanie się taka sama, jak pobieranie ze zbioru elementów $ h $ z indeksem $ \ alpha $ . Po usunięciu tego ograniczenia operacja uwagi może być traktowana jako „pobieranie proporcjonalne” zgodnie z wektorem prawdopodobieństwa $ \ alpha $ .

Powinno być jasne, że $ h $ w tym kontekście to value. Różnica między tymi dwoma artykułami polega na tym, jak obliczany jest wektor prawdopodobieństwa $ \ alpha $ . W pierwszym artykule (Bahdanau i in. 2015) obliczono wynik za pomocą sieci neuronowej $$ e_ {ij} = a (s_i, h_j), \ qquad a_ {i, j} = \ frac {\ exp (e_ {ij})} {\ sum_k \ exp (e_ {ik})} $$ gdzie $ h_j $ pochodzi z sekwencji kodera, a $ s_i $ pochodzi z sekwencji dekodera. Jednym z problemów tego podejścia jest to, że sekwencja kodera ma długość $ m $ , a sekwencja dekodowania ma długość $ n $ , musimy przejść przez sieć $ m * n $ razy, aby uzyskać wszystkie wyniki uwagi $ e_ {ij} $ .

Bardziej wydajnym modelem byłoby pierwsze zaprojektowanie $ s $ i $ h $ do wspólnego przestrzeń, a następnie wybierz miarę podobieństwa (np. iloczyn skalarny) jako punktację uwagi, na przykład $$ e_ {ij} = f (s_i) g (h_j) ^ T $$ więc musimy tylko obliczyć $ g (h_j) $ $ m $ razy i $ f (s_i) $ $ n $ razy, aby uzyskać wektory projekcji i $ e_ {ij} $ można skutecznie obliczyć przez mnożenie macierzy.

Zasadniczo jest to podejście zaproponowane w drugim artykule (Vaswani et al. 2017), w którym dwa wektory projekcji nazywane są query (dla dekodera) i key (dla enkodera), co jest dobrze dopasowane do koncepcji w systemach wyszukiwania .

W jaki sposób uzyskuje się zapytania, klucze i wartości

Sama proponowana uwaga dotycząca wielu głowic nie mówi wiele o tym, jak zapytania, klucze i wartości są uzyskiwane, o ile spełnione są wymagania dotyczące wymiaru.Mogą pochodzić z różnych źródeł w zależności od scenariusza aplikacji.

W przypadku uczenia modelu języka bez nadzoru, takiego jak GPT, $ Q, K, V $ pochodzą zwykle z tego samego źródła, więc taka operacja jestzwane także samokontrolą.

W przypadku zadania tłumaczenia maszynowego w drugim artykule najpierw stosuje się osobno samokontrolę do sekwencji źródłowej i docelowej, a następnie zwraca uwagę, gdzie $ Q $ span> pochodzi z sekwencji docelowej, a $ K, V $ pochodzi z sekwencji źródłowej.

W przypadku systemów rekomendacji $ Q $ może pochodzić z elementów docelowych, $ K, V $ może pochodzić z profilu użytkownika i historii.

Zobacz Tylko uwaga - masterclass, od 15:46 Łukasz Kaiser wyjaśnia, czym są q, K i V .

Zasadniczo:

• q = wektor reprezentujący słowo
• K i V = twoja pamięć, a więc wszystkie słowa, które zostały wygenerowane wcześniej.Zauważ, że K i V mogą być takie same (ale nie muszą).

Więc to, co robisz z uwagą, polega na tym, że bierzesz bieżące zapytanie (w większości przypadków słowo) i szukasz w pamięci podobnych kluczy.Aby uzyskać rozkład odpowiednich słów, używa się następnie funkcji softmax.

Tensorflow i Keras właśnie rozszerzyli swoją dokumentację dotyczącą warstw Attention i AdditiveAttention. Oto podstępny rzut oka z dokumentów:

Znaczenie zapytania, wartości i klucza zależy od aplikacji. Na przykład w przypadku podobieństwa tekstu zapytanie to osadzenie sekwencji pierwszego fragmentu tekstu, a wartość to osadzenie sekwencji drugiego fragmentu tekstu. klucz jest zwykle tym samym tensorem co wartość.

Ale dla mojego własnego wyjaśnienia, różne warstwy uwagi próbują wykonać to samo zadanie, mapując funkcję $ f: \ Bbb {R} ^ {T \ times D} \ mapsto \ Bbb {R} ^ {T \ times D} $ , gdzie T to długość ukrytej sekwencji, a D to rozmiar wektora cech. W przypadku globalnej samokontroli, która jest najpowszechniejszą aplikacją, najpierw potrzebujesz danych sekwencji w kształcie $ B \ times T \ times D $ , gdzie $ B $ to rozmiar partii. Każda propagacja w przód (szczególnie po koderze, takim jak warstwa Bi-LSTM, GRU lub LSTM z return_state i return_sequences = True dla TF), próbuje zmapować wybrany stan ukryty (zapytanie) do najbardziej podobne inne stany ukryte (klucze). Po powtórzeniu tego dla każdego stanu ukrytego i wynikach softmax pomnóż ponownie za pomocą klawiszy (które również są wartościami), aby uzyskać wektor wskazujący, ile uwagi należy poświęcić każdemu ze stanów ukrytych. Mam nadzieję, że to pomoże komukolwiek, ponieważ zajęło mi to kilka dni.

Przez chwilę byłem również zaskoczony kluczami, zapytaniami i wartościami w mechanizmach uwagi. Po przeszukaniu sieci i przeanalizowaniu odpowiednich informacji mam jasny obraz tego, jak działają klucze, zapytania i wartości oraz dlaczego mają działać!

Zobaczmy, jak działają i dlaczego działają

W modelu seq2seq kodujemy sekwencję wejściową do wektora kontekstu, a następnie przekazujemy ten wektor kontekstu do dekodera, aby uzyskać oczekiwany dobry wynik.

Jeśli jednak sekwencja wejściowa jest długa, opieranie się tylko na jednym wektorze kontekstu staje się mniej efektywne. Potrzebujemy wszystkich informacji ze stanów ukrytych w sekwencji wejściowej (koder) dla lepszego dekodowania (mechanizm uwagi).

Poniżej pokazano jeden ze sposobów wykorzystania wejściowych stanów ukrytych: Źródło obrazu: https://towardsdatascience.com/attn-illustrated-attention-5ec4ad276ee3

Innymi słowy, w tym mechanizmie uwagi wektor kontekstu jest obliczany jako ważona suma wartości, gdzie waga przypisana do każdej wartości jest obliczana przez funkcję zgodności zapytania z odpowiednim kluczem (jest to nieco zmodyfikowane zdanie z [Attention Is All You Need] https://arxiv.org/pdf/1706.03762.pdf).

Tutaj zapytanie pochodzi ze stanu ukrytego dekodera, klucz i wartość pochodzą ze stanów ukrytych kodera (klucz i wartość są takie same na tym rysunku). Wynik to zgodność między zapytaniem a kluczem, która może być iloczynem skalarnym między zapytaniem a kluczem (lub inną formą zgodności). Wyniki przechodzą następnie przez funkcję softmax, aby uzyskać zestaw wag, których suma jest równa 1. Każda waga mnoży odpowiadające jej wartości, aby uzyskać wektor kontekstu, który wykorzystuje wszystkie wejściowe stany ukryte.

Zauważ, że jeśli ręcznie ustawimy wagę ostatniego wejścia na 1 i wszystkie jego pierwszeństwa na 0, zredukujemy mechanizm uwagi do oryginalnego mechanizmu wektora kontekstu seq2seq. Oznacza to, że nie zwraca się uwagi na wcześniejsze stany kodera wejściowego.

Rozważmy teraz mechanizm samokontroli, jak pokazano na poniższym rysunku:

Źródło obrazu: https://towardsdatascience.com/illustrated-self-attention-2d627e33b20a

Różnica w stosunku do powyższego rysunku polega na tym, że zapytania, klucze i wartości są transformacjami odpowiednich wektorów stanu wejściowego. Pozostałe pozostają takie same.

Zauważ, że nadal możemy używać oryginalnych wektorów stanu kodera jako zapytań, kluczy i wartości. Dlaczego więc potrzebujemy transformacji? Przekształcenie to po prostu mnożenie macierzy, takie jak to:

Zapytanie = I x W (Q)

Klucz = I x W (K)

Wartość = I x W (V)

gdzie I jest wektorem stanu wejściowego (kodera), a W (Q), W (K) i W (V) są odpowiednimi macierzami do przekształcenia wektora I w wektory Query, Key, Value.

Jakie są zalety tego mnożenia macierzy (transformacji wektorowej)?

Przypomnij sobie efekt rozkładu na wartości osobliwe (SVD), jak na poniższym rysunku:

Źródło obrazu: https://youtu.be/K38wVcdNuFc?t=10

Mnożąc wektor wejściowy przez macierz V (z SVD), uzyskujemy lepszą reprezentację do obliczenia zgodności między dwoma wektorami, jeśli te dwa wektory są podobne w przestrzeni tematów, jak pokazano na przykładzie na rysunku.

A tych macierzy do transformacji można się nauczyć w sieci neuronowej!

Krótko mówiąc, mnożąc wektor wejściowy przez macierz, otrzymaliśmy:

1) lepsza (utajona) reprezentacja wektora wejściowego;

2) konwersja wektora wejściowego na przestrzeń o pożądanym wymiarze, powiedzmy, z wymiaru 5 do 2, lub z n na m itd. (co jest praktycznie przydatne);

gdzie macierzy można się nauczyć (bez ręcznego ustawiania).

Mam nadzieję, że pomoże ci to zrozumieć zapytania, klucze i wartości w mechanizmie (samo) uwagi głębokich sieci neuronowych.

Skąd ludzie uzyskują z nich klucz, zapytanie i wartość równania?

Artykuł, do którego się odnosisz nie zawiera takiej terminologii, jak „klucz”, „zapytanie” czy „wartość”, więc nie jest jasne, co masz na myśli w tutaj. Nie ma jednej definicji „uwagi” dla sieci neuronowych, więc domyślam się, że pomyliliście dwie definicje z różnych prac.

W artykule moduł uwagi zawiera wagi $ \ alpha $ i wartości do zważenia $ h $ , gdzie wagi są wyprowadzane z powtarzających się wyników sieci neuronowych, jak opisano w zacytowanych równaniach i na rysunku z artykułu przedstawionego poniżej.

Podobnie dzieje się w modelu Transformer z artykułu Attention is all you autorstwa Vaswani i in., w którym używają „kluczy”, „zapytań” i "values" ( $ Q $ , $ K $ , $ V $ ). Vaswani i wsp. Definiują komórkę uwagi inaczej:

$$ \ mathrm {Uwaga} (Q, K, V) = \ mathrm {softmax} \ Big (\ frac {QK ^ T} {\ sqrt {d_k}} \ Big) V $$

Używają również uwagi obejmującej wiele głowic, gdzie zamiast jednej wartości dla każdego $ Q $ , $ K $ , $ V $ , podają wiele takich wartości.

Gdzie w modelu Transformer $ Q $ , $ K $ , $ V $ mogą pochodzić z tych samych wejść w koderze (dolna część rysunku poniżej) lub z różnych źródeł w dekoderze (górna prawa część rysunku). Ta część jest kluczowa dla wykorzystania tego modelu w zadaniach tłumaczeniowych.

W obu artykułach, zgodnie z opisem, wartości, które przychodzą jako dane wejściowe dla warstw uwagi są obliczane na podstawie wyników poprzednich warstw sieci.Oba artykuły definiują różne sposoby uzyskiwania tych wartości, ponieważ używają innej definicji warstwy uwagi.