Cross attention

Analogia do self-attention, jednak tutaj mamy dwie sekwencje $S_1$ i $S_2$. W Scaled Dot-Product Attention key (K) i value (V) liczymy z sekwencji $S_1$, a query (Q) z sekwencji $S_2$.

Użyte w Attention Is All You Need (ale wtedy jeszcze nie nazywane cross-attention) w dekoderze transformera gdy odtwarzany jest przetłumaczony tekst:

Źródło: Cross attention in Transformer Architecture