Механизм внимания метод

Также: attention, self-attention, самовнимание

Операция, позволяющая каждому элементу последовательности напрямую «смотреть» на все остальные: взвешенные скалярные произведения матриц Query, Key и Value. Ядро архитектуры трансформера; несколько параллельных «голов» — multi-head attention.