AI Sözlüğü
ModelAttention Mechanism
Attention nedir?
Modelin bir cümlede hangi kelimeye ne kadar 'dikkat' edeceğini hesaplama mekanizması.
Transformer mimarisinin kalbi. 'Bankaya gittim, parayı çektim' cümlesinde 'çektim' fiili için 'banka' kelimesi 'parayı'dan daha alakalıdır. Attention bunu sayısal olarak hesaplar. 'Attention is All You Need' 2017 makalesinden geliyor.