本動画では、Transformerの基礎として、Multi-Head Attentionの仕組みを分かりやすく解説しました。
以前に、「Transformerについて本質を分かりやすく解説」（https://youtu.be/zSqBUeh6EBI）とういう動画をアップしましたが、そこでは、Transformerの技術的な部分について詳しく説明していないため、本動画を追加で作成しました。この動画を見ればTransformerで使用されている、Multi-Head Attentionについて詳細を理解していただけるのではないかと思います。
Corrections:
15:10 d_kの説明が間違っておりました。d_kはトークン数ではなく、正しくはKeyを構成するベクトルの次元数です。申し訳ございません。
17:30 d_kの説明が間違っておりました。d_kはトークン数ではなく、正しくはKeyを構成するベクトルの次元数です。よって、図中の√5（5は具体例として示したI have a pen.のトークン数）は誤りであり、√d_kが図の表記として適切でした。該当記事の図は差し替えました。申し訳ございません。
・解説に使用した記事
https://agirobots.com/multi-head-attention/
・Transformerに関する詳細な解説記事＆動画
https://agirobots.com/attention-mechanism-transformer/
https://youtu.be/8Rrmub02fVg
・RNNの解説記事＆動画
https://agirobots.com/lstmgruentrance-noformula/
https://youtu.be/PQgHhvub7zw
ブログ、Twitter、Instagramでも、情報を発信しています。
チャンネルの登録や、フォローお願いします！
blog:https://agirobots.com/
twitter:https://twitter.com/AGIRobots/
instagram:https://www.instagram.com/agirobots/