GPTとは何か Transformerの視覚化 | Chapter 5, Deep Learning

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/wjZofJX0v4M?si=9YsuEzHATlhPtpOF Check out our new channel Ufolium https://www.youtube.com/watch?v=wrNCjIjIzuk&pp=ygUj5aSn57Wx6aCY6YG45oyZ44Gu5LuV57WE44G_IHVmb2xpdW0%3D Richard Turner's introduction is one of the best starting places: https://arxiv.org/pdf/2304.10557.pdf Coding a GPT with Andrej Karpathy https://www.youtube.com/watch?v=kCc8FmEb1nY&t=0s Introduction to self-attention by John Hewitt https://web.stanford.edu/class/cs224n/readings/cs224n-self-attention-transformers-2023_draft.pdf History of language models by Brit Cruise: https://www.youtube.com/watch?v=OFS90-FX6pg&t=0s Paper about examples like the “woman - man” one presented here: https://arxiv.org/pdf/1301.3781.pdf unembeddingの訳語 embedding 埋め込み に対してunembeddingの日本語訳が見つけられませんでした。しかしembeddingを埋め込みと呼ぶのに対してunembeddingをそのままにするのは不自然であると思われたため日本語訳を試みました。「逆埋め込み」はこれが厳密な意味で逆の操作になっていないことから却下され、「埋め込み」により意味的に対応する「掘り出し」を採用しました。Xやオフラインでの議論の中でこの訳語の複数の提案がありました。 明確にしておくと、これは現時点で一般的な訳語ではありません（そもそも、現在広く使われている訳語が無いと思われるため何に訳しても一般的ではないと思います）。むしろ、一種の提案として受け取られるものであると思います。 Dall-Eの読み 日本語だと「ダリ」と読まれることが多いですが、この名前は「ウォーリー」と「ダリ」のかばん語で、英語では「ドーリー」ということが多いようです。 ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u