アート・CG 🎨
交差エントロピーとは何か(圧縮は知能 第2回)|3Blue1Brownの動画を日本語で解説
3Blue1Brownが2026年7月15日に公開した動画「But what is cross-entropy? | Compression is Intelligence Part 2」を紹介します。
動画の内容(公式の概要欄より)
大規模言語モデル(LLM)を学習させるための損失関数がどこから導かれるのかを解説します。
動画の構成
- 0:00 言語ツリーと圧縮
- 3:02 最適符号の振り返り
- 5:20 交差エントロピーの定義
- 8:26 直感的な理解と例
- 12:59 言語ツリーへの応用
- 14:55 LLMの事前学習
- 20:38 なぜこの損失関数が最適なのか?
- 26:13 蒸留(ディスティレーション)
- 31:35 KLダイバージェンス
第1回の紹介:エントロピーとは何か(圧縮は知能 第1回)
YouTubeの字幕機能を使うと、自動翻訳の日本語字幕で見ることもできます。
元の動画:3Blue1Brown「But what is cross-entropy? | Compression is Intelligence Part 2」(YouTube)
この動画の評価をポチッと!
💬 みんなの感想・コメント 1
匿名で気軽にコメントできます!
ワンタップで入力:
[…] 続きの第2回の紹介:交差エントロピーとは何か(圧縮は知能 第2回) […]