勾配降下法とは?ニューラルネットの学び方|3Blue1Brown動画を日本語で解説
数学の解説動画で知られるYouTubeチャンネル「3Blue1Brown」のディープラーニング入門シリーズ第2回です。原題は「Gradient descent, how neural networks learn」。第1回で説明したニューラルネットワークが、データからどうやって「学習」するのかを、「勾配降下法」という考え方を中心に説明しています。この記事では、動画の流れに沿って要点を日本語でまとめます。
この動画で分かること
- ニューラルネットワークにとって「学習する」とはどういうことか
- 「コスト関数」で、ネットワークの間違い具合を1つの数にする方法
- 勾配降下法で、コストが小さくなる方向へ少しずつ進むしくみ
- 学習したネットワークの中身は、期待どおりになっているのか
前回のおさらい:13,002個のつまみ
題材は第1回と同じ、28×28ピクセルの手書き数字を読み取るネットワークです。入力層784個、隠れ層16個が2つ、出力層10個という構造で、重みとバイアスは合わせて13,002個あります。「学習」とは、この13,002個の値を、正しく数字を読めるように調整することです。学習には、手書き数字の画像に正解ラベルを付けた「MNIST」という大量のデータが使われます。
コスト関数:間違い具合を1つの数にする
最初は重みとバイアスをでたらめに決めるので、ネットワークの答えもでたらめです。そこで、ある画像に対する出力層10個の値と、本来出てほしい値(正解の数字だけ1、ほかは0)との差を2乗して足し合わせます。これがその画像1枚の「コスト」で、答えが正解に近いほど小さくなります。これをすべての学習データで平均したものが、ネットワーク全体の出来の悪さを表す「コスト関数」です。
コスト関数は、13,002個の重みとバイアスを入力として受け取り、1つの数を返す関数だと考えられます。学習の目標は、この数をできるだけ小さくする重みとバイアスを見つけることです。
勾配降下法:坂を少しずつ下る
動画では、関数の値が最も小さくなる場所を探すことを、坂道にボールを置いて転がす様子にたとえます。「勾配」は、関数の値がいちばん急に増える方向を示すベクトルです。その逆向きに少しずつ進めば、値は小さくなっていきます。これを何度も繰り返すのが勾配降下法です。ただし、たどり着くのはその周辺でのくぼみ(局所的な最小値)で、全体で最も小さい場所とは限らないことにも触れています。
13,002個の入力を持つ関数の勾配は、13,002個の成分を持つベクトルです。動画では、この成分の大きさを「どの重みやバイアスを動かすと、コストがどれだけ効率よく下がるか」という重要度として読む見方も紹介しています。また、出力が少しずつなめらかに変わるからこそ、この方法で少しずつ調整できる、という点も説明されています。
この勾配を効率よく計算する方法が「誤差逆伝播法(バックプロパゲーション)」で、シリーズの次の回で詳しく扱われます。
学習した結果と、意外な中身
動画によると、この構造のネットワークを学習させると、学習に使っていない新しい画像の約96%を正しく読み取れるようになり、構造を工夫すると約98%まで上がります。
一方で、第1回で「2つ目の層が線や縁を見つけてくれるはず」と期待していたのに対し、実際に学習した重みを画像として表示してみると、はっきりした線のパターンにはなっていない、ということも示されます。ネットワークは正しく答えられるようになっても、人間が想像したとおりのやり方で答えているとは限らない、というのが後半の大事なポイントです。動画の最後には、ゲストとの対話で、この点に関わる研究も紹介されています。
第1回(ネットワークの構造)の解説はこちら:ニューラルネットワークとは?|3Blue1Brownの図解動画を日本語で解説
元の動画:3Blue1Brown「Gradient descent, how neural networks learn | Deep Learning Chapter 2」(YouTube)
💬 みんなの感想・コメント 0
匿名で気軽にコメントできます!まだコメントがありません。最初の感想を投稿してみよう!