正解率が 1/クラス数 のままでロスも下がらない状況(学習失敗)になる挙動を見ました。
結果をここにまとめ公開します。参考になれば幸いです。

背景・経緯

• 深層学習の理解を深めようと、自前で実装を行っています。
• 学習開始直後に、正解率が 1/クラス数 のまま ロスも下がらない 学習失敗になる状況に遭遇しました。
• バグを疑い涙目になる。
• 勘で与えた 学習率の値 が大きかったのが原因。（学習率の値 を小さくすると学習が進む）
• 学習失敗と 学習が進む場合で、重みとバイアスの推移がどう違うのか関心がわき、グラフ化し、見比べました。
• MNIST 、隠れ層１の全結合NN　のシンプルなNNで見比べました。

得た知見(結論)

• ReLU と LeakyReLU で、異なる 学習失敗経緯 を見れた。
• 　ReLU にて、全てのパーセプトロンが 負の領域で反応しなくなる推移 を見れた。
• 　Leaky ReLUにて、正負を行き来しながら発散し無効な数値(nan)化する推移を 見れた。
• 　　学習率が大きいと、Bias と Weight がともにバタつき 収集つかなくなる。
• Batch Normalization （以後 BN）すごい。
• 　BNなしで学習失敗した学習率より一桁大きい値でも、BNありだと学習が進む。

ReLU での挙動

NNの構成とパラメータ

• 乱数種値は 20170523 固定
• 学習率３つで比較。「学習が失敗する場合」と 「順調に進む場合」 と その中間　「なんか調子悪い」 とで比較する。
• ミニバッチ600回 (1 epoche) 期間での測定。
• 「①学習時正解率」は、学習時の正解率。　横軸はミニバッチ回数、縦軸は正解率。グラフは上に行くほど良く正解率が高い。
• 「②層２ Weight」は、層２の10個のパーセプトロンへのweight(10個) の平均値の推移のグラフ。横軸はミニバッチ回数、縦軸はWeight値。振動していれば学習の進行中で、横線(振動がない)状態はdying 状態。　
• 「③層２ Bias」は、層２の10個のパーセプトロンへの Bias 値の推移のグラフ。横軸はミニバッチ回数、縦軸はBiasの値。
• 「④層１ Weight]は、層１の64個のパーセプトロン中の10個に注目し、各注目パーセプトロンへのWeight(768個)の平均値の推移のグラフ。横軸はミニバッチ回数、縦軸はWeight値。振動していれば学習の進行中で、横線(振動がない)状態はdying 状態。
• 「⑤層１ Bias」は、④で注目したパーセプトロンへの Bias 値の推移のグラフ。横軸はミニバッチ回数、縦軸はBiasの値。

グラフ

(クリックすると拡大します)

学習率	0.05	0.01	0.001
備考	全滅	約半数がdying	順調
①学習時正解率
②層2 Weight
③層2 Bias
④層1 Weight
⑤層1 Bias

グラフから読み取ったこと

• 学習率 0.05 の時には 全数が、学習率 0.01 の時には半数が、無反応のパーセプトロン(dying ReLU)と化している。
• Bias と Weight がともに負に振れる→ReLUでの活性化がなくなる→逆伝播もなくなる→変化がなくなる（dying）。の過程が見えた。

Leaky ReLU

NNの構成とパラメータ

• 乱数種値は 20170523 固定
• 学習率３つで比較。「値が発散して失敗する場合」と その近傍で「ギリギリ発散しない値」 と 「順調に学習が進む」 とで比較する。
• ミニバッチ600回 (1 epoche) 期間での測定。
• ②と④ の 学習率 0.057 のグラフの縦軸は 対数。（対数グラフには絶対値をプロット）
• 他は ReLU の場合と同じ。

グラフ

学習率	0.057	0.056	0.001
備考	発散	きわどい	順調
①学習時正解率
②層2 Weight
③層2 Bias
④層1 Weight
⑤層1 Bias

• 学習率0.057 は、ミニバッチ回数350以降は 無効数値(nan)化し、無意味な計算をおこなっている。

グラフから読み取ったこと

• Bias と Weight が負に振れた後も、負側でも逆伝播はあり、値は変化していっている。
• 学習率0.057 の層１にて、Bias と Weight が 正負を繰り返しながら発散する状況が見れた。
• あるパーセプトロンで発散が始まると、他のパーセプトロンにも影響あたえ発散させていく。

Batch Normalization + ReLU

NNの構成とパラメータ

• 乱数種値は 20170523 固定
• 学習率３つで比較。「ReLUで学習失敗した値」と それより10倍大きい「無茶そうな値」 と 「順調に学習が進みそうな値」を用いる。
• 他は、ReLUの時と同様。

グラフ

学習率	0.5	0.05	0.01
①学習時正解率
②層2 Weight
③層2 Bias
④層1 Weight
⑤層1 Bias

グラフから読み取ったこと

(Batch Normarizationについては このリンク先の記事も参考になれば幸いです ）

• 学習率 0.5 (ReLU で 学習失敗を確認した値の10倍）でも、学習は進んでいるように見える。
• 　BN は順伝播時には、正規化した値を次層に伝達する。 　
• 　BNは逆伝播も平均を0にする→ ΔBiasは逆伝播の合計のため0になる → Bias 変動なし。
• 　↑の特性により、発散しにくく、WeightとBiasがそろって負に偏ることもなりにくく、大きい学習率でも、学習が進むみたい。