梯度更新規則:
超參數設定值:
建議
示例一
示例二
示例三
上面情況都可以看出，Adagrad, Adadelta, RMSprop 幾乎很快就找到了正確的方向并前進，收斂速度也相當快，而其它方法要么很慢，要么走了很多彎路才找到。
由圖可知自適應學習率方法即 Adagrad, Adadelta, RMSprop, Adam 在這種情景下會更合適而且收斂性更好。
如果數據是稀疏的，就用自適用方法，即 Adagrad, Adadelta, RMSprop, Adam。
RMSprop, Adadelta, Adam 在很多情況下的效果是相似的。
Adam 就是在 RMSprop 的基礎上加了 bias-買粉絲rrection 和 momentum，
隨著梯度變的稀疏，Adam 比 RMSprop 效果會好。
整體來講，Adam 是最好的選擇。
很多論文里都會用 SGD，沒有 momentum 等。SGD 雖然能達到極小值，但是比其它算法用的時間長，而且可能會被困在鞍點。
如果需要更快的收斂，或者是訓練更深更復雜的神經網絡，需要用一種自適應的算法。
各種優化器Optimizer原理：從SGD到AdamOptimizer
深度學習——優化器算法Optimizer詳解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）
能用了，貢獻率80%以上就好了。
迭代次數可以根據樣本量調整，如果本身很小，你可以設置的少一些，可以加快運算時間，而且次數多的話，后面的迭代也沒有什么變化。如果樣本量大，就可以增大迭代次數，獲得更好的擬合效果。