点击上方↑↑↑“OpenCV学堂”关注我
来源：公众号 机器之心 授权
神经网络的 debug 过程着实不容易，这里是一些有所帮助的 tips。
数值计算每个权重的梯度。这通常被称为「梯度检查」，有助于确保正确计算梯度，其中一种方法是使用有限差分。
比较每个权重的大小和梯度的大小。要确保大小的比率是合理的。如果梯度大小远小于权重大小，网络将花费很长时间进行训练。如果梯度大小与权重大小大致相同或更大，网络将非常不稳定，可能根本不会训练。
检查梯度爆炸或消失。如果梯度变为 0 或 nan/infinity，则可以确定网络没有被正确训练。需要首先弄清楚为什么会发生爆炸 / 消失梯度，是否步数太大。一旦弄清楚梯度爆炸 / 消失的原因，就有各种解决方案来解决这个问题，例如添加残差连接以更好地传播梯度或简单地使用较小的网络。
激活函数也会导致梯度爆炸 / 消失。如果 sigmoid 激活函数的输入太大，梯度将非常接近 0。随着时间的推移检查激活函数的输入，然后确保这些输入不会导致梯度始终为 0 或很大。
