解决过拟合的小技巧
本帖最后由 jabecker 于 2021-4-20 17:08 编辑深度学习中过拟合问题很普遍，深层神经网络，cnn，rnn（LSTM）
推荐一些可以解决过拟合问题的小技巧，自己也在用，顺便记录。
### 解决过拟合问题
- 添加更多的数据。这是首选，但数据量总不尽人意
- 使用归一化层，（e.g. 批归一化，层归一化）
- 考虑数据增强
- 增加正则化（e.g. dropout，L2）
- 分析一下高错误率的原因，考虑一下是不是自己代码有问题
- 选择一个比较复杂的模型，比如那些达到stata-of-the-art 的模型
- 调参，虽然刚开始就在调，但建议还是做了之前的几个步骤再开始大规模地调参数，再说现在tensorflow，pytorch……之类的框架中的默认参数已经很好了
- 提前停止（不好用）
- 减少特征（不好用）
- 减少模型的参数量，缩小模型尺寸(不好用）
https://static.52pojie.cn/static/image/hrline/5.gif
参考了伯克利CS194 贴出实验代码和数据图形说明效果更好，说不定能收获更多人热心 默认参数可以将就用用，下降的够快了 出个示例图吧, 这就很抽象了。
页:
[1]