深度学习强化学习：Q学习和策略梯度的基本概念 #生活技巧# #学习技巧# #深度学习技巧#
最新推荐文章于 2024-12-30 19:10:51 发布
声纳咸鱼の声学实验室 于 2017-12-15 10:00:29 发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文探讨了梯度下降法在机器学习和深度学习中的应用，用于找到误差函数的最小值。讨论了在高维和低维问题中的适用性，以及一维和多维情况下的求解策略。在算法实现中，介绍了初始化、步长选择和调优等关键步骤，并分析了梯度下降可能遇到的局部极小值和鞍点问题，提出了包括随机梯度下降、动量法和优化起点调整在内的解决方案。同时，还提及了梯度计算、梯度消失与爆炸现象及对应的缓解措施，并对比了梯度下降法与牛顿法的差异。
摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >
展开
找到某个函数的极小值或最小值
二、解决问题的类型高维，>1000维
纬度低，数据量小的情况下选择最小二乘法
三、找误差函数的最小值一维情况：导数为0的点为最小值点（凸函数）或极小值点（非凸）
多维情况：就是求偏导数，以向量的形式表示。
导数为负的时候增加自变量
导数为正的时候减小自变量
直到导数接近于0
初始化：权重w1、w2、…wn；终止距离e；步长a
1、计算当前位置的损失函数的梯度G
2、计算距离=步长a*梯度G
3、判断当前距离是否小于终止距离e
4、不满足3时更新w，直到满足。更新规则：wi=wi-a*梯度
调优步长的选择
初始值的选择
归一化处理
梯度下降网址：深度学习中的梯度下降策略与优化 https://www.yuejiaxmz.com/news/view/974063
