“呼~终于把离散梯度的公式搞懂了!”克露丝卡尔酱伸了个懒腰,面前的笔记本上画满了网格。
坐在旁边的同学探过头来:“克露丝卡尔酱还在研究那个梯度下降问题吗?”
“嗯嗯!我在想,怎么在保证找到最小值的前提下让算法跑得快一点呢?”克露丝卡尔酱歪着头,露出困惑的表情。
“啊,那不就是要求最大学习率吗?不过还要考虑边界情况呢。”同学随口说道。
克露丝卡尔酱眼睛一亮:“对呀!让我们来算算吧~”
对于网格标量场 ,按以下方式定义 处的离散梯度:
若 位于网格边界,则相应地只计算单侧差分,并且不需要除以 ,例如对于 的点:。
使用如下的梯度下降算法寻找网格中的最小值:
其中 称为学习率,为了保证步长总为整数,需要保证 为偶数。若梯度下降过程中坐标超出了网格范围,则直接结束。
给定 尺寸的网格标量场以及初始坐标(保证初始坐标不是全局最小值),在能够找到全局最小值的前提下,学习率最大可以设置为多少?
只要在梯度下降过程中经过了取到全局最小值的位置,即视为找到了全局最小值。