梯度下降
梯度下降
梯度下降
梯度下降算法的目的税课,是為了尋找一個曲面的zui低點闲延。例如當知道某個平面的表達式后,便可以知道每個點的梯度伯复,如果從一個初始點開始慨代,根據梯度方向往zui小值的方向移動邢笙,直到達到非常小的誤差后啸如,便是zui終的結果。文章以一個一維梯度和一個二維梯度下降氮惯,演示兩個過程叮雳。
一維梯度下降
以一個非常常見的二次函數為例
根據上述公式,求解zui小值的位置應該位于梯度為零處妇汗,即0.75
如果假設初始位置位于x=1.8帘不,每次步進,那么下一個
當的時候杨箭,經過不斷迭代后寞焙,zui終趨向于整個曲線的zui小值。虛線是根據公式得到的圖標互婿,彩色點表示經過迭代得到的結果
隨著不斷迭代捣郊,坐標x也去向與-3/2,這也是方程zui低值的坐標
當時慈参,他是經過不斷震蕩后趨向穩(wěn)定之的
但是繼續(xù)增大呛牲,整個方程無法去向穩(wěn)定
二維梯度下降
同樣是先假設一個面,從面的某一個點開始驮配,利用梯度下降算法尋找zui低點娘扩。zui低點坐標位于(0, 0)着茸,且zui低值為0
為了更加清楚的展示曲面,采用等高線來描述整個立體曲面
根據梯度算法琐旁,坐標更新方程為
經過20此迭代后涮阔,zui終坐標趨向于
zui小值所在的點位置。下圖中的彩色點旋膳,即表示每一次迭代后澎语,坐標的更新情況。
二維梯度下降例子2
新的一個方程
形狀如下方兩張圖所示
兩個方向都是零點的位置验懊,位于{{x->0,y->0}}擅羞,對應的值為0。
可以看出义图,在梯度為零的點并不是zui小值减俏,可以在其他地方找到更小的地方。因為這張圖是馬鞍形狀碱工,原點位置屬于鞍點娃承, 并不是zui值或者ji小值。
接著嘗試使用梯度下降的方法尋找zui小值怕篷,首先是坐標更新方程為
下圖中的淺綠色历筝,代方向的箭頭表示的是整個方程梯度的方向。彩色線條表示梯度下降算法計算的路徑廊谓,初始位置位于(-55梳猪,-75),經過多次迭代后蒸痹,相乘的路徑春弥。因為他是按照梯度下降的路徑虛招方向,所以整體路徑和梯度形成的曲線是幾乎一致的叠荠。
二維梯度梯度例子2
舉一個更加復雜的例子
圖中可以看出匿沛,整張圖包含多個極值
從他的梯度圖中也可以觀察到,存在多個匯聚和發(fā)散的中心點
修改方程榛鼎,通過梯度下降尋找周邊zui大值逃呼。并且觀察不同的初始值,找到的結果可能是局部的極值者娱,但是并沒有找到真正的zui值抡笼。
關于昊量光電:
上海昊量光電設備有限公司是光電產品專業(yè)代理商,產品包括各類激光器肺然、光電調制器蔫缸、光學測量設備、光學元件等际起,涉及應用涵蓋了材料加工拾碌、光通訊吐葱、生物醫(yī)療、科學研究校翔、國防弟跑、量子光學、生物顯微防症、物聯傳感孟辑、激光制造等;可為客戶提供完整的設備安裝蔫敲,培訓饲嗽,硬件開發(fā),軟件開發(fā)奈嘿,系統集成等服務貌虾。
您可以通過我們昊量光電的官方網站www.wjjzl.com了解更多的產品信息,或直接來電咨詢4006-888-532裙犹。
展示全部