首頁  技術文章  梯度下降

梯度下降

發(fā)布時間:2024-11-26 11:11:49 瀏覽量:76 作者:Paul

正文


梯度下降


梯度下降


梯度下降算法的目的税课,是為了尋找一個曲面的zui低點闲延。例如當知道某個平面的表達式后,便可以知道每個點的梯度伯复,如果從一個初始點開始慨代,根據梯度方向往zui小值的方向移動邢笙,直到達到非常小的誤差后啸如,便是zui終的結果。文章以一個一維梯度和一個二維梯度下降氮惯,演示兩個過程叮雳。


一維梯度下降


以一個非常常見的二次函數為例



根據上述公式,求解zui小值的位置應該位于梯度為零處妇汗,即0.75



如果假設初始位置位于x=1.8帘不,每次步進,那么下一個



的時候杨箭,經過不斷迭代后寞焙,zui終趨向于整個曲線的zui小值。虛線是根據公式得到的圖標互婿,彩色點表示經過迭代得到的結果



隨著不斷迭代捣郊,坐標x也去向與-3/2,這也是方程zui低值的坐標



時慈参,他是經過不斷震蕩后趨向穩(wěn)定之的




但是繼續(xù)增大呛牲,整個方程無法去向穩(wěn)定



二維梯度下降


同樣是先假設一個面,從面的某一個點開始驮配,利用梯度下降算法尋找zui低點娘扩。zui低點坐標位于(0, 0)着茸,且zui低值為0




為了更加清楚的展示曲面,采用等高線來描述整個立體曲面



根據梯度算法琐旁,坐標更新方程為



經過20此迭代后涮阔,zui終坐標趨向于

zui小值所在的點位置。下圖中的彩色點旋膳,即表示每一次迭代后澎语,坐標的更新情況。


二維梯度下降例子2


新的一個方程



形狀如下方兩張圖所示




兩個方向都是零點的位置验懊,位于{{x->0,y->0}}擅羞,對應的值為0。



可以看出义图,在梯度為零的點并不是zui小值减俏,可以在其他地方找到更小的地方。因為這張圖是馬鞍形狀碱工,原點位置屬于鞍點娃承, 并不是zui值或者ji小值。

接著嘗試使用梯度下降的方法尋找zui小值怕篷,首先是坐標更新方程為



下圖中的淺綠色历筝,代方向的箭頭表示的是整個方程梯度的方向。彩色線條表示梯度下降算法計算的路徑廊谓,初始位置位于(-55梳猪,-75),經過多次迭代后蒸痹,相乘的路徑春弥。因為他是按照梯度下降的路徑虛招方向,所以整體路徑和梯度形成的曲線是幾乎一致的叠荠。



二維梯度梯度例子2


舉一個更加復雜的例子


圖中可以看出匿沛,整張圖包含多個極值



從他的梯度圖中也可以觀察到,存在多個匯聚和發(fā)散的中心點



修改方程榛鼎,通過梯度下降尋找周邊zui大值逃呼。并且觀察不同的初始值,找到的結果可能是局部的極值者娱,但是并沒有找到真正的zui值抡笼。



更多詳情請聯系昊量光電/歡迎直接聯系昊量光電

關于昊量光電:

上海昊量光電設備有限公司是光電產品專業(yè)代理商,產品包括各類激光器肺然、光電調制器蔫缸、光學測量設備、光學元件等际起,涉及應用涵蓋了材料加工拾碌、光通訊吐葱、生物醫(yī)療、科學研究校翔、國防弟跑、量子光學、生物顯微防症、物聯傳感孟辑、激光制造等;可為客戶提供完整的設備安裝蔫敲,培訓饲嗽,硬件開發(fā),軟件開發(fā)奈嘿,系統集成等服務貌虾。

您可以通過我們昊量光電的官方網站www.wjjzl.com了解更多的產品信息,或直接來電咨詢4006-888-532裙犹。

国产福利姬视频在线观看,国产原创激情在线观看网站,亚洲欧美日韩激色国产精品,日韩精品亚洲国产