交叉熵
交叉熵
zui小二乘
假設一個Sigmod函數(shù)，初始權重為0.6醉箕，偏置0.9钾腺，輸入目標為1徙垫， 輸出目標等于0。通過zui小二乘求解合適的權重和偏置放棒，求解方法為梯度下降法姻报，學習率
帶入初始值后目標輸出為0.817574。
根據(jù)zui小二乘的定義间螟，定義函數(shù)f吴旋，并將其命名為評價函數(shù)。因此函數(shù)f的3D形狀
沿著45°方向厢破，上述方程截面分布
觀察其梯度分布荣瑟，整體指向左下角，并且兩側變換緩慢溉奕，中間變化快褂傀。因此，如果初始值在右上角加勤，梯度下降的過程是一個先慢后快在變慢的過程仙辟。如果初始值在左下角，迭代過程會緩慢的進入平穩(wěn)的狀態(tài)
首先仍舊是以初始值(0.6, 0.9）開始鳄梅，正好位于梯度下降的斜坡
如果將初始值移動到右上方叠国，假設為(2.5, 2.5)，那么迭代過程會出現(xiàn)先慢后快戴尸，在趨向于穩(wěn)定的過程粟焊。
zui后如果初始值位于左下角，假設是（-2.5孙蒙， -2.5）
交叉熵
因為評價函數(shù)整體是一個兩邊平緩项棠，中間陡峭的過程，導致梯度下降緩慢挎峦。因此引入新的評價函數(shù)：交叉熵代價函數(shù)
n是數(shù)據(jù)總量香追，x是輸入，y是目標輸出坦胶，a是對應函數(shù)透典。
通過以下3D圖形和梯度圖可知，整個函數(shù)zui終趨向于點(0.5,0.5）顿苇，表明當a和y的分布是相同的時候峭咒，真?zhèn)€函數(shù)趨向于zui低點。因此使用交叉熵代價函數(shù)可以替代zui小二乘法生成的函數(shù)纪岁。
將Sigmod函數(shù)帶入其中交叉熵代價函數(shù)凑队，因此函數(shù)c定義為
如果按照梯度下降方法求解函數(shù)c，找到的必定是zui小值幔翰，或者說是梯度為零的位置
因此當
時顽决，他的zui優(yōu)解
交叉熵
仍舊是以輸入為1短条，輸出為0作為基礎，初始點為(0.6, 0.9）才菠，學習率\[Eta]=0.15為條件茸时，尋找合適的權重和偏置
觀察其梯度分布，右上角分布陡峭赋访，右下角分布平緩可都。
拖過下述的幾個例子看出，交叉熵可以更快的接近目標值蚓耽。
了解更多詳情渠牲，請訪問上海昊量光電的官方網(wǎng)頁：
http://www.wjjzl.com/three-level-46.html
更多詳情請聯(lián)系昊量光電/歡迎直接聯(lián)系昊量光電
關于昊量光電：
上海昊量光電設備有限公司是光電產(chǎn)品專業(yè)代理商，產(chǎn)品包括各類激光器步悠、光電調(diào)制器签杈、光學測量設備、光學元件等鼎兽，涉及應用涵蓋了材料加工答姥、光通訊、生物醫(yī)療谚咬、科學研究鹦付、國防、量子光學择卦、生物顯微敲长、物聯(lián)傳感、激光制造等秉继；可為客戶提供完整的設備安裝祈噪，培訓，硬件開發(fā)尚辑，軟件開發(fā)辑鲤，系統(tǒng)集成等服務。
您可以通過我們昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息腌巾，或直接來電咨詢4006-888-532。
展示全部 
