神經(jīng)網(wǎng)絡優(yōu)化算法與《最優(yōu)化方法》課程教學融合研究

　　摘 要: 近年來，人工智能在學術(shù)界和工業(yè)界都取得了極大的成功，這正是由于深度神經(jīng)網(wǎng)絡在最近十年內(nèi)的飛速發(fā)展。神經(jīng)網(wǎng)絡模型的目標就是最優(yōu)化，對一個復雜的問題中作出最優(yōu)決策。幾乎所有的神經(jīng)網(wǎng)絡模型都可以建模為一個優(yōu)化問題。本文就求解神經(jīng)網(wǎng)絡模型過程中涉及的優(yōu)化算法進行總結(jié)，并對《最優(yōu)化方法》課程教學內(nèi)容進行了探索。通過將神經(jīng)網(wǎng)絡模型及其優(yōu)化算法與《最優(yōu)化方法》課程教學融合，使學生熟悉并掌握其原理和優(yōu)化求解方法，具備更強的核心競爭力。

　　關鍵詞: 人工智能; 最優(yōu)化方法; 神經(jīng)網(wǎng)絡

　　孫杰寶; 楊暢; 吳勃英 科技風 2022-01-24

　　一、概述

　　隨著人工智能的不斷發(fā)展和在社會各個領域應用的不斷深入，人們逐漸切實領略到其改變?nèi)祟惿罘绞降臐摿Α嶋H中，存在很多對人類來說較為容易，但卻難以通過數(shù)學公式表達的問題，如語音識別、人臉識別。人往往能夠通過經(jīng)驗輕松地處理這些問題。由于深度神經(jīng)網(wǎng)絡能夠從大量的樣本中提取內(nèi)在的語義特征、學習經(jīng)驗并做出決策，其在處理這類的任務方面有著出色的表現(xiàn)。神經(jīng)網(wǎng)絡模型是目前人工智能中表現(xiàn)最為優(yōu)秀的算法之一。

　　優(yōu)化算法需要大量的數(shù)值計算，通常情況下是指通過迭代過程更新解的估計值來解決數(shù)學問題的算法。最優(yōu)化方法[1]在這個訓練學習的過程中起著重要的作用，是求解模型的關鍵。作為人工智能實現(xiàn)模塊的核心工具之一，學習并掌握一定的優(yōu)化算法的重要性也日趨顯著。教育的變革不應當僅僅局限于教學方法探索方面，更應該緊跟國家發(fā)展的戰(zhàn)略與方向，與時俱進提出新的教學理念，緊跟科學發(fā)展更新教學內(nèi)容，從而精準地定位培養(yǎng)目標。社會發(fā)展是課程改革和教育發(fā)展的原動力。對當代教育來說更應該培養(yǎng)學生在掌握專業(yè)知識的同時，具備將所學知識應用到我國發(fā)展中所面臨的實際問題的能力。因此，最優(yōu)化方法的課程內(nèi)容如何與當前社會實際應用相匹配、如何體現(xiàn)本課程特色、如何滿足當前社會與行業(yè)的人才需求等問題一直是教學工作中需要關注和思考的問題。

　　二、課程教學改革的必要性

　　在 21 世紀，在物聯(lián)網(wǎng)技術(shù)高速發(fā)展的同時，如何培養(yǎng)同時具備理論分析和實踐應用的創(chuàng)新性人才是極為重要的。這也是最優(yōu)化方法課程改革不可避免要面對的問題。

　　隨著互聯(lián)網(wǎng)與計算機硬件的不斷發(fā)展，近 20 年來，各行各業(yè)都積累了大量的數(shù)據(jù)。人類對數(shù)據(jù)的采集、存儲、傳輸及處理能力飛速提升。因此，亟須有效的數(shù)據(jù)分析算法來合理利用這些數(shù)據(jù)。機器學習[2]恰巧滿足了處理海量數(shù)據(jù)的迫切需求。實際上，科學研究的模式方法由傳統(tǒng)的“理論+實踐”到如今的“理論+實驗+計算”，以至近年來流行的“數(shù)據(jù)科學”，機器學習扮演著越來越重要的角色。數(shù)據(jù)科學的核心是通過對數(shù)據(jù)進行分析從而獲取有價值的信息，數(shù)據(jù)分析是以“計算”為依托的。現(xiàn)如今，在多媒體、圖形學以及網(wǎng)絡通信、軟件工程，甚至芯片設計、體系結(jié)構(gòu)等計算機學科的分支領域中，機器學習的身影無處不在。此外，機器學習已經(jīng)成為推動計算機視覺、自然語言處理等計算機應用技術(shù)領域向前發(fā)展最重要的動力源泉。

　　人工智能的目標就是最優(yōu)化，在一個復雜的環(huán)境中做出最優(yōu)決策，幾乎所有的人工智能問題都可以建模為一個優(yōu)化問題。最優(yōu)化理論可以判定人工智能目標函數(shù)的最大值、最小值是否存在，并且可以尋找到滿足最優(yōu)目標的數(shù)值。機器學習算法在人工智能領域中扮演著至關重要的角色，是人工智能中的核心技術(shù)，將其引入最優(yōu)化課程中，在拓寬學生知識面的同時還能夠讓學生掌握最先進的科學技術(shù)，從而提高學生在就業(yè)中的競爭力。在本科生、研究生教學中，引導學生思考、探索最前沿的科學問題是一項重要的任務。數(shù)值優(yōu)化算法是機器學習求解的基本策略，所以將其相融合是一個很自然的想法。這恰恰為學生創(chuàng)新能力的培養(yǎng)提供了素材。鑒于此，將人工智能中的神經(jīng)網(wǎng)絡模型引入《最優(yōu)化方法》課程是非常有必要的。

　　如何將最優(yōu)化方法中被廣泛應用的一些工具性算法與其嚴謹又抽象的數(shù)學理論相結(jié)合，是廣大數(shù)學教育工作者堅持不懈的目標。這種結(jié)合一方面可以使得學生接受嚴格數(shù)學理論的熏陶，培養(yǎng)嚴謹?shù)臄?shù)學思維，同時又能夠熟練掌握相應的計算方法，為后續(xù)課程的學習與科學研究奠定基礎[4-6]。當前的最優(yōu)化方法課程教學內(nèi)容主要包括傳統(tǒng)的凸優(yōu)化算法的基本概念、基本理論、基本方法和基本算法，其重點是理論基礎和基本技術(shù)，尚未包含人工智能的相關內(nèi)容。因此，有必要從求解神經(jīng)網(wǎng)絡模型的角度對最優(yōu)化方法課程教學內(nèi)容進行更新探索。

　　三、神經(jīng)網(wǎng)絡中的優(yōu)化教學內(nèi)容探索

　　神經(jīng)網(wǎng)絡模型是目前最具代表性的人工智能算法。人工智能的目標就是最優(yōu)化: 在復雜環(huán)境與多體交互中做出最優(yōu)決策。幾乎所有的人工智能問題最后都會歸結(jié)為一個優(yōu)化問題的求解，因而最優(yōu)化理論與方法是人工智能必備的基礎知識。深度學習[3]優(yōu)化算法與純優(yōu)化算法最大的區(qū)別在于目標不同。純優(yōu)化是找到優(yōu)化問題的最優(yōu)解，比如能量最小點，但是深度學習其實只是借用了純優(yōu)化的手段，最終的目的是讓模型的泛化誤差最小。深度學習優(yōu)化算法有很多，例如: SGD( 隨機梯度下降法) 、動量方法、Adagrad 自適應學習率調(diào)整方法、Adam、Nadam 等。下面首先介紹神經(jīng)網(wǎng)絡模型，再介紹求解神經(jīng)網(wǎng)絡模型過程中經(jīng)常使用的優(yōu)化算法: 梯度下降法。

　　( 一) 神經(jīng)網(wǎng)絡[2]

　　神經(jīng)網(wǎng)絡模型: 假設有訓練樣本集 xi ，yi ( ) :

　　上圖所示為一個神經(jīng)元，其輸出 hW，b ( x) = f WT ( )x = f ∑3 i= 1Wixi ( ) +b ，其中 Wi 和 b 為待訓練的系數(shù)，f: R→R 為給定的“激活函數(shù)”。訓練神經(jīng)元就是將給定的數(shù)據(jù)集 xi ，yi ( ) 代入上述神經(jīng)元模型中，通過給定的損失函數(shù)關于其中的系數(shù) Wi 和 b 進行泛函最小化求解。神經(jīng)網(wǎng)絡的結(jié)構(gòu)如下圖所示:

　　這里的藍色圓圈表示輸入，“+1”代表偏置節(jié)點，即截距。上圖中最左邊一列為輸入層，最右邊一列為輸出層 ( 本文上例中輸出層為單一節(jié)點) 。中間的部分稱為隱藏層，這是由于中間的隱藏層是通過輸入層與損失函數(shù)數(shù)據(jù)計算得來的，其具體的值并不能直接觀察得到。下面本文給出一些記號。nl 為神經(jīng)網(wǎng)絡的層數(shù)( 上例中 nl = 3) ，Ll 表示網(wǎng)絡的第 l 層( L1 為輸入層，Lnl 為輸出層) ，待訓練的網(wǎng)絡參數(shù)記為 W，b。在 上 例 中 ( ) W，b = W( 1) ，b( 1) ，W( 2) ，b( 2) ( ) ，其 中 W( l) ij ，l = 1，2，( W( 1) ∈ R3×3 ， W( 2) ∈R1×3 ) 為第 l 層中第 j 個神經(jīng)元與第 l+1 層第 i 個神經(jīng)元聯(lián)結(jié)的參數(shù)，即上圖中連線的權(quán)重; b( l) i 是第 l+1 層中第 i 個神經(jīng)元的偏置。上例神經(jīng)網(wǎng)絡結(jié)構(gòu)的前向傳播為: a( 2) 1 = f W( 1) 11 x1+W( 1) 12 x2+W( 1) 13 x3+b( 1) 1 ( ) a( 2) 2 = f W( 1) 21 x1+W( 1) 22 x2+W( 1) 23 x3+b( 1) 2 ( ) a( 2) 3 = f W( 1) 31 x1+W( 1) 32 x2+W( 1) 33 x3+b( 1) 3 ( ) hW，b( x) = a( 3) 1 = f W( 2) 11 a( 2) 1 +W( 2) 12 a( 2) 2 +W( 2) 13 a( 2) 3 +b( 2) 1 ( ) 其中 a( l) i 表示 l 層第 i 個神經(jīng)元的激活值，且 a( l) i = xi， l = 1。使用 z ( l) i 表示第 l 層第 i 個單元的輸入加權(quán)和，即: z ( 2) i =∑n j= 1W( 1) ij xj +b( 1) i 則上述神經(jīng)網(wǎng)絡計算過程可重新表示為: z ( 2) = W( 1) x+b( 1) a( 2) = f z ( 1) ( ) z ( 3) = W( 2) a( 2) +b( 2) hW，b( x) = a( 3) = f z ( 3) ( )

　　( 二) 反向傳播與梯度下降法[2]

　　這部分，本文介紹如何通過反向傳播與梯度下降法求解神經(jīng)網(wǎng)絡的參數(shù)( W，b) 。首先，設樣本集為: x( 1) ，y ( 1) ( ) ，…，x( m) ，y ( m) ( ){ } 其為 m 個樣例構(gòu)成的集合，x 為神經(jīng)網(wǎng)絡的輸入，y 為期望的輸出值。對于單個( x，y) ，本文研究的損失函數(shù)為: J( ) W，b; x，y = 1 2 ‖hW，b( x) -y‖2 對于包含 m 個樣例的數(shù)據(jù)集，整體的損失函數(shù)為: J( W，b) = 1 m ∑ m i= 1 J W，b; x( i) ，y ( i) ( ) [ ] + λ 2 ∑ nl -1 l= 1 ∑ s l i= 1 ∑ s l -1 j= 1 W( l) ji ( ) 2 = 1 m ∑ m i= 1 1 2 ‖hW，b( x( i) ) -y ( i) ‖2 ( )[ ] + λ 2 ∑ nl -1 l= 1 ∑ s l i= 1 ∑ s l -1 j= 1 W( l) ji ( ) 2 為了防止過擬合，增加上式中的正則化項( 第二項) 來降低權(quán)重的值。針對上述損失函數(shù)，梯度下降法為按照下列公式更新參數(shù) W 和 b: W( l) ij =W( l) ij -α W( l) ij J( W，b) b( l) i = b( l) i -α b( l) i J( W，b) 這里 α 是學習速率。關于初始化，將參數(shù) W( l) ij 和 b( l) i 初始化為趨近于零的隨機值( 如正態(tài)分布 N( 0，ε2 ) 生成的隨機值，可以設置 ε 為 0.01) 。梯度下降法中一個重要的步驟為計算關于 W 和 b 的偏導數(shù)。由于神經(jīng)網(wǎng)絡結(jié)構(gòu)的特殊性，可以使用反向傳播來計算針對單個樣本的偏導數(shù)W( l) ij J( ) W，b; x，y 和 b( l) i J( ) W，b; x，y ，進而得到整體損失函數(shù) J( W，b) 的偏導數(shù): W( l) ij J( W，b) = 1 m ∑ m i= 1 W( l) ij J( W，b; x( i) ，y ( i) ) [ ] +λW( l) ij b( l) i J( W，b) = 1 m ∑ m i= 1 b( l) i J( W，b; x( i) ，y ( i) ) [ ]

　　反向傳播的主要思路為給定樣本( x，y) ，首先進行“前向傳播”得到神經(jīng)網(wǎng)絡中所有的激活值以及神經(jīng)網(wǎng)絡最后的輸出值 hW，b ( x) 。然后，對每層的每個節(jié)點計算殘差 δ ( l) i ，其表示此節(jié)點對最終神經(jīng)網(wǎng)絡的輸出值的殘差的影響。對于殘差，首先可直接算出神經(jīng)網(wǎng)絡輸出與實際真實值之間的差，并記其為 δ ( nl ) i 。然后依次從后往前，可以計算出中間隱藏單元的殘差。具體的細節(jié)為: ( 1) 根據(jù)前向傳導公式，依次得到 L2，L3，…，Lnl 層的激活值。 ( 2) 對輸出層( 第 nl 層) 的每個輸出單元 i，殘差計算公式為: δ ( nl ) i = z ( nl ) i 1 2 ‖y-hW，b( x) ‖2 = - yi-a( nl ) i ( ) ·f' z ( nl ) i ( ) ( 3) 對 l = nl-1，nl-2，nl-3，…，2 層第 i 個節(jié)點，殘差的計算公式為: δ ( l) i = ∑ s l +1 j= 1 W( l) ji δ ( l+1) j ( ) ·f' z ( l) i ( ) ( 4) 計算 W( l) ij J( ) W，b; x，y 與 b( l) i J( ) W，b; x，y ，具體公式為: W( l) ij J( ) W，b; x，y = a( l) j δ ( l+1) i b( l) i J( ) W，b; x，y = δ ( l+1)

　　上述的計算過程可以表示為矩陣運算的形式。本文使用符號“·”來表示向量阿達瑪乘積( 若 a = b·c，則 ai = bici ) 。具體的反向傳導矩陣運算步驟為: ( 1) 根據(jù)前向傳導公式，依次得到 L2，L3，…，Lnl 層的激活值。 ( 2) 對輸出層( 第 nl 層) ，殘差計算公式為: δ ( nl ) = - y-a( nl ) ( ) ·f' z ( nl ) ( ) ( 3) 對 l = nl - 1，nl - 2，nl - 3，…，2 層，殘差的計算公式為: δ ( l) = W( l) ( ) T δ ( l+1) ( ) ·f' z ( l) ( ) ( 4) 計算所需的偏導數(shù)，具體公式為: #W( l) J( ) W，b; x，y = δ ( l+1) a( l) ( ) T #b( l) J( ) W，b; x，y = δ ( l+1) 下面，梯度下降法中的一次迭代過程可以總結(jié)為: ( 1) 對所有的 l，令 ΔW( l) : = 0，Δb( l) : = 0。 ( 2) 對 i = 1…m， ①反向傳播算法計算#W( l) J( W，b; x，y) 和#b( l) J( W，b; x，y) ; ②計算 ΔW( l) : =ΔW( l) +#W( l) J( ) W，b; x，y ; ③計算 Δb( l) : =Δb( l) +#b( l) J( ) W，b; x，y 。 ( 3) 更新權(quán)重 W 和 b: W( l) = W( l) -α 1 m ΔW( l) ( ) +λW( l) [ ] b( l) = b( l) -α 1 m Δb( l) [ ] 通過梯度下降法迭代過程，減小代價函數(shù) J( W，b) ，得到最優(yōu)的參數(shù) W 和 b。

　　結(jié)論

　　“人工智能”不僅是一項科學技術(shù)，更是一種可以認識當下萬事萬物的思維方式。本文基于應用這樣的認知邏輯到實際問題中，從教育的角度出發(fā)，將人工智能中的神經(jīng)網(wǎng)絡算法求解融入最優(yōu)化方法課程內(nèi)容當中。希望把握國家發(fā)展戰(zhàn)略與教育變革發(fā)展方向，探索實現(xiàn)教育變革的路徑，使得學校教育緊跟時代發(fā)展的步調(diào)與方向。此外，當前機器學習取得的一系列優(yōu)秀成果使得其被廣泛應用到各行各業(yè)，機器已經(jīng)開始取代一些器械重復性的工作。在此趨勢之下，學生對于神經(jīng)網(wǎng)絡原理與最優(yōu)化方法的學習與掌握將極大地提高其在就業(yè)市場的核心競爭力。《最優(yōu)化方法》改革建議: 在向同學們講解一般的優(yōu)化方法的同時，也介紹一些神經(jīng)網(wǎng)絡優(yōu)化中出現(xiàn)的問題及一般的解決辦法。同時將神經(jīng)網(wǎng)絡優(yōu)化中的實際問題提煉出來交給學生去做，讓學生通過查閱文獻、交流討論、編程實現(xiàn)來解決實際問題并對其中的問題做相應的理論分析。這不僅能夠使得教學內(nèi)容與時俱進，提高學生對最優(yōu)化方法的理解，同時也能鍛煉學生查閱資料、合作與動手能力。