基于雙路 FNN 網(wǎng)絡(luò)的固體火箭發(fā)動機(jī)殼體內(nèi)縫檢測方法研究

　　摘 要 ：火箭發(fā)動機(jī)殼體內(nèi)部螺紋連接處縫隙的檢測精度是衡量其質(zhì)量的重要指標(biāo)，由于發(fā)動機(jī)殼體內(nèi)表面形貌復(fù)雜，因此內(nèi)縫質(zhì)量僅靠人工檢測不僅效率低而且可靠性差。提出一種基于 FNN 網(wǎng)絡(luò)的內(nèi)縫視覺檢測方法，以灰度共生矩陣和 PCA 算法構(gòu)造圖像的特征參數(shù)，訓(xùn)練 FNN 網(wǎng)絡(luò)，將火箭發(fā)動機(jī)殼體內(nèi)縫的粗加工面與精加工面進(jìn)行分類，分類識別率 98.8%;然后，對兩類情況做不同的圖像處理，用 Sobel 算子找到縫隙邊緣;最后，通過標(biāo)定進(jìn)行包括采集原始圖像誤差、直線擬合誤差的系統(tǒng)誤差修正，完成內(nèi)縫寬度精確測量。實(shí)驗(yàn)表明，該方法穩(wěn)定可靠，能夠?qū)崿F(xiàn) 0.1mm~0.6mm 范圍 內(nèi) ±0.02mm 的識別精度。該方法實(shí)現(xiàn)了火箭發(fā)動機(jī)殼體內(nèi)部螺紋連接處的高精度測量，為實(shí)現(xiàn)產(chǎn)品高效自動生產(chǎn)和質(zhì)量檢測提供了技術(shù)保障。

　　關(guān)鍵詞：發(fā)動機(jī)內(nèi)縫測量;灰度共生矩陣;PCA;神經(jīng)網(wǎng)絡(luò)

　　姜春英; 丁美杰; 孟向臻; 葉長龍; 王鵬; 閆子龍， 電子測量技術(shù) 發(fā)表時間：2021-10-29

　　0 引 言

　　固體火箭發(fā)動機(jī)主要采用螺紋連接，螺紋連接的扣數(shù)對發(fā)動機(jī)的穩(wěn)定性十分重要。固體火箭發(fā)動機(jī)殼體內(nèi)表面的縫寬大小是檢測螺紋連接質(zhì)量的重要指標(biāo)之一。傳統(tǒng)的縫寬檢測方法是通過人工手動測量。由于人工對帶藥的固體火箭發(fā)動機(jī)進(jìn)行檢測，具有一定的危險性;且由于待測縫寬細(xì)小，使得操作者不易測量，導(dǎo)致測量結(jié)果一致性差，效率低。為了提高縫隙測量的精度與效率，保障操作人員的生命安全，非常有必要利用機(jī)器視覺的智能檢測方法取代傳統(tǒng)的人工操作環(huán)節(jié)，從而實(shí)現(xiàn)自動化、智能化的生產(chǎn)流程。

　　微小縫隙測量是個難題，而固體火箭發(fā)動機(jī)殼體由于其加工工藝不同，導(dǎo)致內(nèi)表面環(huán)境復(fù)雜，從而使其縫隙測量難上加難。傳統(tǒng)縫隙測量使用精密測量工具進(jìn)行人工抽樣檢查，存在著測量速度慢、人為因素影響大等缺點(diǎn)，無法滿足大規(guī)模自動化生產(chǎn)制造的需求。將機(jī)器視覺技術(shù)引入工件尺寸幾何測量中，可實(shí)現(xiàn)非接觸性高精度測量，既能避免測量過程中的人為誤差，又可實(shí)現(xiàn)快速和連續(xù)測量，能有效保證生產(chǎn)制造過程的自動化。基于機(jī)器視覺的精密測量技術(shù)在工業(yè)生產(chǎn)現(xiàn)場的應(yīng)用越來越普遍，已成為國內(nèi)外研究熱點(diǎn)。針對固體火箭發(fā)動機(jī)殼體內(nèi)縫測量這一具體工程問題，待測圖像的特征提取和邊緣提取與定位是其檢測方法的關(guān)鍵技術(shù)。在圖像邊緣提取技術(shù)領(lǐng)域，段振云等提出基于高斯積分曲線擬合的亞像素邊緣提取算法 [1] ,定位精度高，但僅適用于單邊階躍狀邊緣;徐平等提出基于邊緣像元投影的高精度亞像素檢測方法[1]，然而此方法對噪聲不敏感;在圖像特征提取技術(shù)領(lǐng)域，由 Beltrami 和 Jordan 提出的主成分分析法(PCA)[2]，它可以用于圖像矩陣降維，以降維后的矩陣為基礎(chǔ)提取圖像特征，但降維后的數(shù)據(jù)可解釋性差;Haralick 等人提出的灰度共生矩陣 (GLCM)可以有效的提取出圖像的紋理特征[3]，并良好的反映了圖像空間中相隔某距離的兩像素之間會存在一定的灰度關(guān)系。

　　為了滿足固體火箭殼體內(nèi)縫檢測的精度要求，本文提出一種基于雙路 FNN 網(wǎng)絡(luò)火箭發(fā)動機(jī)殼體內(nèi)縫方法。該方法通過預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)將待測圖像分為兩類，并通過對兩類圖像預(yù)處理提升圖像的質(zhì)量，再通過 Sobel 算子提取并定位縫隙邊緣，最后通過標(biāo)定對系統(tǒng)誤差進(jìn)行修正。實(shí)驗(yàn)表明該方法測量的縫隙誤差在 0.02mm 以內(nèi)，滿足精度要求。

　　1 雙路 FNN 神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建

　　固體火箭發(fā)動機(jī)殼體內(nèi)表面一側(cè)由于加工工藝的不同，形成了粗加工面和精加工面兩種不同情況。粗加工面和精加工面的形貌如圖 1 所示：

　　圖 1(a)中縫隙左側(cè)的粗糙面約占固體火箭發(fā)動機(jī)內(nèi)縫表面形貌情況的 2/3。圖 1(b)中縫隙左側(cè)形貌顯得光滑，這是由固體火箭發(fā)動機(jī)內(nèi)表面一側(cè)部分殼體經(jīng)過精加工導(dǎo)致。粗加工面含有刀花和黑斑，精加工面僅含有刀花，刀花和黑斑的存在都不便于尋找縫隙邊緣，需要將其濾去，然而濾去黑斑和刀花時亦會造成邊緣的損失。由于粗加工面與精加工面邊緣損失不同，為了提高檢測精度，設(shè)計相應(yīng)的神經(jīng)網(wǎng)絡(luò)區(qū)分這兩類情況，并對兩類情況分別標(biāo)定。

　　1.1 提取縫隙圖像特征參數(shù)

　　1) 主成分分析(PCA)

　　PCA 的基本思想是通過尋找樣本空間的一組正交向量，實(shí)現(xiàn)用少數(shù)主成分來描述原來的高維數(shù)據(jù)，進(jìn)而最大限度地保留原始數(shù)據(jù)的信息。本文的圖像共含 300×64 個像素。顯然用這海量的數(shù)據(jù)去進(jìn)行圖像分類是耗費(fèi)資源的。遂通過 PCA 對圖像樣本集 X 進(jìn)行數(shù)據(jù)特征空間的重構(gòu)如式(1)，取出最能反映圖像特征的 4 組基底。 1 2 * ( , ...... )T X x x x ? N N P (1) 其中 N 為樣本數(shù)，P 為維度。任意樣本 xi可看作式(2): 1 ? p T i i i i i x x ? ? ??? (2) 式中 ?i表示線性無關(guān)的單位基，通過降維可將 xi寫作式(3): 1 1 ? q p T T i i i i i i i i i q x x x ? ? ? ? ? ? ?? ? ? ? (3) 式中 q 表示降維后的特征維度，q+1 到 p 為遺失的維度。定義損失函數(shù) J: 2 1 1 1 (( ) ) N q T i j i j J x x N ? ? ?? ? ? ? (4) 式中 x 為樣本的均值。通過 PCA 降維后得到的 4 組基底重新構(gòu)造樣本圖，任取 16 組重構(gòu)圖與原圖進(jìn)行對比，圖像的信息損失如圖 2 所示。

　　圖 2(a)表示任取 16 張精加工與粗加工面原始圖像的縫隙形貌，圖 2(b)為通過 PCA 降維后與之相對應(yīng)的 16 組精加工與粗加工面原始圖像的縫隙形貌。與原圖相比，重構(gòu)圖損失了部分像素，降低了圖像清晰度，但與此同時也保留刀花和黑斑等主要特征。通過 PCA 降維處理，降低了圖像因?yàn)榫€性相關(guān)，參數(shù)耦合所造成的影響，除去了部分冗余信息，但仍保留了圖像的主要特征。

　　2) 灰度共生矩陣紋理特征的提取

　　灰度共生矩陣是一種通過研究灰度的空間相關(guān)特性的紋理表征方法，反映的是圖像灰度分布關(guān)于方向、局部領(lǐng)域和變化幅度的綜合信息。灰度共生的矩陣的構(gòu)造因子包括步長 d、方向參數(shù)θ、灰度級 Ng 和窗口大小 S。固體火箭內(nèi)表面紋理明顯，沒有方向性和周期性。為了提高運(yùn)算效率，取θ為 0°。窗口大小取 8×8，灰度級取 16,長取 4。

　　灰度共生矩陣具有 14 個統(tǒng)計特征參數(shù)，窗口的特征向量維度較高，存在信息冗余的現(xiàn)象[4]，根據(jù)經(jīng)驗(yàn)值選取對比度、角二階矩、熵和逆差矩作為表征內(nèi)縫表面紋理特征參數(shù)。分析兩種情況下對比度、角二階矩、熵和逆差矩的概率分布，結(jié)果如圖 3 所示。

　　圖 3 中依次繪制了角二階矩、對比度、熵、逆差矩在粗加工面和精加工面兩種條件下高斯核密度估計圖。觀察粗加工面與精加工面兩種情況下 4 個特征參數(shù)的概率分布可知角二階矩、對比度、熵、逆差矩在粗加工面和精加工面兩種條件下相關(guān)性較低。適宜做神經(jīng)網(wǎng)絡(luò)的輸入。

　　1.2 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計

　　前饋神經(jīng)網(wǎng)絡(luò)(FNN)的數(shù)學(xué)涵義是逼近一個復(fù)合函數(shù)，如式(5)所示： y f x ? ( , ) ? (5) 式中 y 為神經(jīng)網(wǎng)絡(luò)的輸出，x 為輸入，θ為參數(shù)。通過學(xué)習(xí)參數(shù)θ的值，使函數(shù)值逼近 y。常規(guī)前饋神經(jīng)網(wǎng)絡(luò)通過將輸入經(jīng)過一系列復(fù)合起來的函數(shù)訓(xùn)練得到輸出。其過程可用式(6)所示： f x f N f N f x ( ) ( ) ( 1)...( (1)( ))) ? ? (6) 隨機(jī)對固體火箭發(fā)動機(jī)殼體內(nèi)縫表面共拍攝 300 張圖像作為分類實(shí)驗(yàn)樣本圖像。采用式(7)所示的平均分類精度 R 作為評判標(biāo)準(zhǔn)。

　　R N ? (7) 式中:Nright表示分類正確的樣本數(shù)量，Nall表示所有樣本數(shù)量。

　　分別以 PCA 降維得到的 4 組基底，構(gòu)建灰度共生矩陣得到的 4 個特征參數(shù)以及 4 組基底加 4 個特征參數(shù)作為傳統(tǒng) FNN 網(wǎng)絡(luò)輸入，進(jìn)行網(wǎng)絡(luò)訓(xùn)練。表 1 所示為 3 種算法分類精度的實(shí)驗(yàn)統(tǒng)計結(jié)果，可以得出 PCA 基底+灰度共生矩陣特征參數(shù)作為網(wǎng)絡(luò)輸入，相較于其他兩種算法有較大的提升。

　　根據(jù)實(shí)驗(yàn)結(jié)果可知灰度共生矩陣所構(gòu)建的特征參數(shù)對分類結(jié)果具有更高的靈敏性。設(shè)計雙路 FNN 神經(jīng)網(wǎng)絡(luò)，數(shù)學(xué)模型如式(8)所示：

　　式中 f(x)表示灰度共生矩陣所構(gòu)建的特征參數(shù)作為輸入的多層感知機(jī)，g(x)表示 PCA 降維后的 4 組基底作為輸入的多層感知機(jī),t(x ^ )表示將 f(x)和 g(x) 合并隨機(jī)打亂順序。F(t(x ^ ))表示將雙輸入合并后的多層感知機(jī)。本文設(shè)計網(wǎng)絡(luò)模型結(jié)構(gòu)如圖 4 所示：

　　圖 4 中的網(wǎng)絡(luò)結(jié)構(gòu)共有 5 個部分，Input 層表示網(wǎng)絡(luò)的輸入，包括由 PCA 和灰度共生矩陣算法得到的特征集合 1 和特征集合 2，Processing 層將對特征集合的預(yù)處理，通過多層感知機(jī)算法對特征進(jìn)行自學(xué)習(xí)，Concatenate 層將特征集合 1 和特征集合 2 通過 Processing 層自學(xué)習(xí)得到的特征連接，再將連接的特征通過 DNN 深度神經(jīng)網(wǎng)絡(luò)，最終輸出分類結(jié)果的概率。

　　為了加速網(wǎng)絡(luò)收斂速度，對輸入的特征進(jìn)行 Normalization 處理，將其映射到[0,1]。對于隱藏層的激活函數(shù)選擇雙曲正切函數(shù) tanh，輸出層的激活函數(shù)選擇 softmax，損失函數(shù)選擇均方差 mean_squared_error，優(yōu)化器選擇隨機(jī)梯度優(yōu)化算法 SGD[5]。

　　使用 Tenserflow 中的 Keras 接口，通過面陣相機(jī)取出精加工面與粗加工面的火箭發(fā)動機(jī)表面圖像各 500 組，將樣本以 6：3：1 的方式劃分為訓(xùn)練集、驗(yàn)證集與測試集。通過 SVM 分類器[6-7]，KNN 分類器[8-9]，貝葉斯分類器[10]，隨機(jī)森林分類器[11]，以及傳統(tǒng) FNN 網(wǎng)絡(luò)分類器[12]訓(xùn)練模型，其模型在測試集的精確度如表 2 所示。

　　如表 2 所示，本文設(shè)計的雙路 FNN 網(wǎng)絡(luò)的精度最高，達(dá)到了 98.8%。通過雙路 FNN 網(wǎng)絡(luò)將待測圖片分為了粗加工面與精加工面兩類，為待測圖片的縫隙邊緣提取，提供了便利。

　　2 圖像邊緣提取

　　2.1 精加工面預(yù)處理

　　固體火箭發(fā)動機(jī)殼體內(nèi)表面精加工圖像灰度值三維圖如圖 6(a)所示，從圖像中可以看出，精加工面在縫隙的左側(cè)較為平滑，灰度值趨于平穩(wěn)，而縫隙的右測，部分 Y 方向的像素值變化明顯。這是因縫隙兩側(cè)的殼體材料不同所導(dǎo)致。在縫隙的右側(cè)，由于機(jī)械加工會產(chǎn)生部分刀花。為保證精度要求，通過連通域分析，設(shè)定面積閾值 K，濾去刀花。

　　首先通過 Otsu[13]閾值分割方法對圖像進(jìn)行分割，將圖像二值化，再將圖像進(jìn)行連通域分析，并標(biāo)記如圖 5。

　　圖 5 中每一個顏色表示為一個連通域，計算每一個連通域的面積，設(shè)定閾值 K，將面積值小于 K 的連通域的像素點(diǎn)置為 255。其算法如算法 1 所示:

　　算法 1 中 M 為連通域集合，K 為選定的面積閾值， f(x,y)為連通域里面的像素值。使用該方法濾去刀花后，固體火箭發(fā)動機(jī)殼體內(nèi)表面精加工圖像灰度值三維圖如圖 6(b)所示。

　　如圖 6(b)所示，通過連通域標(biāo)記并濾去刀花后，縫隙的左右兩側(cè)像素值都顯得平滑，使縫隙更加明顯。

　　2.2 粗加工面預(yù)處理

　　固體火箭發(fā)動機(jī)殼體內(nèi)表面粗加工圖像灰度值三維圖如圖 7(a)所示，圖中粗加工面在縫隙的右側(cè)和精加工面的表面結(jié)構(gòu)是一致的，而在縫隙的左側(cè)圖像的像素值是雜亂無章的。這是由于相機(jī)采圖采集到粗加工面導(dǎo)致。由于左側(cè)聯(lián)通域的面積不確定性較高，無法通過設(shè)定面積閾值將其濾去。觀察左側(cè)，不難看出左側(cè)圖像的灰度值分布較為混亂，所以通過計算圖像 X 方向的信息熵將其濾去。

　　圖像信息熵表征了圖像中平均信息量的多少，在圖像中表示灰度值的混亂度。圖像的一維熵表示圖像中灰度分布的聚集特征所包含的信息量。計算圖像的每一列的信息熵，通過設(shè)定閾值 K，通過與閾值 K 比較判定該列屬于粗糙面。若判定為真，將該列像素全部置為 255。圖像的一維信息熵計算公式如式(9)所示： 255 0 log i i i H p p ??? (9) 式中 pi表示灰度值為 i 的值占該列像素灰度值的比例。H 表示一維信息熵。通過信息熵判定后，得到粗加工圖像灰度值三維圖如圖 7(b)所示：

　　通過信息熵判定濾去黑斑，粗加工表面形貌接近精加工表面，在對粗加工表面進(jìn)行連通域?yàn)V去刀花，使縫隙的邊緣清晰可見，便于提取。

　　2.3 圖像縫隙提取

　　待測圖像分類并預(yù)處理之后，通過 Otsu 算法將圖像二值化。將圖像以 y 方向劃分為 64 個線像素。經(jīng)二值化處理后,縫隙的部分在圖像中的值為 0?？p隙計算方法的偽代碼如算法 2 所示。首先統(tǒng)計每一行線像素中像素值為 0 的個數(shù)。通過設(shè)定閾值 threshold1 和 threshold2 濾除由系統(tǒng)誤差導(dǎo)致的縫隙過大或過小的情況。最后返回像素個數(shù)的均值[14]。

　　3 實(shí)驗(yàn)標(biāo)定

　　3.1 視覺檢測系統(tǒng)

　　待測固體火箭發(fā)動機(jī)殼體直徑為 120mm，固體火箭該發(fā)動機(jī)殼體勻速旋轉(zhuǎn)，系統(tǒng)將連續(xù)采集多組小樣本圖像，樣本圖像尺寸為 0.76mm×5mm，降低了固體火箭發(fā)動機(jī)殼體曲率對縫寬測量帶來的非線性誤差。視覺測量系統(tǒng)工作裝置如圖 8 所示。

　　圖中，通過氣缸的工作將發(fā)動機(jī)固定住，并且將內(nèi)窺鏡伸到工作位置，圖像通過內(nèi)窺鏡傳到相機(jī)，再通過相機(jī)傳輸?shù)缴衔粰C(jī)處理。

　　硬件部分，相機(jī)采用圖像采集設(shè)備由高分辨率 CCD 黑白相機(jī)型號為 MER-1070-10GM，光源選擇 8mm 同軸 LED 點(diǎn)光源，型號 HY-D3520,鏡頭選用千萬像素級別 25mm 定焦鏡頭,型號為 WP-10M2514-C。經(jīng)過多次試驗(yàn)，測得最佳相機(jī)參數(shù)為:鏡頭工作距離為 110~130mm;光圈 F 為 6~8;相機(jī)曝光時間為 7000μs;圖像采集幀率為 14Hz。

　　軟件部分，神經(jīng)網(wǎng)絡(luò)通過 Tensorflow 的 Keras 編程接口，通過手動獲取數(shù)據(jù)集，訓(xùn)練導(dǎo)出模型 model 文件。內(nèi)縫計算在 VC++環(huán)境下實(shí)現(xiàn)。

　　3.2 縫寬測量

　　為了驗(yàn)證本方法的有效性，針對兩種情況，由專業(yè)檢測人員利用塞尺各得到 15 組不同縫寬值。視覺系統(tǒng)計算值與人工測量數(shù)據(jù)如表 3 所示。

　　以表 3 中數(shù)據(jù)作為基準(zhǔn)，通過 RANSAC[15]算法，將得到的視覺計算值與人工測量值進(jìn)行擬合。擬合結(jié)果如圖 9 所示。

　　由于固體火箭發(fā)動機(jī)殼體內(nèi)表面粗加工面發(fā)生了漫反射，導(dǎo)致相同光照條件下，縫隙圖像較精加工面顯得更窄。與此同時，信息熵判定濾去粗糙面時亦會使縫隙變窄。導(dǎo)致粗加工面的圖像擬合直線的權(quán)重略低于精加工面的圖像權(quán)重。最終得到粗加工面與精加工面的視覺測量修正式如式(10): =1.875 * +0.08 =1.628 * +0.05 Y X Y X ?????粗 粗精 精 (10) 式中 X，Y 分別為標(biāo)定前和標(biāo)定后的縫寬。在固體火箭發(fā)動機(jī)殼體旋轉(zhuǎn)一周的過程中，工業(yè)相機(jī)勻速采集 60 張縫隙圖像。計算 60 張圖像縫寬修正值的期望，將期望作為視覺系統(tǒng)輸出的最終修正值。在[0.1,0.6]之間取出 15 位專業(yè)人士檢測數(shù)據(jù)，與視覺系統(tǒng)輸出的最終修正值進(jìn)行誤差分析，分析結(jié)果如表 4 所示。

　　表 4 中的結(jié)果顯示專業(yè)檢測人員利用塞尺測量值與視覺修正值的最大測量誤差均小于 0.02mm，說明本文算法可以滿足縫寬質(zhì)量檢測的需要。

　　4 結(jié) 論

　　針對固體火箭發(fā)動機(jī)殼體內(nèi)表面縫隙縫寬測量問題，提出了一種基于雙路 FNN 網(wǎng)絡(luò)的火箭發(fā)動機(jī)殼體內(nèi)縫檢測方法。該方法通過 CCD 相機(jī)采集固體火箭發(fā)動機(jī)殼體內(nèi)表面縫隙圖像。通過雙路 FNN 網(wǎng)絡(luò)將其分為精加工面和粗加工面兩種情況。分類精度達(dá)到 98.8%。并將精加工面、粗加工面的圖像經(jīng)過圖像處理除去噪聲。在通過邊緣提取定位獲得縫寬值，最后通過標(biāo)定消除系統(tǒng)誤差得到縫隙的實(shí)際寬度。對 0.1mm~0.6mm 的縫隙進(jìn)行實(shí)驗(yàn)。結(jié)果表明，該方法的誤差在 0.02mm 以內(nèi)，為產(chǎn)品的質(zhì)量和可靠性提供了重要保障。