在水果行業中(zhong)，成熟度是評估水果品質的(de)重(zhong)要(yao)指標，可(ke)用于(yu)確(que)定采收(shou)、運輸、銷售等(deng)的(de)最佳(jia)時間。部分(fen)水果可(ke)通過表(biao)皮顏色判斷成熟度，如香蕉(jiao)等(deng)；牛(niu)油果、獼猴桃等(deng)水果則(ze)需要(yao)采用破壞性(xing)測量才能確(que)定。為了給出解決方案，我們驗證了高光譜成像和深度神經網絡是否能夠預測水果的成熟程度。通過(guo)這項(xiang)工作，我(wo)們提(ti)供了(le)一個高光(guang)譜數(shu)據集，并在(zai)此基礎上(shang)測(ce)試了(le)不同的模型，從而展(zhan)示(shi)了(le)小型神經網絡(luo)的優勢。在前人研究中，Pinto等人[1]和Olarewaju等人(ren)[2]利用高光譜成像來確定牛油果的成熟程度，Zhu等人[3]利用高光譜數據預測獼猴桃的硬度和可溶性固形物含量，這些研究都是基于經典的機器學習算法進行的。Mollazade等人(ren)[4]展示了一個簡單的神經網絡對番茄含水量的預測能力，Gao等人(ren)[5]利用高光譜成像和預訓練的AlexNet（一種深度卷積神經網絡）可以預測草莓的成熟狀態，這些研究則是基于深度學習神經網絡的。本文作者使用了(le)更廣泛(fan)的(de)模型，記錄了(le)更大(da)的(de)數據集，分析了(le)測量水果成熟度是否(fou)需要高光譜數據，或者純(chun)彩色(se)圖(tu)像就足夠。
高光(guang)(guang)譜(pu)成像(xiang) (HSI) 技(ji)術(shu)(shu)是近年來日益(yi)流行的(de)一種非(fei)破(po)壞性(xing)測量(liang)技(ji)術(shu)(shu)，該技(ji)術(shu)(shu)基于高光(guang)(guang)譜(pu)相機(ji)獲取的(de)光(guang)(guang)譜(pu)數據，其(qi)典(dian)型光(guang)(guang)譜(pu)范(fan)圍可從紫外到(dao)近紅外（表(biao)1），與標準(zhun)RGB圖(tu)像(xiang)相比(bi)，高光(guang)(guang)譜(pu)圖(tu)像(xiang)有更(geng)多(duo)的(de)通(tong)道，通(tong)常(chang)超過100個，可通(tong)過波(bo)長范(fan)圍揭(jie)示更(geng)多(duo)被檢測物質的(de)不同(tong)化學性(xing)質。
表1 高光譜相(xiang)機的典(dian)型波長范圍
類(lei)型 | 紫外線(UV) | 可(ke)見(VIS) | 近紅外(wai)(NIR) |
波長 | 100-380nm | 380-740nm | 740-2500nm |
本文(wen)的(de)高光(guang)(guang)(guang)譜圖(tu)像獲取系統由3個(ge)部(bu)分組成(cheng)（圖(tu)1），第(di)一個(ge)組件(jian)是物體(ti)支架，由高光(guang)(guang)(guang)譜相機線掃描工(gong)作模式所必需的(de)直線驅動器組成(cheng)。第(di)二個(ge)組件(jian)是光(guang)(guang)(guang)源。對(dui)于高光(guang)(guang)(guang)譜成(cheng)像來(lai)說，足夠(gou)明亮和(he)均勻的(de)光(guang)(guang)(guang)源是必不可少的(de)。鹵素(su)燈和(he)LED燈組合(he)使(shi)(shi)用，以覆蓋更廣泛的(de)光(guang)(guang)(guang)譜。此外，使(shi)(shi)用聚四氟乙烯(xi)曲率反(fan)(fan)射(she)器來(lai)產生漫反(fan)(fan)射(she)光(guang)(guang)(guang)。最后(hou)一個(ge)組件(jian)是相機，本研究使用了兩款(kuan)高光(guang)譜相機(ji)（Specm FX 10和INNO-SPEC Redeye 1.7），以便更好(hao)地(di)驗證結果，并覆(fu)蓋不同的(de)波長范圍。Specm FX 10有224個(ge)通(tong)道，光(guang)譜(pu)范(fan)圍400-1000 nm；INNO-SPEC Redeye 1.7有252個(ge)通(tong)道，光(guang)譜(pu)范(fan)圍950-1700nm。使用折射計測(ce)量(liang)可溶性固(gu)形(xing)物(wu)的(de)含量(liang)，使用硬度計測(ce)量(liang)穿透(tou)阻力(li)以確定果(guo)肉的(de)硬度。試(shi)驗收(shou)集(ji)了1038份牛油(you)果(guo)和(he)1522份獼猴桃的(de)數據，它涵蓋了兩種水果(guo)從未熟到過(guo)熟的(de)成熟過(guo)程，高光(guang)譜(pu)數據集(ji)可通(tong)過(guo)//github.com/cogsys-tuebingen/deephs fruit獲得。
圖1 高光譜圖像獲取系統：帶有物體支架的直線(xian)驅動器、光源和相機。獲得(de)高(gao)光譜(pu)圖像后(hou)，首先(xian)采用簡單的基于像素(su)的神經網(wang)(wang)絡剔(ti)除背(bei)景(jing)，并訓練它(ta)來區分背(bei)景(jing)和(he)水(shui)果，然后(hou)將水(shui)果分為3類(lei)進行研究(jiu)，即(ji)未(wei)熟、成(cheng)熟、過熟，將硬度(du)、甜(tian)度(du)和(he)整體成(cheng)熟度(du)作(zuo)為研究(jiu)指標，建立一(yi)個小(xiao)的光譜(pu)卷積神經網(wang)(wang)絡，專(zhuan)門用于成(cheng)熟果實的應用。本文構建了(le)高(gao)光譜(pu)卷(juan)積神(shen)經網(wang)絡（Hyperspectral Convolutional Neural Network，HS-CNN）水果分(fen)類的(de)架構（圖2），將整個(ge)(ge)網(wang)絡設計的(de)盡可(ke)能簡單和小，輸入一(yi)個(ge)(ge)水果的(de)高(gao)光譜(pu)數據，3個(ge)(ge)卷(juan)積層從輸入的(de)光譜(pu)數據提取特征(zheng)映射，采用批歸一(yi)化(hua)（Batch Normalization）加快訓練(lian)過(guo)程，使用平(ping)均池化(hua)（average pooling），最(zui)后的(de)分(fen)類發生在CNN的(de)頭部，由一(yi)個(ge)(ge)全(quan)局平(ping)均池化(hua)層（global average pooling layer）和一(yi)個(ge)(ge)全(quan)連接層（fully connected layer）組成(cheng)。全局(ju)平均池化層大大減少了參數(shu)的(de)數(shu)量，使預測更加的(de)穩定(ding)。
使用(yong)旋轉(zhuan)、翻轉(zhuan)、隨機噪聲和隨機切割作(zuo)為數據增強技術，用(yong)Adabound對神經網絡(luo)(luo)進行優化，根據驗證損失提(ti)前停止，以(yi)防止過度擬(ni)合(he)。在數據集中測(ce)試(shi)了5個模(mo)(mo)型(xing)，分(fen)別為具(ju)有徑向(xiang)基核的支持(chi)向(xiang)量機(SVM)、k-最近鄰分(fen)類器（kNN）、ResNet18、AlexNet和高光譜(pu)(pu)卷(juan)積神經網絡(luo)(luo)(HS-CNN)。測(ce)試(shi)集為18個標記(ji)的高光譜(pu)(pu)記(ji)錄，測(ce)試(shi)結果如(ru)表2所示(shi)，每個神經網絡(luo)(luo)給(gei)出(chu)三個值。當(dang)網絡(luo)(luo)能夠訪問整個高光譜(pu)(pu)記(ji)錄時，Full值給(gei)出(chu)了準(zhun)確(que)度。大多(duo)數情況下HS-CNN模(mo)(mo)型(xing)是優于參考模(mo)(mo)型(xing)的，該模型預測牛油果硬度，準確率達93.33%以上，預測牛油果的成熟度水平，準確率均90%以上；預測獼猴桃的成熟程度要比預測牛油果困難得多，因此所有模型的預測精度都明顯較低。然而，我們的模型仍然能預測獼猴桃的硬度和成熟度，準確率分別接近70%和80%。通過移除或替換(huan)高光譜卷積(ji)神經網絡的(de)(de)(de)(de)(de)組成部分，研(yan)(yan)究不同部分的(de)(de)(de)(de)(de)影(ying)響。以(yi)牛油果為(wei)例，研(yan)(yan)究了這些操作的(de)(de)(de)(de)(de)硬度(du)測(ce)試(shi)(shi)精(jing)度(du)。隨機剪切和增加(jia)測(ce)試(shi)(shi)時(shi)間可提高測(ce)試(shi)(shi)準確性（表(biao)(biao)3-1）；深度(du)分離卷積(ji)可以(yi)防止(zhi)過擬合，增加(jia)測(ce)試(shi)(shi)精(jing)度(du)（表(biao)(biao)3-2）；網絡的(de)(de)(de)(de)(de)頭部使用卷積(ji)部分的(de)(de)(de)(de)(de)特征映射確定分類結果，全局平均池化減少參數(shu)的(de)(de)(de)(de)(de)數(shu)量，防止(zhi)了過擬合，提高精(jing)確性（表(biao)(biao)3-3）；焦點損失函數(shu)可改善測(ce)試(shi)(shi)精(jing)度(du)（表(biao)(biao)3-4）；學習率(lv)值為(wei)0.01的(de)(de)(de)(de)(de)Adabound算(suan)法更好（表(biao)(biao)3-5）；平均池化的(de)(de)(de)(de)(de)精(jing)確度(du)比最大池化的(de)(de)(de)(de)(de)精(jing)度(du)更高（表(biao)(biao)3-6）。表3-1 不同增強技術(shu)的影(ying)響
Augmentation variant | Accuracy |
Full augmentation | 93.3 % |
Without test time augmentation | 70.8 % |
Without random noise | 73.3 % |
Without random cut | 69.3 % |
No transformation augmentation | 80.0 % |
表(biao)3-3 不同(tong)頭部(bu)架(jia)構的(de)準(zhun)確度比較(jiao)
| |
| Global Average Pooling with additional layer | |
| |
| |
表3-4 不同損(sun)失函數的準(zhun)確度(du)
表3-5 不同優(you)化程(cheng)序的準確度
| |
| Stochastic gradient descent | |
| |
| Adabound with default parameters | |
| Adabound with learning rate | |
使用積分(fen)梯度(du)（Integrated gradient）來(lai)查看(kan)高光(guang)譜記(ji)錄(lu)的(de)哪些(xie)部分(fen)對確(que)定(ding)水果(guo)(guo)(guo)的(de)狀(zhuang)態(tai)是重(zhong)要的(de)，這(zhe)種(zhong)(zhong)技術(shu)可(ke)以顯示神(shen)經元對網(wang)絡(luo)(luo)決策(ce)的(de)影(ying)響(xiang)，在一(yi)定(ding)程(cheng)(cheng)度(du)上驗證(zheng)(zheng)神(shen)經網(wang)絡(luo)(luo)的(de)決策(ce)過(guo)程(cheng)(cheng)，驗證(zheng)(zheng)了預測(ce)正確(que)性。圖3a給(gei)出(chu)了對牛油(you)果(guo)(guo)(guo)成(cheng)熟度(du)預測(ce)影(ying)響(xiang)的(de)空(kong)間分(fen)布，這(zhe)種(zhong)(zhong)影(ying)響(xiang)均勻(yun)的(de)分(fen)布在整個水果(guo)(guo)(guo)上。圖3b顯示了基(ji)于波長的(de)影(ying)響(xiang)，主要決策(ce)發(fa)生在800nm以上。此外，在一(yi)定(ding)程(cheng)(cheng)度(du)上，該網(wang)絡(luo)(luo)利用520 ~ 650 nm的(de)可(ke)見光(guang)范圍(wei)來(lai)區分(fen)未成(cheng)熟果(guo)(guo)(guo)實(shi)和(he)成(cheng)熟果(guo)(guo)(guo)實(shi)。這(zhe)個范圍(wei)與牛油(you)果(guo)(guo)(guo)的(de)可(ke)見變化相匹配(pei)。總的(de)來(lai)說(shuo)，通過(guo)卷積神(shen)經網(wang)絡(luo)(luo)學習的(de)特征(zheng)似乎是可(ke)信的(de)。圖3 決策因子對牛油果狀態判定的影響（a）基(ji)于空間，(b)基(ji)于波(bo)長(chang)。此(ci)外，本(ben)文(wen)還(huan)介紹了一(yi)(yi)種為特定任(ren)務(wu)生(sheng)成(cheng)高光(guang)譜記錄假(jia)彩色圖(tu)像(xiang)（false color image）的(de)(de)技術（圖(tu)4）。訓練(lian)了一(yi)(yi)個(ge)基于像(xiang)素的(de)(de)自(zi)動編碼(ma)(ma)器(qi)(圖(tu)4a)，對水果的(de)(de)高光(guang)譜圖(tu)像(xiang)進行(xing)(xing)編碼(ma)(ma)和解(jie)碼(ma)(ma)，使用均方誤差進行(xing)(xing)訓練(lian)，潛在空間的(de)(de)大小為3，將其解(jie)釋為彩色圖(tu)像(xiang)。使用編碼(ma)(ma)器(qi)的(de)(de)嵌(qian)入(ru)作為分類器(qi)網(wang)絡的(de)(de)輸入(ru)(圖(tu)4b)，并(bing)訓練(lian)分類器(qi)以(yi)區分成(cheng)熟(shu)(shu)度等級。最終得到了一(yi)(yi)個(ge)專門編碼(ma)(ma)信息(xi)以(yi)區分成(cheng)熟(shu)(shu)度等級的(de)(de)編碼(ma)(ma)器(qi)。以(yi)這種方式訓練(lian)的(de)(de)編碼(ma)(ma)器(qi)可以(yi)生(sheng)成(cheng)假(jia)彩色圖(tu)像(xiang)，從而可視化成(cheng)熟(shu)(shu)過程。對于牛油果（圖(tu)5），成(cheng)熟(shu)(shu)的(de)(de)部(bu)分從果實(shi)的(de)(de)底部(bu)一(yi)(yi)直長到頂(ding)部(bu)。對于獼猴桃的(de)(de)硬度分布（圖(tu)6），水果上慢慢長出一(yi)(yi)個(ge)受損的(de)(de)部(bu)分。圖(tu)4 預訓練(lian)方法的架構（a）自動編碼器（b）分類器網(wang)絡(luo)。圖(tu)5 牛油果成熟過(guo)程(cheng)的可視(shi)化(hua)本(ben)文的研究表(biao)明，卷積神經網(wang)絡可(ke)用(yong)于高光譜數據(ju)，將水果分為三類(未(wei)熟、成熟和過(guo)熟)。HS-CNN分類器網絡在牛油果成熟狀態分類方面表現出卓越的性能，在獼猴桃成熟狀態分類方面表現出良好的性能。L. A. Varga, J. Makowski, A. Zell. . 2021 International Joint Conference on Neural Networks (IJCNN), 1-8 (2021). [1] J. Pinto, H. Rueda-Chac′on, and H. Arguello, “Classification of Hass avocado (persea americana mill) in terms of its ripening via hyperspectral images,” TecnoL′ogicas, vol. 22, no. 45, pp. 109–128, 5 2019.[2] O. O. Olarewaju, I. Bertling, and L. S. Magwaza, “Non-destructive evaluation of avocado fruit maturity using near infrared spectroscopy and PLS regression models,” Scientia Horticulturae, vol. 199, pp. 229–236, 2 2016.[3] H. Zhu, B. Chu, Y. Fan, X. Tao, W. Yin, and Y. He, “Hyperspectral Imaging for Predicting the Internal Quality of Kiwifruits Based on Variable Selection Algorithms and Chemometric Models,” Scientific Reports, vol. 7, no. 1, pp. 1–13, 12 2017.[4] K. Mollazade, M. Omid, F. A. Tab, S. Mohtasebi, and M. Sasse-Zude, “Spatial mapping of moisture content in tomato fruits using hyperspectral imaging and artificial neural networks,” in International workshop on Computer Image Analysis in Agriculture, 2012.[5] Z. Gao, Y. Shao, G. Xuan, Y. Wang, Y. Liu, and X. Han, “Real-time hyperspectral imaging for the in-field estimation of strawberry ripeness with deep learning,” Artificial Intelligence in Agriculture, vol. 4, pp.31–38, 1 2020.由于相關研(yan)究內容非常(chang)專業，難(nan)免有些理(li)解(jie)不準確或者編輯(ji)整理(li)的疏漏(lou)，請以英文原文為準。
