SPECIM高光譜成像技術在舌診上的應用-第二部分
通過上一期高光譜成像技術在舌診上的應用-第一部分,我們了解到SPECIM高光譜成像技術不僅在中醫病理學上提供了新的研究思路,同時也是機器學習與深度學習等人工智能領域重要的技術途徑之一,比如在舌苔的圖像分割問題上,SPECIM擁有較大的優勢。
所謂圖像分割,簡單來說就是從圖像中把目標從背景中分離出來。圖像分割是中醫舌診現代研究領域的一個熱點難題,是在引入計算機視覺后舌象分析的第一步,也是后續中醫舌診現代化研究的基礎。人體的舌頭是一個獨特的器官,它可以伸出身體以供觀察,但由于舌頭的生理特征,在基于傳統單通道圖像的計算機輔助診斷中,對于人體舌頭的觀察存在如下幾個問題:
- 1、舌頭的表面有一些溝壑與突起,其表面并不是材質均一的平面,而且舌頭本身具有一定曲率,這對圖像的邊緣檢測有很大的影響。
- 2、人類只能伸出舌頭的一部分,但對于伸出的“一部分”,并且無法量化,也就是說,對于我們能檢測到的舌頭區域,諸如面積、舌面與檢測儀器鏡頭平面的夾角等都是毫無規律而言的隨機變量。
當然在其他領域里也會遇到上述兩個問題中的一個或兩個,程度也都有所不同,所以學者們也都提出了不少解決方案。其中目前筆者已知的舌頭圖像分割效果較好的模型是由Bo Pang等人所提出的bi-elliptical deform-able contour(以下簡稱BEDC)方法。但使用BEDC方法處理過后的舌頭圖像分割仍存在下述問題:
- 1、對于舌頭本體與人體口腔中的其他部分,如口腔內的陰影、不應該出現的舌根等部分也被劃入了ROI區域。
- 2、因為問題1的存在,ROI中存在不屬于目標對象,區域的邊緣檢測和混合像元問題更加嚴重了,不利于舌苔的后續分析研究。
利用單波段DN值的自動化圖像分割,大多都是基于模型的非剛性配準,也就是說自動圖像分割中的某個分割結果通常是來自其他數據集中,人工標記出各個分割對象類型后生成的算法模型結果。而在SPECIM高光譜成像技術中,我們可以利用不同目標對象的光譜差異性來實現對象分類,從而可以耗費更少的人力來區分舌頭和非舌頭的圖像區域。下圖展示了舌頭與非舌頭的生物物質在400~1000nm的光譜差異。
不同部位與舌頭在400~1000nm的光譜曲線差異
(光譜曲線為SVM標準均一化與SG平滑預處理后的光譜曲線)
高光譜成像系統的流程舉例與舌苔檢測實際的系統搭建如圖所示:
由于高光譜數據相較于傳統RGB圖像以及多光譜數據擁有更多的光譜通道數,也就意味著更多維度的數據和巨量的特征,于是選擇了支持向量機(SVM)模型。
關于兩者圖像分割效果的評估方法,最終采用了相關論文中提出的一種評價方法。采用邊界誤差度量來評價分割性能,定義HD為模型圖像分割ROI邊界曲線到人工分割曲線的最大距離(DCP),平均距離為MD。結果表明,HIS+SVM的圖像分割得到的HD和MD分別是11和6.23,而傳統RGB圖像+BEDC的圖像分割結果分別是27和10。
下圖分別展示了基于傳統RGB三通道(650nm、510nm、475nm)相機的RGB圖、舌頭ROI特征相關性熱力圖(閾值統一取0.9950)和SPECIM高光譜相機(400-1000nm)的SVM圖像分割結果。
可以看出,通過SPECIM高光譜成像技術可以更好地區分舌頭與非舌頭的部分。這說明SPECIM高光譜成像技術可以提供舌頭計算機輔助診斷領域與傳統方法相比,更強的魯棒性和有效性。
便攜式高光譜相機
Specim IQ是一臺便攜式高光譜相機,可讓您在任何地方幾秒內即完成材料樣品分析。任何在VNIR波段范圍(400-1000 nm)內的各類應用都可以使用它,例如食品、植被、藝術品、以及生命科學等領域。
參考文獻
[1] Automated tongue segmentation in hyperspectral images for medicine. Zhi Liu 1, Jing-qi Yan, David Zhang, Qing-Li Li
關于Specim
作為高光譜成像(HSI)行業的龍頭公司之一,Specim產品涵蓋從可見光到熱紅外全部波段的測量,為用戶提供全面的高光譜成像解決方案,滿足工業、科學和研究用戶的不同需求。產品包括工業高光譜相機、實驗室高光譜相機以及機載高光譜相機,適配客戶特定的使用場景。Specim以分揀機客戶為核心,同時在分選回收、食品和制藥等行業也擁有廣泛的客戶群體。去年,Specim正式推出全新的SpecimONE高光譜成像平臺,該平臺使高光譜成像技術更便利、更快捷地與分揀機相結合。2021年起,SpecimONE平臺可開始交付。借助SpecimONE平臺,柯尼卡美能達將進一步擴大工業領域中高光譜成像的業務。