高精度針孔檢測設備
More >>
您所在的位置：精質視覺 > 新聞中心>工業帶材表面缺陷檢測系統
2022-07-19 11:06:42 精質視覺
以帶狀表面缺陷檢測系統為例，其硬件框架主要由照明設備，CCD相機，圖像處理計算機和服務器組成，其照明設備采用特殊的紅外光源陣列。CCD線掃描攝像機組水平排列在帶鋼生產線上，水平和垂直可視范圍相互重疊，以確保沒有漏檢。CCD攝像機收集的圖像通過光纖傳輸到圖像處理計算機組，以進行圖像處理和圖案識別。然后，將結果與生產線的相關信息一起發送到服務器數據庫進行進一步處理，并生成各種現場生產信息統計報告。用戶可以根據這些報告評估鋼卷的質量等級，或者分析生產線異常的原因，從而實現對生產線的實時監控。下圖顯示了典型的工業帶材表面缺陷檢測系統。
在表面缺陷檢測任務中，我們通常會根據統計結果對相關方法進行定量評估，可將其分為四類：真陽性(TP)表示檢測到的實際缺陷為缺陷，真陰性(TN)表示檢測到的缺陷。實際缺陷被錯誤地檢測為背景，假陽性(FP)表示錯誤地將實際背景檢測為缺陷，而假陰性(FN)表示將實際背景檢測為背景。顯然，在理想情況下，TP和FN越大，檢測效果越好，而TN和FP越大，檢測效果越差。
其中，G均值以組合的方式衡量這兩類的準確性，而G均值越大意味著TPR和TNR越高，這也是缺陷檢測應用程序的要求。另一方面，F-measure根據準確性和召回率評估缺陷檢測的總體性能。
現有的金屬平面材料表面缺陷檢測方法的二維視覺技術和模型，并進行了討論和展望，檢測方法分類的總體結構。值得注意的是，近年來深度學習的快速發展改變了這種模式。基于深度學習的缺陷檢測方法越來越多地應用于金屬平面材料。因此，本文將金屬平面材料的表面缺陷檢測方法分為四類：傳統的基于統計的方法，基于光譜的方法，基于模型的方法和新興的基于機器學習的方法。
方法1：基于統計的方法
從統計方法的角度來看，圖像紋理被視為隨機現象。統計方法通過測量像素空間分布的統計特性來研究像素強度的規則和周期性分布，以檢測金屬平面材料表面的缺陷。以下是對五個代表性統計方法的簡要介紹，下表給出了這五個類別的幾種典型方法的比較。
其中，邊緣檢測是一種檢測被測圖像中的灰度或結構突變的方法。缺陷區域和背景之間的灰度級差異導致邊界處出現明顯的邊緣，可用于檢測金屬平面材料的表面缺陷。由于圖像邊緣像素的不連續性，研究人員通常采用局部圖像微分技術來獲取邊緣檢測算子，金屬平面材料表面缺陷的常用邊緣檢測模板包括Prewitt，Sobel 和Canny 運算符，下圖顯示了在相同缺陷樣本上這些原始運算符的檢測結果。
這些模板也有自己的缺點，許多研究人員對其進行了優化，以獲得更好的結果。下表列出了傳統版本和優化版本，并簡要比較了這些運算符的優缺點。
方法2：基于頻譜的方法
在光照變化和偽缺陷干擾的情況下，許多統計方法都不可靠。幸運的是，研究人員發現圖像在變換域中更有可能被分離出具有不同特征的信息，并且有可能找到比像素域中的直接處理方法更好的缺陷檢測方法。下表總結了一些轉換域方法，以下是這些類別的幾種典型方法的比較。
其中，小波變換具有更強的自適應能力，非常符合人的視覺特征，它不僅可以定位時頻窗口，而且可以根據窗口中心頻率的變化自動修改窗口大小。下圖顯示了二維圖像的二階小波分解的示意圖。
該二維圖像從標度j +1分解為標度J，然后分解為標度J-1。小波分解的結果是將圖像劃分為子圖像的集合。為了有效地從信號中提取信息并分析函數或信號，比例變換和移位運算已成為小波變換的顯著優勢。在實際的生產線中，由于諸如水滴，氧化物水垢，照明不均勻或不利環境等缺陷，金屬板和帶材的表面缺陷的檢測越來越具有挑戰性。
方法3：基于模型的方法
除了基于統計和頻譜的方法外，還有一種基于模型的方法。基于模型的方法通過通過參數學習增強的特殊結構模型將圖像塊的原始紋理分布投影到低維分布，從而更好地檢測各種缺陷。下表給出了這些類別的幾種典型方法的比較。
方法4：基于機器學習的方法
隨著人工智能技術的飛速發展，廣泛應用的機器學習在各個領域都取得了良好的效果。下表列出了幾種典型方法。
機器學習的本質是分析和學習數據(特征)，然后做出準確的決策或預測。2005年，Liu等人使用雙層前饋神經網絡將測試圖像的像素點分類為有缺陷的和無缺陷的。該任務的基本思想實際上是根據是否存在缺陷二分，因此仍可以歸類為缺陷檢測。卷積神經網絡(CNN)是當前基于監督方式最常用的深度學習網絡。Chen等進行了裂縫檢測 基于卷積神經網絡(CNN)和樸素貝葉斯數據融合方案的NB-CNN。考慮到缺陷形狀的多樣性，Zhou等改進了快速R-CNN，選擇了K-mean算法，根據“地面真相”的大小生成了錨框的長寬比，并將特征矩陣與不同的接收域融合在一起。該方法具有較好的微觀缺陷檢測能力，在光線變化時仍能準確地識別出缺陷類型，易于移植到實際工業應用中。隨后，隨著支持向量機(SVM)的發展和改進，這種值得稱贊的支持數據二進制分類的廣義線性分類器通常被廣泛用于區分有缺陷和無缺陷區域。Ghorai等認為分類器在缺陷檢測中的性能在很大程度上取決于特征和分類器的組合。因此，他們對不同的特征集(Haar，DB2，DB4)和不同的分類器(SVM和向量值正則化核函數逼近(VVRKFA))進行置換和組合，并觀察缺陷檢測結果。
實驗表明，具有第一級Haar特征的VVRKFA的性能在所有特征分類器組合中排名第一。與上述缺陷檢測方法不同，He和Xu等顛倒了ROI提取和對象分類的一般順序，他們提出了一個新的對象檢測框架：分類優先級網絡(CPN)。首先通過多組卷積神經網絡(MG-CNN)對測試圖像進行分類，然后輸出更多的稀疏和合理的特征組。根據分類結果，CPN從可能包含缺陷的特征組中退回了缺陷邊界框，并分別在鋼板和鋼帶上進行了測試，檢出率分別為94%和96%。然而，在現實世界的工業生產線中，收集和標記大量圖像樣本是不切實際的，并且所得圖像樣本更加未被標記。為了用少量的訓練樣本獲得滿意的結果，數據擴充以及遷移學習是訓練網絡的關鍵要素。例如，Yun等使用條件卷積變分自編碼器(CCVAE)作為數據增強方法，并通過使用CCVAE學習給定缺陷數據的分布來生成各種缺陷圖像。實驗表明，在使用CCVAE進行數據增強的情況下，準確性可以從96.27%提高到99.69%，F值也可以從96.27%提高到99.71%。通過應用轉移學習，Neuhauser等人使用在ImageNet上預訓練的網絡權重作為學習過程的初始權重;他們利用轉移學習來加快培訓過程，并提高檢測擠壓鋁材缺陷的性能。遷移學習的基本前提是可以擴展網絡的特征提取功能。如果源域和目標域之間的相似度不夠，則結果將不理想。
