1?深度學(xué)習(xí)在工業(yè)領(lǐng)域落地的痛點(diǎn)

人工智能自誕生以來(lái)，經(jīng)歷了早期的專家系統(tǒng)、機(jī)器學(xué)習(xí)，到當(dāng)前持續(xù)火熱的深度學(xué)習(xí)和大模型等多次技術(shù)變革和規(guī)模化商用。隨著算力、算法和軟件平臺(tái)的快速進(jìn)步和不斷成熟，工業(yè)逐漸成為了深度學(xué)習(xí)技術(shù)的重點(diǎn)探索方向，工業(yè)AI智能技術(shù)應(yīng)用而生。

基于深度學(xué)習(xí)的工業(yè)缺陷檢測(cè)方法可以降低傳統(tǒng)人工質(zhì)檢的成本，提升檢測(cè)的準(zhǔn)確性與效率，因而在智能制造中扮演重要角色。

傳統(tǒng)的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)都依賴大量的標(biāo)注數(shù)據(jù)，并在監(jiān)督下訓(xùn)練出表現(xiàn)優(yōu)異以及具備一定泛化能力的模型。但隨著感知環(huán)境和應(yīng)用場(chǎng)景的變化，模型的訓(xùn)練會(huì)存在以下問(wèn)題：

（1）缺陷樣本匱乏，生產(chǎn)過(guò)程中缺陷數(shù)據(jù)的數(shù)量和種類較少，數(shù)據(jù)不均衡，無(wú)法窮舉生產(chǎn)過(guò)程中缺陷的種類和形態(tài)。

（2）數(shù)據(jù)的標(biāo)注和清洗周期長(zhǎng)，需要耗費(fèi)大量的人力和物力。

（3）訓(xùn)練好的模型性能會(huì)大幅度下降，重新訓(xùn)練周期成本高。

（4）多模態(tài)數(shù)據(jù)的跨域?qū)W習(xí)和特征級(jí)數(shù)據(jù)融合。

上述問(wèn)題都成為工業(yè)AI落地的障礙，如何解決數(shù)據(jù)標(biāo)注效率、跨域?qū)W習(xí)、以及數(shù)據(jù)管理等問(wèn)題，訓(xùn)練更具泛化性、魯棒性和場(chǎng)景適應(yīng)性的模型成為學(xué)術(shù)界和工業(yè)界面臨的共同課題。

2?前沿技術(shù)探索和進(jìn)展

對(duì)于一些傳統(tǒng)方法無(wú)法有效解決的場(chǎng)景，如微小缺陷和瑕疵的檢測(cè)、非結(jié)構(gòu)化環(huán)境下的物體分揀等，可以歸類為“少因素高復(fù)雜度”的問(wèn)題，是深度學(xué)習(xí)發(fā)揮重要作用的領(lǐng)域，目前也是工業(yè)AI落地應(yīng)用較多的場(chǎng)景，而隨著場(chǎng)景機(jī)理的計(jì)算復(fù)雜度提升，深度學(xué)習(xí)可以發(fā)揮更大的作用。

為了提升深度學(xué)習(xí)在工業(yè)領(lǐng)域的落地效率，降低項(xiàng)目實(shí)施和部署的周期，華漢偉業(yè)主要從以下幾個(gè)方面進(jìn)行技術(shù)探索和實(shí)踐：

（1）缺陷數(shù)據(jù)生成：利用人工智能技術(shù)自動(dòng)完成缺陷仿真數(shù)據(jù)的生成，基于AIGC技術(shù)建立現(xiàn)實(shí)世界到數(shù)字世界的映射關(guān)系，將現(xiàn)實(shí)世界中工件的物理屬性（如物體的大小、紋理、顏色等）高效、可感知的實(shí)現(xiàn)數(shù)字化，可以基于少量樣本實(shí)現(xiàn)多種屬性樣本的生成，從而解決缺陷樣本匱乏的問(wèn)題。

（2）數(shù)據(jù)管理：生產(chǎn)過(guò)程中，有多條產(chǎn)線、多個(gè)工位的數(shù)據(jù)需要進(jìn)行管理，需要人工進(jìn)行數(shù)據(jù)的管控，缺乏數(shù)據(jù)的管理系統(tǒng)，方便后續(xù)的繼承和持續(xù)訓(xùn)練。華漢偉業(yè)通過(guò)數(shù)字化技術(shù)，實(shí)現(xiàn)多工位、多場(chǎng)景的數(shù)據(jù)系統(tǒng)化管控，降低人為因素對(duì)數(shù)據(jù)管控的影響。

（3）數(shù)據(jù)標(biāo)注：當(dāng)前監(jiān)督學(xué)習(xí)仍為工業(yè)AI落地的技術(shù)方向，為了提升標(biāo)注效率，降低標(biāo)注的時(shí)間消耗，華漢偉業(yè)從交互式標(biāo)注入手，提升標(biāo)注效率，并且提供了多種選擇，如基于二值化的標(biāo)注、基于特征分割的標(biāo)注、基于大模型的標(biāo)注，滿足多樣化的標(biāo)注需求。

（4）多模態(tài)數(shù)據(jù)融合：工業(yè)生產(chǎn)過(guò)產(chǎn)中，很多缺陷無(wú)法從某一特定角度或者單一傳感器全部拍攝出來(lái)，需要多角度光源照射、多傳感器協(xié)同拍攝，實(shí)現(xiàn)多種瑕疵缺陷的可視化。為了提升多角度、多姿態(tài)圖像特征級(jí)別的融合，提升缺陷檢測(cè)準(zhǔn)確率，華漢偉業(yè)從多模態(tài)特征融合、基于圖像數(shù)據(jù)流的特征融合等多方面進(jìn)行技術(shù)探索，提升模型的泛化性能。

（5）降低樣本數(shù)據(jù)依賴性：為了降低訓(xùn)練過(guò)程中對(duì)于樣本的依賴，提升模型在不同產(chǎn)線和不同場(chǎng)景的適應(yīng)能力，華漢偉業(yè)從小樣本學(xué)習(xí)、遷移學(xué)習(xí)和異常檢測(cè)，降低對(duì)缺陷樣本數(shù)量的要求。

3?產(chǎn)品和解決方案

華漢偉業(yè)研發(fā)的人工智能檢測(cè)系統(tǒng)iSense，實(shí)現(xiàn)在新能源、3C電子制造、汽車電子等領(lǐng)域的落地實(shí)踐。系統(tǒng)涵蓋圖像采集、數(shù)據(jù)管理和結(jié)果輸出等功能，整體軟件架構(gòu)如圖1所示。

（圖 1  iSense軟件架構(gòu)）

針對(duì)工業(yè)制造場(chǎng)景的特殊屬性，沉淀了高精度算法模型，可滿足行業(yè)普遍的算法需求。iSense 提供了豐富產(chǎn)品功能，如旋轉(zhuǎn)目標(biāo)檢測(cè)、對(duì)比學(xué)習(xí)、異常檢測(cè)、多圖像分割等特色化解決方案，助力檢測(cè)模型快速迭代。

（圖 2  iSense產(chǎn)品功能特性）

iSense AI視覺(jué)檢測(cè)平臺(tái)主打“1個(gè)iSense平臺(tái)+N種模態(tài)+適配X應(yīng)用場(chǎng)景”的亮點(diǎn)特質(zhì)；打造N種模態(tài)，涵蓋：2D+AI、2.5+AI、3D+AI、2D+2.5D+3D+AI......等N種模態(tài)組合。

該系統(tǒng)針對(duì)底層算法全新升級(jí)，深度客制化成像系統(tǒng)實(shí)時(shí)把控，從環(huán)境、設(shè)備、產(chǎn)品端全流程細(xì)節(jié)調(diào)整，一鍵跨區(qū)域遷移學(xué)習(xí)，節(jié)省訓(xùn)練時(shí)間，多種數(shù)據(jù)增強(qiáng)功能，滿足不同場(chǎng)景數(shù)據(jù)及遷移應(yīng)用能力。

（圖 3  iSense產(chǎn)品亮點(diǎn)）

iSense具備持續(xù)學(xué)習(xí)、帶噪學(xué)習(xí)、自動(dòng)樣本生成等優(yōu)勢(shì)，提升工業(yè)AI落地的效率。

（圖4  iSense產(chǎn)品核心技術(shù)優(yōu)勢(shì)）

除了降本增效外，iSense視覺(jué)檢測(cè)更高維的價(jià)值在于打通生產(chǎn)各環(huán)節(jié)的數(shù)據(jù)鏈，幫助制造商企業(yè)實(shí)現(xiàn)連續(xù)化生產(chǎn)過(guò)程中缺陷數(shù)據(jù)的可追溯，軟件可對(duì)數(shù)據(jù)做挖掘、處理和分析，實(shí)現(xiàn)工藝流程和產(chǎn)品品質(zhì)的改造升級(jí)。

（圖 5  iSense產(chǎn)品E2E快速部署）

iSense產(chǎn)品界面，如圖6所示。

（圖6  iSense系統(tǒng)產(chǎn)品界面）

4?iSense行業(yè)應(yīng)用案例探索

隨著深度學(xué)習(xí)技術(shù)的飛躍，AI快速解決問(wèn)題和兼容產(chǎn)品快速換型方面的優(yōu)勢(shì)逐漸凸顯，AI視覺(jué)質(zhì)檢作為制造細(xì)分領(lǐng)域中相對(duì)剛需、成熟的場(chǎng)景成為廠商優(yōu)先考慮、資本高度青睞的行業(yè)。

iSense 針對(duì)于工業(yè)檢測(cè)行業(yè)的遇到的痛點(diǎn)難點(diǎn)等問(wèn)題，以“多模態(tài)+強(qiáng)遷移+快速部署”三大關(guān)鍵點(diǎn)，實(shí)現(xiàn)技術(shù)性突破，滿足企業(yè)所需。

以密封釘焊接檢測(cè)為例，密封釘焊接缺陷形態(tài)豐富，難以界定其形態(tài)邊緣；檢測(cè)區(qū)移動(dòng)頻繁，缺陷位置具有隨機(jī)性；部分小缺陷混雜于焊灰或清洗圈中等，對(duì)機(jī)器視覺(jué)檢測(cè)提出了不小的挑戰(zhàn)。

iSense基于光度立體技術(shù)的核心邏輯，將2D圖像的紋理信息與3D圖像的形貌信息進(jìn)行異源數(shù)據(jù)融合，結(jié)合深度學(xué)習(xí)技術(shù)，完成表面焊接質(zhì)量檢測(cè)。檢測(cè)效果達(dá)到掃描速度50mm/s，漏殺率為0% ，過(guò)殺率<1%，很好地解決了上述焊接檢測(cè)痛點(diǎn)。

而同理在頂蓋焊檢測(cè)中，用異源融合深度學(xué)習(xí)對(duì)R角位置進(jìn)行分類判定，傳統(tǒng)算法+深度學(xué)習(xí)(二次判定)，可解決焊道魚(yú)鱗紋噪聲&起焊點(diǎn)成像極易導(dǎo)致傳統(tǒng)算法誤檢，能檢測(cè)0.1mm的針孔，過(guò)殺＜0.5%，漏檢0%。

在方殼電芯膜后缺陷檢測(cè)案例中，更是采用了2D+2.5D+3D+AI綜合應(yīng)用，采用多角度成像+AI的檢測(cè)方案，使得具有高反光藍(lán)膜在不同角度光源中總能在某種打光中清晰成像，無(wú)過(guò)曝或欠曝，保證缺陷的準(zhǔn)確識(shí)別。

（圖7  iSense多種成像技術(shù)）

深度學(xué)習(xí)檢測(cè)方法在探究發(fā)展的過(guò)程中，一方面，需要不斷扎根實(shí)際應(yīng)用場(chǎng)景，牢牢抓住了開(kāi)發(fā)者和企業(yè)智能化升級(jí)的需求，降低人工智能技術(shù)的應(yīng)用門檻；另一方面，還需要與更多制造業(yè)廠商深度適配并融合，形成了軟硬協(xié)同優(yōu)勢(shì)。

可以看到，華漢偉業(yè)iSense AI檢測(cè)軟件以快速場(chǎng)景自適應(yīng)能力、多場(chǎng)景的應(yīng)用開(kāi)發(fā)能力以及產(chǎn)線快速落地能力，不斷拓寬技術(shù)創(chuàng)新邊界，將有效助力智能工廠、無(wú)人工廠在制造行業(yè)的大規(guī)模落地。