機器視覺是計算機視覺的一個分支,工業自動化領域中的視覺控制或視覺應用,主要指的是通過前端光學攝像頭,從采集到的數字化圖像中提取相關信息,進行分析處理之后,用于對生產線流程或質量的控制,以代替重復性人工操作。目前,機器視覺在工廠生產環節中的實際應用包括:對生產工件的完整性質量檢測、識別、分類、零件位置及方向、尺寸測量、讀碼識別追溯、表面/色差檢測、自動化流水線作業等等。可以說,機器視覺為流水產線、自動化設備安裝上了一雙“眼睛”,能夠提供全天候、高一致性、高可靠性的檢測結果,增添了工廠生產的智能化水平,因而也成為了邁向智能制造的一項重要技術。
根據有關機構的統計數據顯示,在2019年,全球用于工業自動化領域的機器視覺技術的市場規模達53.7億美元左右,預計到2023年將達122.9億美元,年復合增長率高達21%,市場潛力巨大。
從整體供應鏈來看,參與機器視覺系統開發的廠商大致上可以分為上游底層開發商,含核心零部件和軟件開發商;中游從事二次開發的設備集成和軟件服務商;以及下游所面對的各類機器視覺應用廠商。其中,核心零部件及軟件供應商主要包括光源、鏡頭、工業相機、圖像采集卡、圖像處理軟件等類型廠商,而在整個成本構成中,零部件及軟件開發的費用基本上占了約80%的比例,可謂是重中之重。光源供應商有OPT奧普特、銳視光電等;工業相機的主要品牌有Basler、堡盟、DALSA、Point Grey、Images Source等;市場上較知名的圖像軟件包有Halcon(MVtec)、VisionPro(康耐視)、免費開源庫Opencv、MIL(Matrox)等;運動控制卡供應商有固高、雷賽、研華等等。
目前機器視覺在工業控制領域大多屬于二次開發層面,形式主要包括系統集成以及組裝生產自動化專機等等,要求開發商能夠掌握不同生產制造環境中的Know-How技術,設計出有針對性的產品或集成方案,視覺點膠控制、視覺螺絲機控制、視覺定位+飛拍、視覺檢測等電子產品后段制造流程都是現在市場上的開發熱點。大部分廠商采用的都是“軟件平臺+視覺開發包”的開發模式,開發包基于軟件平臺對常用各種圖像處理算法進行封裝,軟件工程師可直接調用封裝好的算法,實現各種復雜的圖像處理和分析功能,大幅降低了二次開發的難度和工作量。
圖1 機器視覺產業供應鏈組成
圖2 工業自動化領域機器視覺應用分析(資料來源:智研咨詢)
視覺應用的三大層面難題
但就實際應用而言,在目前機器視覺+運動控制方案的實施過程中,各種“門檻”依然較高,問題主要來自于三個方面:一是,對于大部分技術開發工程師來說,機器視覺技術是一個全新的領域,要學習一種新的編程語言(如C++)存在一定的難度,需要花費大量的時間和精力,加上視覺項目一般都是非標的,開發者的經驗非常重要,普通電氣工程師要想快速掌握機器視覺應用的編程和調試,絕非易事。
其次,對于設備制造商而言,為了提高工廠的生產效率,制造業產線升級的需求迫切,機器視覺的應用已經成為其中的一個重點,但機器視覺的硬件投資成本一直居高不下,令他們望而卻步;除了硬件投入之外,往往后期還需要高薪聘請視覺工程師對買回來的視覺系統進行開發和維護,這無疑又加重了工廠的人力成本。如何能夠有效地控制投資成本,是他們的主要訴求點,例如是否可以既經濟又方便地在現有設備系統的基礎上添加機器視覺功能等。
另外,對于終端用戶來說,在使用機器視覺技術的過程中會發現,機器視覺和自動化控制(流程控制、工藝控制等)往往分屬于兩套不同的系統之中,兩者之間常常可能會由于通訊等多種因素而導致整個系統的不穩定(如出現停機、停線等狀況)。尤其是在當前多品種、小批量、柔性化的生產模式下,產線的頻繁更換,增加了對機器視覺系統流程的修改和調試時間,從而大大影響了工廠產能,因此,如何讓設備在生產中更加穩定,同時操作也更為便捷,能夠滿足產線快速調整和切換的需要,是機器視覺技術開發的一個課題。
機器視覺與運動控制的無縫集成
一般來說,機器視覺+運動控制應用大多數硬件架構都是采用一臺控制器,通過外部連接視覺系統及產線上各個部位的工業智能相機及光源,視覺信號通過線纜和串口被傳輸到控制器中。在內部軟件框架中,以常見的計算機視覺為例,視覺程序一般位于Windows系統中的非實時用戶模式中,進行代碼分析和算法處理;而PLC工藝流程控制則多位于實時內核模式之中。由于非實時用戶模式的任務執行機制采用的是優先級別,因此當CPU的負荷過高、內存過大、處理流程過多時,就可能會出現卡頓的現象,使得在非實時用戶模式下的機器視覺在完成同一檢測任務時最終所需要花費的時間卻不一樣,導致減慢生產節拍,影響生產效率。
為了解決這一難題,針對機器視覺應用,倍福開發的TwinCAT Vision機器視覺解決方案將視覺技術集成在其TwinCAT統一的通用化控制技術平臺上,其中的圖像處理功能被添加到整合了PLC、運動控制、機器人、高端測量技術、物聯網及HMI的通用控制平臺TwinCAT軟件之中,通過這個統一的軟件平臺,來完成工廠所有的控制任務。
與傳統的視覺應用方式相比,倍福TwinCATV ision同樣在一臺控制器上,除了集成運動控制、I/O控制、PLC控制之外,外部工業相機被直接接入控制器中的機器視覺模塊中,在內部軟件架構上,TwinCAT Vision將采集的圖像信號通過GigE相機驅動,傳遞到實時內核模式下的PLC機器視覺與工藝流程控制系統中,以“時間片”的方式進行精準運行,與圖像處理相關的所有控制功能都可以在運行時系統中精確實時同步,從而消除了延遲,實時執行圖像處理算法。這種方案的優勢是,一臺控制器完成所有的控制任務,降低硬件成本,簡化系統;實時系統運行視覺任務,保證每一次執行響應的時間足夠穩定,加快生產節拍,提高工廠產能;任務內存間共享數據,多任務配合(如視覺+運動控制、機器臂/人等)更高效方便;在倍福TwinCAT平臺上,只需要用到基于IEC編程語言(ST/LD等),且可延續原先PLC編程技巧和習慣,縮短了開發周期,降低了人力成本,同時還可運用倍福已經集成好的視覺功能塊進行代碼開發,為技術人員帶來了便利。
底層芯片技術、算法庫是核心
工業生產對機器視覺的運算速度和準確度要求較高,這些需要強大的底層技術來做支撐,例如CPU中央處理器芯片的性能、FPGA器件并行處理多級流水線的特點,以及專業視覺算法庫等等,以提高機器視覺系統的數據吞吐能力和數據處理能力。
今年5月,無錫信捷與英特爾攜手,發布了全新基于英特爾芯片的IoT工業控制器、智能相機等多款重磅產品。基于英特爾14nm Apollo Lake&Kaby Lake平臺,信捷推出的V200|V300系列IoT工業控制器具有強大的計算性能和優化的圖像處理能力,提供多種配置選擇。S200系列智能相機基于英特爾Apollo Lake平臺,采用IA+FPGA架構,集圖像采集、圖像處理和外部通訊于一體,支持130萬至1200萬像素,與傳統方案相比,S200系列智能相機滿載時最高表面溫度低于50℃,為智能制造提供了安全保證。另外,新的X-SIGHT VISIONSTUDIO軟件平臺具備超過2000個處理算子,包含常用的檢測、定位、標定、通訊、字符讀碼等,無需編寫代碼,拖拽組件即可完成開發,支持多線程多任務處理,并提供豐富的HMI交互模塊。據悉,除了此次發布會推出的產品和方案以外,信捷和英特爾在噴涂、打磨、人工智能識別、分揀等工業制造領域將展開全方位的合作交流。
而基于FPGA器件進行機器視覺的開發,可以通過編程方便地修改其內部的邏輯功能,從而實現高速的硬件計算和并行運算,是高性能嵌入式視覺系統的一種較為方便的解決方案,且功耗也較低,是未來計算機視覺系統的一個重要發展方向。
在視覺軟件方面,Vision Pro是康耐視開發的一款優秀的計算機式視覺軟件,特點是簡單易用,它的Quick Build快速原型設計環境將高級編程的先進性、靈活性與易于開發性相結合,協助制造廠商縮短開發周期時間。借助VisionPro,用戶可以訪問功能較強的圖案匹配、斑點、卡尺、線位置、圖像過濾、OCR和OCV視覺工具庫,以及一維條碼和二維碼讀取,以執行各種功能,如檢測、識別和測量等,VisionPro軟件可與廣泛的.NET類庫和用戶控件完全集成。此外,通過API連接VisionPro ViDi這款專為工業圖像分析設計的深度學習軟件,還能進一步優化為復雜檢測、元件定位、分類以及光學字符識別等應用場景。
一體化機器視覺集成方案
瞄準現有生產過程中視覺應用的“痛點”,從機器控制緊密結合的軟硬件集成方案入手,貝加萊推出的集成了鏡頭、工業相機、軟件在內的一體化視覺系統,是另一種實現方式。
這種軟硬結合的一體化集成視覺系統解決了視覺檢測應用中的同步性問題,首先是照明與成像的同步,對于視覺而言,照明的良好設計構成了視覺應用70%的成功權重,集成化視覺方案由于由同一控制器控制,使得照明的LED強度、頻閃和相機的對焦、曝光、成像過程在極高的速度下實現同步,從而保證了成像質量;二是視覺系統與自動化系統的同步,集成視覺方案令視覺應用與機器工藝、控制無縫融合,同時與貝加萊自身的控制、運動控制、I/O模塊一起,在POWERLINK架構下實現百μS級的同步,令到整體系統能夠達到更高的精度和速度。
另一方面,這種視覺集成方案對于現場集成應用的開發者非常便利,他可以不再需要了解各種鏡頭、相機、控制器、照明、通信接口的知識,僅需使用一個產品就可以去構建各種視覺應用,縮短了項目開發周期,大幅降低了工程時間與成本。利用貝加萊mapp技術框架提供的現成的軟件組件,通過較少的編程就可以輕松創建機器視覺應用程序,只需要點擊幾下即可將智能攝像頭捕獲的圖像集成到mapp View HMI應用程序中,攝像頭和照明參數以及觸發條件可隨時更改,使得產品換型和其它運行時間調整都非常容易實施。
實際上,在各種復雜的工業生產場景中,照明光源尤為重要,它直接關系到采集圖像的質量,例如圖像輪廓是否清晰、成像特征是否完美體現等等。為此,貝加萊的集成視覺系統還提供非常靈活的光源照明管理功能,包括背景光、光帶的模塊化設計,可-40°至+90°電動旋轉,并且內置了閃光控制器、支持多種顏色、大功率的快速響應,這些都可以根據現場應用進行配置,還可以實時修改曝光時間長度、角度、顏色等等,這些功能讓機器視覺應用變得更加靈活自如。
結語
機器視覺與運動控制的結合,為工業自動化產線的升級帶來一股新活力,也越來越多地被應用在非接觸檢測、測量場景中,用以提高加工精度、發現產品缺陷、進行自動分析與決策等,因而成為了先進制造的重要組成部分。目前來看,盡管機器視覺技術在工業自動化行業的應用牽涉到光學、電子、機械、工業軟件等多個不同門類的學科,技術難度仍然較大,某些特定領域的市場準入壁壘也較高;但顯而易見的是,機器視覺與運動控制技術相結合,促進了工廠產線自動化水平、產品品質管控、人力成本結構等方面的優化,進而提升了企業的綜合競爭力。未來,融合邊緣計算與深度學習等AI技術的機器視覺系統,將真正為機器植入“眼睛與大腦”,為邁向工業4.0時代做好準備。