人工智能時代圖像傳感器的新方向

　　【儀表網 儀表上游】 導讀：隨著人工智能時代的來臨，相應的芯片產品和行業也產生了相應的新方向。在人工智能的各個分支中，機器視覺無疑是應用最廣泛的方向，它支撐著諸如人臉檢測、工業異常檢測、手勢識別等諸多重要的應用。顧名思義，機器視覺是使用機器學習/人工智能的方法來分析視覺信號，并且通過人工智能直接產生分析結果。因此，機器視覺天然就需要一個圖像傳感器來作為輸入信號，而隨著機器視覺和人工智能的逐漸發展，機器視覺與圖像傳感器芯片的結合成為“智能圖像傳感器”也是順應了技術發展的脈絡。
 

　　如果我們進一步分析智能圖像傳感器，我們認為又可以分為兩類。第一類是圖像傳感器與人工智能計算相結合，即圖像傳感器模組除了可以輸出圖像之外，還可以直接輸出人工智能算法計算的結果。這樣的智能圖像傳感器我們可以稱之外“人工智能賦能的圖像傳感器”，它們往往能做到非常低功耗的人工智能分析，因此在物聯網和可穿戴式智能設備中有重要應用。
 

　　而另一類智能圖像傳感器則是為人工智能應用專門設計的圖像傳感器，其輸出的內容和方式往往與傳統的圖像傳感器有區別。這類智能圖像傳感器可以稱之為“為人工智能賦能的圖像傳感器”。這類圖像傳感器中的一種重要圖像傳感器是事件驅動傳感器，它突破了傳統圖像傳感器固定幀率的特性，從而可以為一些重要的工業和智能車應用提供支撐。
 

　　當然，我們也可以預期會出現同時結合上述兩類特性的智能圖像傳感器，為各類人工智能應用提供硬件支持。目前，Sony是在智能圖像傳感器領域布局最多的巨頭，同時我們也看到了一些初創公司在這個方向持續地探索新的技術和應用。
 

　　人工智能賦能的圖像傳感器
 

　　如前所述，圖像傳感器為機器視覺這一最重要的機器視覺應用提供輸入信號。在傳統的機器視覺芯片解決方案中，圖像傳感和人工智能算法的運行在不同的硬件上完成，圖像傳感器提供圖像信號，而處理器或者AI加速芯片執行人工智能算法。然而，這樣的做法在強調低功耗和能效比的移動端或IoT智能設備中，將會造成能量的浪費，并且難以處理一些需要常開(always-on)的應用場景。
 

　　舉例來說，如果拿目前流行的手機端機器視覺解決方案來說，通常的做法是，手機SoC中的主處理器AP打開圖像傳感器，圖像傳感器將圖像信號發送給SoC，并且由SoC中的處理器，或GPU，或AI加速器來跑人工智能算法，并且輸出結果。在這個過程中，能效比有幾個瓶頸。首先是圖像傳感器必須把圖像傳送給SoC，這期間需要使用MIPI等接口，存在額外功耗開銷。其次，是SoC在整個過程必須處于喚醒狀態，還通常必須運行整個操作系統，因此即使AI加速器能以很高的能效比運行算法，但是整個過程中能量消耗最大的部分可能并不是人工智能算法，而是SoC處于喚醒狀態并且運行整個操作系統帶來的額外功耗。
 

　　這樣的功耗開銷在手機端只需要偶爾運行機器學習的場景或許可行，但是在IoT和可穿戴設備中，尤其是需要執行常開式機器視覺算法的場合，就成為了瓶頸。
 

　　人工智能賦能的圖像傳感器就可以解決這個問題。具體來說，這樣的智能圖像傳感器在圖像傳感器模組中集成了人工智能算法的運行模塊，因此可以直接輸出機器視覺算法的結果，而這樣運行機器視覺的方法也常被稱為“傳感器內運算(in-sensor computing)”。通過傳感器內計算，機器視覺算法的運行單位從SoC換到了圖像傳感器，因此在運行機器視覺算法時，SoC無需處于喚醒狀態，也無需運行操作系統，而是可以處于低功耗的待機狀態。另一方面，傳感器內運算由于整個系統比較簡單，并沒有運行操作系統等額外開銷，并且有為機器視覺算法量身定做的加速器芯片模組，因此能效比可以做到很高。最后，在接口方面，通常可以實現由智能圖像傳感器在檢測到重要輸出時才去以中斷的方式去喚醒SoC，并且只需要傳遞機器視覺算法運行的結果，因此數據傳輸的開銷也大大降低了。
 

　　在人工智能賦能的圖像傳感器中，Sony已經于去年首先發布了帶有傳感器內計算功能的智能圖像傳感器IMX500，可望使用在各類需要低功耗高性能邊緣機器視覺應用的領域。除此之外，Sony還發布了相應的開發平臺Aitrios，能以訂閱服務的形式為用戶提供用于智能圖像傳感器的模型開發和部署服務。
 

　　賦能人工智能的圖像傳感器
 

　　另一類新的智能圖像傳感器是可以賦能人工智能機器視覺的圖像傳感器。在傳統的圖像傳感器中，幀率是固定的(通常在數十到上百幀每秒)，即無論外部條件如何，圖像傳感器都會以同樣的頻率采集圖像并且傳輸給機器視覺算法。然而，在工業檢測(如振動監測)和智能駕駛等應用中，固定幀率得到的圖像并不是最優化的圖像采集方式。具體來說，工業檢測和智能駕駛中，機器視覺最關注的是事件；當沒有發生任何事件(例如，圖像沒有變化)時，即使以很低的幀率采集圖像甚至不采集圖像都可以。然而，當發生事件時(例如工業檢測中機器開始振動，智能駕駛中出現來車)，使用數十幀每秒的幀率又顯得不夠，而希望以千幀每秒甚至更高的幀率去采樣。
 

　　在這種需求中，事件驅動視覺傳感器就是一種為機器視覺專門賦能的新智能圖像傳感器。顧名思義，事件驅動視覺傳感器關注“事件”，因此在檢測到相關事件發生時，可以以非常高的幀率(1000-10000 fps)來采集圖像，而在沒有事件發生時，則可以以很低的幀率采樣以降低功耗。
 

　　在傳感器巨頭領域，Sony在事件驅動傳感器領域布局最多，在一年多前收購了瑞士的相關初創公司Insightness，而三星也在積極研發相關技術，并且在ISSCC等頂級芯片會議上發表了相關研究論文。初創公司領域，事件驅動視覺傳感器領域最重要初創公司是法國公司Prophesee，該公司目前已經獲得了來自博世、Intel、華為等業界巨頭總計近七千萬美元的投資，并且與各大公司進行合作。在今年九月，Prophesee更是和Sony強強聯手推出了IMX636和IMX637，預計在未來我們會看到更多這樣的事件驅動視覺傳感器出現在市場上，為各類新機器視覺應用賦能。
 

　　智能視覺傳感器的中國力量
 

　　在智能傳感器領域，隨著人工智能的發展，我們認為中國芯片公司也將會在這個領域越來越活躍。
 

　　首先，從圖像傳感器總體領域來說，中國擁有圖像傳感器領域在全球市場僅次于Sony和三星的韋爾半導體，因此中國在這個領域的基礎并不落后。
 

　　其次，在人工智能芯片領域，中國擁有全球最活躍的初創公司生態，同時也有來自國家的大力支持，因此我們認為將中國半導體行業在人工智能領域的優勢和圖像傳感器領域的積累結合起來并推出人工智能賦能的圖像傳感器產品只是時間問題。例如，最近中國的初創人工智能芯片公司時識科技(Synsense)和前述的法國公司Prophesee達成了合作將把時識科技的低功耗人工智能芯片技術和Prophesee的事件驅動圖像傳感器技術集成以完成超低功耗邊緣端機器視覺解決方案，相信未來會有更多的中國公司之間的合作以推出中國自己的智能圖像傳感器。
 

　　最后，在事件驅動傳感器領域，韋爾半導體也收購了中國的相關初創公司芯侖，我們未來也期待中國公司能在相關領域推出產品以滿足機器視覺的需求。