【智慧城市網 產品評測】2021年12月第十八屆深圳安博會期間，上海海思智慧視覺領域總經理劉志揚先生在由深圳市安全防范行業協會、CPSE安博會共同主辦，CPS中安網承辦，希捷科技冠名的第十六屆中國安防論壇技術論壇上發表了主題演講，并在主題演講中發布了用于物聯網智能終端的新一代智能圖像處理引擎——海思越影®AI ISP。
劉志揚先生表示，越影是基于海思對ISP算法和場景的深厚積累，引入AI智能技術的最新成果，是海思對過去十余年傳統ISP技術的一次重大創新與自我突破，為行業樹立畫質的新樣板，可為千行百業物聯網智能終端提供領先的智慧視覺能力。
新一代AI ISP越影，能適應各個挑戰的極限場景，包含了五種主要功能與特性：
•超感光降噪，黑夜情況下信噪比比傳統的ISP提升了4倍。
•多光譜融合，噪度進一步降低的情況下，需要紅外補光，把多光譜的技術融合在一起，既能有全彩又能有細節。
•超級寬動態，在強烈的明暗對比的情況下，采取數據處理的技術，把動態范圍擴大12dB，同時獲得明亮細節和暗部細節。
•超級穩像，在運動條件下獲得穩定畫面。
•多維度感知，圖像技術和熱感技術、3D技術及雷達技術結合，形象感知的同時進行物理量的標注。
在主題演講當中，劉志揚先生對越影的能力和其職責進行了更詳盡的闡述。
首先，視覺占了整個人的信息量感知的80%以上。在產品研發過程中經過十幾年的積累，海思團隊發現圖像處理的幾個經典場景非常常見，處理起來也非常有挑戰。
比如夜間的低照度場景：
和白天相比只有千分之一亮度，在這個環境之下視頻就有大量的噪點，顏色紋理都會出現失真。這種情況下的圖像對后續處理、物體識別會增加很大的難度，存儲也會有很大的帶寬上的消耗。
第二種是強烈明暗反差情況，拍攝照片也會遇到到這個場景。逆光的時候導致拍攝主體，暗部很難看到細節，人臉識別也出現很大困難。
第三種是環境快速變化過程，比如車駛出隧道口的時候，曝光要不斷調整，但是如果速度很快的時候就會出現盲區，一片白或者一片黑，這種情況都有可能出現，會有安全隱患。
第四種情況是，移動攝像機越來越多，不管是個人DV還是汽車安裝的攝像機，都會出現視頻抖動的情況，這樣帶來的主觀體驗會非常差，碼率也會不斷上升，增加編碼器負擔。
最后一種是在雨雪霧和惡劣天氣下帶來的目標難以識別和可視距縮短，影響行車安全。
以上五個場景都是海思在圖像處理中發現的比較難以處理的情況，因為整個圖像從傳感器進入系統一直到處理器處理其實有很多環節。
解決以上五個場景的挑戰，可以通過一些物理的方式。比如可以加大鏡頭的充光量、加大圖像傳感器的感面；但是攝像機作為一個終端產品，數量龐大，這就意味著成本敏感。
以上的處理方式都會大幅度增加成本，如果能夠通過數字信號的處理器來解決，也就是ISP(圖像信號處理器)——如果通過算法、AI來解決的話，成本就會大幅度下降。
還有一些簡單的物理的方式，例如解決明暗反差強烈的場景問題，要加大動態范圍，這只能在數字信號領域解決，所以這些條件決定了ISP承擔了這部分職責并且非常重要。
傳統的ISP經過十幾年的發展有了長足的進步：不管是在清晰度還是動態范圍，3DNR、WDR等技術都得到了應用。
圖像質量不斷進步的情況下，也出現了一個瓶頸期，現在主要的問題是傳統的ISP這十幾個流水線環節，參數眾多——上千個參數。
業界都清楚，要適配一款新的傳感器和后端的ISP處理芯片，要花費長達三個月以上的時間。而且要具備專業能力的專業人士來調教。
未來傳感器的型號越來越多，手機、安防、汽車、無人機等等，不同板面，不同特性越來越多，會大量消耗資源，這是痛點。以及畫質進一步提升也遇到了很大難題——大量的投資、精細調優之后，性能也只能提升很有限。
這幾年AI技術有了長足的進步，算力正在變得越來越便宜，軟件和生態變得越來越成熟。所以海思率先把AI技術引進了ISP技術，帶來的好處是非常顯著的：
01圖像調優智能化了，調優時間大大縮短，也不需要很多專業人士投入到這項工作里去，有效提高了勞動生產力。
02我們把算力和大數據結合起來，帶以前傳統的畫質極限上又增加了一塊，以前的很多參數平衡是像跳跳板一樣，現在通過智能識別可以把整個畫面分割得更加精細，根據不同場景和物體來做配置，突破了很多以前畫質的極限。
其次以前攝像機一旦部署了以后，基本上能力就固定了。AI的ISP部署后，會不斷根據所處的場景、補充數據進一步學習，相機會越來越智能。這是在AI的ISP相比傳統ISP重大的優勢。
AI ISP有很高的門檻，在算法、數據、算力等方面。在算法上，AI ISP基于對圖像質量有PQ調優經驗，多年的ISP迭代才能作為它的基礎。第二，AI需要有數據來作為模式識別、模型的抽取的支持。第三，是要有一定的算力。終端作為一個場景，成本有一定的限制，功耗有一定的限制，體積有一定的限制。完成特定的功能、在特定的場景，消耗的算力小的情況下，設計猜是更優的。在這三方面，海思都有深厚的積累，因此為發展AI ISP技術打下良好的基礎。
據劉志揚先生介紹，海思最新的越影AI ISP具有以下五大特性。
01超感光降噪：
通過抽取噪聲和有效信號的模型，以及大量的數據訓練，形成智能AI網絡。智能算法能夠在光照條件非常差的情況下區分出小信號和噪聲，從而進行噪聲消除。
02多光譜融合技術：
通過紅外補光，在ISP將可見光、850nm、940nm等常見光譜融合，在不增加光污染的同時，最終使圖像效果達到暗光全彩，細節紋理豐富，過曝區和非過曝區準確處理，解決低照環境下可見光感光能力不足所造成的信噪比低和細節損失的問題，實現圖像色彩與細節的雙重保證。
03超級寬動態：
基于價值目標進行場景識別自適應多重曝光，對不同曝光時間的長幀、中幀、短幀的圖像數據，通過智能算法進行融合，使圖像獲得暗、亮區域的完美整合，亮處不過曝、暗部細節不丟失。
逆光場景下，動態范圍高達120dB。同時基于場景識別的智能曝光策略，在光線快速變化的場景下，能夠避免圖像畫面瞬間過暗或過曝，融合之后的數據位寬20bit，動態范圍相對于上一代提升12dB。
04數字防抖：
基于六軸IMU對動態視頻智能修正，有效減少由于外部環境晃動或抖動對視頻造成的影響、大幅提升各種振動環境下視頻穩定性。在交通管理等場景中，防止高頻小幅的震動導致目標模糊、影響目標的有效識別。
05多維融合：
結合紅外熱感測溫相機，紅外熱感與視覺的融合，遠程非接觸測溫，廣泛應用于疫情防控的各種場景中；智能零售，3D結構光/ToF與視覺的融合，高效支付，提升支付安全；雷達視頻一體機，雷達與視覺的融合，對橫向來車實時精確預警，提升復雜場景的交通安全。
圖像處理之于終端視覺感知設備，相當于人眼之于人體的作用，承載著對外界環境80%以上的信息獲取，重要性不言而喻。
海思在傳統ISP畫質技術方面長期積累，結合在AI架構和性能上創新，深度融合推出新一代的智能圖像處理引擎— 越影®AI ISP，使能智能終端在全場景視覺能力更智能，更清晰，為圖像處理帶來了變革式的演進。
劉志揚先生表示：“成就”和“挑戰”這兩個關鍵詞，不僅適用于這個時代，這個行業，也非常適用于海思。海思將專注于產業和產品，專注于技術，完成技術到產品的跨越、技術對產業的創新。
上海海思將堅持在智慧視覺領域的投入，服務于千行百業產業伙伴，為智能終端帶來全場景、更智能、更清晰的視覺能力。
移動版
智慧城市網APP
智慧城市網小程序
微信公眾號
