開芯課堂是黑芝麻智能打造的一檔技術分享類欄目，與大家分享我們的領先技術，展示我們的產品成果，通過專業技術沙龍、視頻直播、深度圖文，共同交流探討，一起進步，一起探索黑科技的世界。
什么是ISP？
ISP是Image Signal Processor 的簡稱，也就是圖像信號處理器，主要用來處理Image Sensor（圖像傳感器）的輸出數據。
由于鏡頭和sensor在不同的制造商之間差異很大，以及拍攝的光線條件多樣，鏡頭和sensor需要根據環境做適應，就像人眼要通過瞳孔縮放，適應環境明暗一樣。
ISP在能夠有效糾正和統一這些差異方面發揮著非常重要的作用，并且可以有效地將不同光譜特性的sensor數據按照預期需求統一實現。如果沒有ISP模塊，我們將很難生成人類預期的圖片質量。
圖1是常見的RGB的Bayer sensor處理的結果，從圖中可以看出，在同樣光源下不同sensor做白平衡之后色彩有比較明顯的差異，很難用統一的色彩校正矩陣來統一處理，這給當前一些基于RAW圖的AI感知算法（不帶ISP）的實際應用落地帶來挑戰。
圖1. 不同RGGB-Bayer sensor的色彩處理(白平衡后用統一的色彩校正矩陣處理)
更進一步，當前有很多sensor的光譜特性并不局限于RGB三色的Bayer模式，圖2是RCCB sensor及RGBIr sensor的ISP處理結果與原始圖像。在這些更加特別的光譜組合中，原始色彩更是與用戶直觀感知差別很大，如果缺少ISP的處理，后端感知算法處理這些數據就比較困難。
圖2. ISP處理不同光譜的Sensor數據：
上排:RCCB Sensor, ISP處理結果及原始數據顏色；下排: RGBIr Sensor, ISP處理結果及原始數據顏色
自動駕駛ISP的特殊性
自動駕駛對ISP提出了更高的設計需求，首先是低延時，手機拍攝可以允許1到2秒的延時，但這對自動駕駛而言是決不允許的，車輛“致盲”2秒在高速上就意味著跑出去50多米，這已經不能用危險來形容了。
因此車端芯片的ISP需要毫秒級的高處理率和高傳輸率。
此外自動駕駛汽車的ISP要求全時在線，面臨的場景也豐富的多，諸如被強光直射、黑夜、強弱光交替等極端場景，車端芯片自動駕駛的ISP需要解決這些挑戰。
黑芝麻智能NeuralIQ ISP優勢
色彩還原和渲染
自動駕駛場景中很多與顏色相關的重要信息，比如紅綠燈、道路地面上的各種標志線等等，都是后端感知算法識別場景的重要目標。在一些特殊光照條件下，這些色彩還原的難度增大，渲染出的色彩準確性降低，會給感知算法帶來不少困惑。
圖3是一個雨天路面場景，潮濕地面的反光和陰雨天較差的光照條件使得對比廠商的ISP產品整體顏色偏淡，對比度偏低，道路中心的對向車道分隔“雙黃線”顏色很淺，就有可能被誤識為同向車道分隔白線，從而使得自動駕駛做出錯誤的選擇和判斷，而給用戶帶來危險。經過NeuralIQ ISP處理之后的圖像，就準確恢復了原本的色彩。
圖3. 陰雨天道路場景色彩恢復：NerualIQ ISP （左）和其他廠商（右）ISP處理效果實拍圖
不同傳感器的噪聲一致化
不同的sensor在感光靈敏度和光譜方面都有自身的特點，從而在噪聲形態和噪聲強度方面各不相同。感知算法在處理圖像時，對于輸入圖像的信噪比（signal-to-noise ratio，SNR）有一定的要求，并且可處理的噪聲形態取決于訓練數據。可想而知當輸入圖像的噪聲形態和噪聲強度發生變化時，感知算法的正確性和準確性都會受到很大影響。而黑芝麻智能的NeuralIQ ISP可以使不同sensor采集到的數據具有類似的噪聲強度和噪聲形態，可以直接輸入給已訓練好的感知算法使用。
圖4反映了ISP對于不同sensor的不同噪聲的處理能力，上下兩行分別是兩個不同sensor的數據，原始數據的噪聲密度和噪聲形態不太一致，上排sensor的原始噪聲以團狀色噪聲為主，下排sensor的原始噪聲以散在單點噪聲為主，經過NeuralIQ ISP去噪模塊之后，兩種數據的效果很相似，噪聲去除的同時，信噪比也得到了比較大的提升，以符合感知算法的要求。
圖4. 不同sensor的不同噪聲:
上排:sensor1數據經過去噪算法（左）和沒經過去噪算法（右）的圖像；
下排: sensor2數據經過去噪算法（左）和沒經過去噪算法（右）的圖像
高動態范圍融合的畫面瑕疵處理
自動駕駛環境下，相機所遇到的場景的亮暗對比變化非常廣泛。一般相機單次拍攝所能捕捉到的數據動態范圍大約只有60-70dB，而車載環境下的場景往往可以高達140dB以上，單次拍攝很難直接捕捉到如此高動態范圍的場景。車載sensor中一般通過多種不同的技術，例如數字重疊技術(DOL/Stagger)、 雙轉換增益技術(DCG)、大小像素技術(LPD-SPD)，以獲取對場景的“多重曝光“，從而合成出整個高動態范圍(HDR)場景的數據。通常場景中暗處靠著長曝光來捕捉，而高亮部分需要短曝光來捕捉。如此在不同曝光的重疊區域里，合成算法要保證顏色的準確性和合成過渡的自然性。
圖5. HDR合成的自然性和顏色準確性: NerualIQ ISP（左） 和其他廠商（右）ISP實拍圖
如圖5所示是一個典型的車載HDR場景，隧道里的亮度很低，隧道外通常是陽光照射下的高亮區域。在隧道口處通常就是典型的不同曝光合成的過渡區域，這個區域里有很多問題需要處理，比如色彩一致性問題，比如信噪比不連續問題等等。圖5右圖是其他廠商ISP處理結果，地面處出現嚴重斑駁，可能會被檢測為路面的缺陷而影響自動駕駛的決策，隧道外的路牌原本應為藍色，被合成為了褐色，這樣感知算法可能會把普通道路(藍色路牌)理解為風景區路牌(褐色)。而NerualIQ ISP就能很好處理這些信息。
多幀處理
夜晚或者室內低亮情況下，一般相機會通過延長曝光時間來達到合適的亮度。但是因為自動駕駛時候的車輛通常處于運動甚至高速運動狀態，曝光時間的增長會導致圖像中的運動模糊的增加；有時候哪怕運動速度不快，但是由于車輛處于轉彎狀態，遠處場景的轉彎線速度很大，模糊嚴重，這些都給感知算法的計算和識別帶來困難。
近些年多幀去噪算法(時域去噪)經歷了長足的發展。NeuralIQ ISP控制相機的曝光和增益，在曝光量(曝光時間x增益)相同的情況下，使用更短的曝光時間，更高的增益。針對減曝光+高增益圖像使用多幀技術，可以將噪聲水平控制在低增益水平上，同時因為基準單幀圖像的曝光時間的減少，運動模糊問題得到了很好的改善。
圖6. 多幀短曝光-高增益圖像減少運動模糊：NeualIQ ISP（左）和傳統單幀長曝光（右）-低增益圖像
圖6是一個典型的示例，傳統ISP做法如右圖，曝光時間30ms，3倍增益，因為車輛在行駛過程中，可以明顯觀測到運動模糊，上方指示牌的字體都具有重影，小號字體難以辨認；而NeualIQ ISP控制曝光時間10ms，9倍增益情況下，保持了總曝光量的不變，所以圖像亮度與傳統ISP類似，同時NeuralIQ ISP對圖像采用多幀降噪技術(本示例使用3幀降噪)，所以盡管單幀圖像的增益高達9倍，處理結果的噪聲水平也與低增益圖像類似，噪聲得到了很好的抑制。由于NeuralIQ ISP的圖像基準曝光較短(比如10ms)，單幀基準圖像的運動模糊就很小，處理結果中的物體和字符清晰可辨，無可見的運動模糊現象。
低延遲處理
如前所述，車載環境下的圖像輸出不能有太大的延遲，幾乎要達到“實時處理”的要求。NeuralIQ ISP從算法設計上就考慮算法的復雜度和算法的流水線結構。支持sensor數據流的在線和離線的混合處理模式。在線模式下，ISP輸出的延遲幾乎只取決于ISP算法本身所需的行緩存。典型場景下，NeuralIQ ISP數據處理的延遲不超過1毫秒，為后端感知算法實時獲取到圖像數據提供了有力的保障。
視覺與AI是智能駕駛領域的關鍵技術和基礎能力，而圖像質量對于視覺應用和算法識別起著至關重要的作用。黑芝麻智能車規級圖像處理器——NeuralIQ ISP，通過其強大的圖像處理能力，讓汽車洞察秋毫，萬事一清二楚，助力實現更安全的智能駕駛。
讓汽車“洞察秋毫”，秒懂自動駕駛ISP系列第一期就到此結束啦~讓我們相約下期的開芯課堂！
>開芯課堂下期預告：
針對自動駕駛場景下的圖像質量測量方法和標準問題，IEEE-SA P2020工作組正在推動建立新的標準，基于此背景，黑芝麻智能作為ISP領域的資深專家，正在積極探索新的技術和方法。
