ISP概述、工作原理及架構(gòu)
從本月開始，我們要重點將新唐科技的ISP產(chǎn)品推薦給客戶，那么我們就要明白什么是ISP，ISD的工作原理及架構(gòu)是怎樣的。
1、概述
ISP全稱Image Signal Processing，即圖像信號處理。主要用來對前端圖像傳感器輸出信號處理的單元，以匹配不同廠商的圖象傳感器。
ISP 通過一系列數(shù)字圖像處理算法完成對數(shù)字圖像的效果處理。主要包括3A、壞點校正、去噪、強(qiáng)光抑制、背光補(bǔ)償、色彩增強(qiáng)、鏡頭陰影校正等處理。ISP 包括邏輯部分以及運(yùn)行在其上的firmware。
ISP 的控制結(jié)構(gòu)如圖1-1 所示，lens 將光信號投射到sensor 的感光區(qū)域后，sensor 經(jīng)過光電轉(zhuǎn)換，將Bayer 格式的原始圖像送給ISP，ISP 經(jīng)過算法處理，輸出RGB 空間域的圖像給后端的視頻采集單元。在這個過程中，ISP 通過運(yùn)行在其上的firmware 對ISP邏輯，lens 和sensor 進(jìn)行相應(yīng)控制，進(jìn)而完成自動光圈、自動曝光、自動白平衡等功能。其中，firmware 的運(yùn)轉(zhuǎn)靠視頻采集單元的中斷驅(qū)動。PQ Tools 工具通過網(wǎng)口或者串口完成對ISP 的在線圖像質(zhì)量調(diào)節(jié)。
ISP 由ISP 邏輯及運(yùn)行在其上的Firmware 組成，邏輯單元除了完成一部分算法處理外，還可以統(tǒng)計出當(dāng)前圖像的實時信息。Firmware 通過獲取ISP 邏輯的圖像統(tǒng)計信息，重新計算，反饋控制lens、sensor 和ISP 邏輯，以達(dá)到自動調(diào)節(jié)圖像質(zhì)量的目的。
2、架構(gòu)
ISP 的Firmware 包含三部分，一部分是ISP 控制單元和基礎(chǔ)算法庫，一部分是AE/AWB/AF 算法庫，一部分是sensor 庫。Firmware 設(shè)計的基本思想是單獨提供3A 算法庫，由ISP 控制單元調(diào)度基礎(chǔ)算法庫和3A 算法庫，同時sensor 庫分別向ISP 基礎(chǔ)算法庫和3A 算法庫注冊函數(shù)回調(diào)，以實現(xiàn)差異化的sensor 適配。ISP firmware 架構(gòu)如圖1-2 所示。
不同的sensor 都以回調(diào)函數(shù)的形式，向ISP 算法庫注冊控制函數(shù)。ISP 控制單元調(diào)度基礎(chǔ)算法庫和3A 算法庫時，將通過這些回調(diào)函數(shù)獲取初始化參數(shù)，并控制sensor，如調(diào)節(jié)曝光時間、模擬增益、數(shù)字增益，控制lens 步進(jìn)聚焦或旋轉(zhuǎn)光圈等。
編輯：admin 最后修改時間：2021-08-23
