热门标签
热门文章
- 1【华为OD机试真题 Java语言】444、会议室占用时间 | 机试真题+思路参考+代码解析（C卷）（本题100%）_会议室占用时间 java
- 2linux下 yolov8 tensorrt模型部署_linux下 yolov8 tensorrt8.5.2.2模型部署
- 3华为eNSP配置防火墙_ensp配置firewall policy
- 4SpringMVC和SpringBoot_springboot springmvc
- 5YOLOv8模型剪枝实战：DepGraph(依赖图)方法
- 6ubuntu14.04服务器基本环境初始化_ubuntu 服务器初始化命令
- 7Linux环境下搭建 Jmeter+Ant+Jenkins 接口自动化持续集成平台_linux系统jdk+jmeter+ant+jenkins+git接口持续自动化平台搭建
- 8开发者必知VScode中的顶级AI插件_vscode有没有好的ai提示
- 9oracle jdk和openjdk区别；idea如何加载jdk源码并调试jdk代码
- 10【Android 常见问题（三）】- flutter及常见问题分析_android flutter面试
当前位置: article > 正文
ISP模块相关知识及测试方法_isp amplifler linearization
作者：很楠不爱3 | 2024-04-18 06:05:00
赞
踩
isp amplifler linearization
| 模块 | 原因 | 解决方法 | Comment | 主观测试 |
| Linearization 线性化 | 到一定曝光后，随着曝光的增加，R/G/B的增加幅度并不大，会造成局部偏色 | 通过对sensor输出的真实曲线进行线性化拟合，分区域进行线性化拟合，使用lut进行查表输出。 | ||
| BLC 黑电平校正 | 暗电流来源1、raw8为例，单个pixel的有效值是0~255，但是实际AD芯片的精度可能无法将电压值很小的一部分转换出来，芯片厂会刻意添加一个固定的偏移量以达到阈值转换电压，使输出的pixel value在5（阈值电压，非固定）~255之间，目的是为了让暗部的细节完全保留，当然同时也会损失一些亮部细节。 暗电流来源2、sensor的电路本身会存在暗电流，导致在没有光线照射的时候，像素单位也有一定的输出电压，暗电流这个东西跟 曝光时间和gain 都有关系，不同的位置也是不一样的。因此在gain增大的时候，电路的增益增大，暗电流也会增强并且sensor各处的暗电流会不均匀，因此很多ISP会选择在不同gain下减去不同的bl的值（sensor上预留了一些完全没有曝光的像素，通过读取这些像素值的大小，可以实时得到optical black level，此时sensor的输出RAW = sensor input - optical black level）。 | 若图像平面趋于平整，则推荐使用全帧均值；若图像出现一些峰值，有明显突出山峰等，推荐使用中值的方法；若出现某个角的值比较高，可能由于电源或者其他的原因引起的，则推荐使用局部计算的方法；此外，还有自定义、最大值等方法，需要根据不同图像的情况去选择方法，终其目的都是一样的。 | 1. 随着增益的增加，OB的均值可能不变，但是方差会增加。主要原因是sensor内OB是做在Again之后，故随着Again的增加，噪声的影响增大，故OB的方差增加。这个时候如果还是按照OB的均值扣除，画面暗处就有可能出现偏色的问题【1.多扣一点OB，缺点为破坏了噪声形态会引入较多噪点 2.分通道扣除OB，缺点为偏色的情况会受环境色温影响。】。 2. OB还会随着温度而发生偏移 3. 在ISP流程中，可以从两个地方扣除OB，一个是Raw域去噪之前扣除，一个是Raw域去噪之后扣除。结论为OB在之前扣除清晰度更优，OB在之后扣除噪声更优。 | 1. 灰阶卡上各灰阶的RGB响应是否相同 2. 高增益下画面暗处是否偏色 3. 正常增益下画面中过曝处是否偏色 |
| LSC镜头阴影校正 | 由于相机在成像距离较远时，随着视场角慢慢增大，能够通过照相机镜头的斜光束将慢慢减少，从而使得获得的图像中间比较亮，边缘比较暗，这个现象就是光学系统中的渐晕。由于渐晕现象带来的图像亮度不均会影响后续处理的准确性。因此从图像传感器输出的数字信号必须先经过镜头矫正功能块来消除渐晕给图像带来的影响. | 首先确定图像中间亮度比较均匀的区域，该区域的像素不需要做矫正；以这个区域为中心，计算出各点由于衰减带来的图像变暗的速度，这样就可以计算出相应R、G、B通道的补偿因子(即增益)。下图左边图像是未做镜头阴影校正的，右边图像是做了镜头阴影校正的。 | 1. 拍摄灰墙或者白墙，观察四角发暗的情况 2. 观察图像四角的偏色情况 3. 观察图像四周的跳动噪声 | |
| BPC坏点校正 | （1）工艺 ： （a）在sensor 的制作过程中有灰尘等引起。 （b）电子产品的寿命影响有限，导致会随着使用时间增加而引起坏点。 （2）noise ： （a）sensor gain 增大 （b）温度增高等 | 常用坏点修复方法通常有两种： 一种是自动检测坏点并自动修复， 另一种是建立坏点像素链表进行固定位置的坏像素点修复， 这种方式是 OTP 的方式。 c.坏像素矫正原理 下面以自动检测坏点修复方法为例， 阐述坏像素矫正算法原理。检测方法是在全黑环境下看亮点和彩点和在盖白板的情况下看黑点和彩点。或者把镜头这个黑色物体，拍摄照片，然后观察，会发现图片上有坏点，并且是无规律的散列到图片的各个地方，由于图像传感器中CFA的应用，每个像素只能得到一种颜色信息，缺失的两种颜色信息需要从周围像素中得到。如果图像中存在坏点的话，那么坏点会随着颜色插补的过程往外扩散，直到影响整幅图像。因此必须在颜色插补(Demosaic)之前进行坏点的消除。 识别坏点：在RGB Bayer域上做5x5的评估，取在评估窗内偏离度超过阈值的点为坏点 纠正坏点：这个就是对找到的坏点做中值滤波，替换原来的值即可。 | 坏点包括亮点、暗点与色点三类 坏点分为静态坏点和动态坏点： 静态坏点： 不会随着时间、增益等改变，从sensor 制造时因为工艺等产生的坏点。 动态坏点： 因为增益、温度等引起的坏点，会随着时间变化而改变。 类型： hot pixel、dead pixel、weak pixel hot pixel ： 比周围点亮很多的坏点 。 dead pixel： 比周围点暗很多的坏点。 weak pixel：没有提供一个正确的像素值，但是并没有比周围点特别亮或者特别暗的像素。 | |
| Demosaic颜色插值 | 当光线通过 Bayer型 CFA（Color Filter Arrays） 阵列之后， 单色光线打在传感器上， 每个像素都为单色光， 从而理想的Bayer 图是一个较为昏暗的马赛克图。 | 由于图像是连续变化的，因此一个像素点的R、G、B的值应该是与周围的像素点相联系的，因此可以利用其周围像素点的值来获得该点其它两个通道的值。目前最常用的插补算法是利用该像素点周围像素的平均值来计算该点的插补值。 | ||
| Denoise去噪 | 图像在采集并转换为数字信号的过程会引入一些噪声，这些噪声会让图片看起来很有噪点，为了平滑这些噪点，需要进行去噪以平滑图像轮廓内的信息并保留边缘信息。 | 保边去噪目前比较好的算法是双边滤波方法比高斯滤波，均值滤波要好，但是速度稍微低一些。 | ||
| Color Correction颜色校正 | 由于人类眼睛可见光的频谱响应度和半导体传感器频谱响应度之间存在差别，还有透镜等的影响， 得到的RGB 值颜色会存在偏差 | 通常的做法是通过一个3x3 的颜色变化矩阵来进行颜色矫正。 | ||
| Gamma Correction | 人眼对外界光源的感光值与输入光强不是呈线性关系的， 而是呈指数型关系的。 在低照度下， 人眼更容易分辨出亮度的变化， 随着照度的增加， 人眼不易分辨出亮度的变化。 而摄像机感光与输入光强呈线性关系， 为方便人眼辨识图像， 需要将摄像机采集的图像进行gamma 矫正。 | Gamma 矫正是对输入图像灰度值进行的非线性操作， 使输出图像灰度值与输入图像灰度值呈指数关系： Vout =AVin 这个指数就是 Gamma， 横坐标是输入灰度值， 纵坐标是输出灰度值， 蓝色曲线是 gamma 值小于 1 时的输入输出关系， 红色曲线是 gamma 值大于 1 时的输入输出关系。 可以观察到， 当 gamma 值小于 1 时(蓝色曲线)， 图像的整体亮度值得到提升， 同时低灰度处的对比度得到增加， 更利于分辩低灰度值时的图像细节。 | ||
| CV色彩空间转换 | 人对亮度很敏感，对色彩信息相对不太敏感，所以可以把色度的分量减少。YUV色彩空间亮度信号Y和色度信号U、V是分离的 | 将RGB 转换为 YUV444 |
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/444355
推荐阅读
相关标签
