Lucas. 技术手记

驱动、bootloader、文件系统

嵌入式 SoC 与接口 13：ISP：从传感器 RAW 到可用图像

Lucas2 分钟阅读
合集 · 嵌入式 SoC 与接口：从芯片框图到系统调试已发布 50 篇
展开合集目录
  1. 嵌入式 SoC 与接口 01：从摄像头框图认识 SoC
  2. 嵌入式 SoC 与接口 02：电平、地与逻辑阈值
  3. 嵌入式 SoC 与接口 03：差分、阻抗、端接与信号完整性
  4. 嵌入式 SoC 与接口 04：PMIC、供电时序与掉电行为
  5. 嵌入式 SoC 与接口 05：晶振、PLL、时钟树与跨时钟域
  6. 嵌入式 SoC 与接口 06：复位域、看门狗与故障恢复
  7. 嵌入式 SoC 与接口 07：ADC、DAC、参考电压与采样
  8. 嵌入式 SoC 与接口 08：MCU、MPU、SoC 与操作系统
  9. 嵌入式 SoC 与接口 09：CPU、异常、中断与多核
  10. 嵌入式 SoC 与接口 10：GPU：并行计算、图形与数据搬运
  11. 嵌入式 SoC 与接口 11：DSP：滤波、FFT、定点数与饱和
  12. 嵌入式 SoC 与接口 12：NPU：张量计算、片上存储与 TOPS
  13. 嵌入式 SoC 与接口 13：ISP：从传感器 RAW 到可用图像
  14. 嵌入式 SoC 与接口 14：视频编解码器与图像加速器
  15. 嵌入式 SoC 与接口 15：Boot ROM、Bootloader 与系统启动
  16. 嵌入式 SoC 与接口 16：NOR、NAND、擦写与 ECC
  17. 嵌入式 SoC 与接口 17：eMMC：总线模式、内部管理与分区
  18. 嵌入式 SoC 与接口 18：安全启动、固件签名与 A/B 升级
  19. 嵌入式 SoC 与接口 19：寄存器、地址空间与 MMIO
  20. 嵌入式 SoC 与接口 20：SRAM、DDR、带宽与延迟
  21. 嵌入式 SoC 与接口 21：Cache、一致性与可见性
  22. 嵌入式 SoC 与接口 22：DMA、描述符与环形缓冲
  23. 嵌入式 SoC 与接口 23：MMU、IOMMU 与三种地址
  24. 嵌入式 SoC 与接口 24：AXI、AHB、APB 与片内互连
  25. 嵌入式 SoC 与接口 25：零拷贝、dma-buf 与缓冲生命周期
  26. 嵌入式 SoC 与接口 26：共享内存、Mailbox 与核间通信
  27. 嵌入式 SoC 与接口 27：GPIO、Pinmux、上下拉与引脚状态
  28. 嵌入式 SoC 与接口 28：UART、RS-232 与 RS-485
  29. 嵌入式 SoC 与接口 29：I²C：地址、ACK、重复起始与上拉
  30. 嵌入式 SoC 与接口 30：SPI、QSPI 与 Flash 访问
  31. 嵌入式 SoC 与接口 31：定时器、PWM、输入捕获与编码器
  32. 嵌入式 SoC 与接口 32：I²S、PCM、TDM 与音频时钟
  33. 嵌入式 SoC 与接口 33：CAN 与 CAN FD：仲裁、帧和错误状态
  34. 嵌入式 SoC 与接口 34：USB：角色、端点、传输类型与 UVC
  35. 嵌入式 SoC 与接口 35：SD 与 SDIO：存储卡和外设功能
  36. 嵌入式 SoC 与接口 36：Ethernet：MAC、PHY、MDIO 与吞吐
  37. 嵌入式 SoC 与接口 37：PCIe：链路、枚举、BAR、中断与 DMA
  38. 嵌入式 SoC 与接口 38：MIPI 全景：CSI、DSI 与 PHY
  39. 嵌入式 SoC 与接口 39：摄像头接入：供电、复位、MCLK 与配置
  40. 嵌入式 SoC 与接口 40：CSI-2：数据类型、虚拟通道与带宽预算
  41. 嵌入式 SoC 与接口 41：显示链路：DSI、RGB、LVDS 与 HDMI
  42. 嵌入式 SoC 与接口 42：设备树、probe、IRQ 与资源生命周期
  43. 嵌入式 SoC 与接口 43：实时性、中断延迟与优先级反转
  44. 嵌入式 SoC 与接口 44：万用表、示波器、逻辑分析仪与 JTAG
  45. 嵌入式 SoC 与接口 45：综合排障：无图、花屏、丢帧与 NPU 慢
  46. 嵌入式 SoC 与接口 46：选修：Wi-Fi、Bluetooth 与蜂窝通信
  47. 嵌入式 SoC 与接口 47：选修：工业以太网、EtherCAT 与 TSN
  48. 嵌入式 SoC 与接口 48：选修：FPGA、流水线与时序约束
  49. 嵌入式 SoC 与接口 49：选修：长距离视频 SerDes 与 A-PHY
  50. 嵌入式 SoC 与接口 50：选修：温度、功耗、EMC 与长期可靠性
嵌入式 SoC 与接口 13：ISP：从传感器 RAW 到可用图像的封面

第 13 / 50 课 · 核心课程。返回课程合集。

RAW 不是已经完成处理的 RGB

Bayer 传感器的单个采样位置通常对应一种滤色通道，需要结合邻域重建颜色。黑电平、坏点、镜头阴影、去噪、去马赛克、白平衡与色彩处理组成典型 ISP 功能，但具体顺序和硬件实现因平台而异。

CSI 接收负责接收和解析传输，ISP 负责图像处理，两者职责不同。有效接收到 RAW 不代表最终画面颜色正确；最终 RGB 看起来正常也不能证明 RAW 元数据和曝光时序都正确。

3A 是带反馈的控制

自动曝光、自动白平衡和自动对焦依赖统计量及执行器。控制设置可能在后续帧才生效，需要关联帧号和传感器应用延迟。频繁调整曝光会改变噪声、运动模糊和模型输入分布。

给模型做归一化不能替代 ISP。训练使用的图片处理链与实际摄像头链差异过大，可能造成推理下降，排查时应保存同一帧在不同阶段的输出。

ISP：从传感器 RAW 到可用图像：RAW 接收、像素处理、3A 与输出

练习与参考结论

给一张保存帧填写：RAW 位深、Bayer 顺序、曝光、增益、ISP 输出格式、色域和帧号。区分“色偏来自 Bayer 顺序错误”和“白平衡参数变化”需要哪些证据？

参考路径：先确认接收尺寸、位深与排列，再检查 ISP 配置，最后观察 3A 动态。详细图像步骤见ISP 基础。没有原始帧时不要仅凭最终截图断定具体算法故障。

延伸阅读

上一课：NPU：张量计算、片上存储与 TOPS · 下一课：视频编解码器与图像加速器