Lucas. 技术手记

驱动、bootloader、文件系统

嵌入式 SoC 与接口 14：视频编解码器与图像加速器

Lucas2 分钟阅读
合集 · 嵌入式 SoC 与接口：从芯片框图到系统调试已发布 50 篇
展开合集目录
  1. 嵌入式 SoC 与接口 01：从摄像头框图认识 SoC
  2. 嵌入式 SoC 与接口 02：电平、地与逻辑阈值
  3. 嵌入式 SoC 与接口 03：差分、阻抗、端接与信号完整性
  4. 嵌入式 SoC 与接口 04：PMIC、供电时序与掉电行为
  5. 嵌入式 SoC 与接口 05：晶振、PLL、时钟树与跨时钟域
  6. 嵌入式 SoC 与接口 06：复位域、看门狗与故障恢复
  7. 嵌入式 SoC 与接口 07：ADC、DAC、参考电压与采样
  8. 嵌入式 SoC 与接口 08：MCU、MPU、SoC 与操作系统
  9. 嵌入式 SoC 与接口 09：CPU、异常、中断与多核
  10. 嵌入式 SoC 与接口 10：GPU：并行计算、图形与数据搬运
  11. 嵌入式 SoC 与接口 11：DSP：滤波、FFT、定点数与饱和
  12. 嵌入式 SoC 与接口 12：NPU：张量计算、片上存储与 TOPS
  13. 嵌入式 SoC 与接口 13：ISP：从传感器 RAW 到可用图像
  14. 嵌入式 SoC 与接口 14：视频编解码器与图像加速器
  15. 嵌入式 SoC 与接口 15：Boot ROM、Bootloader 与系统启动
  16. 嵌入式 SoC 与接口 16：NOR、NAND、擦写与 ECC
  17. 嵌入式 SoC 与接口 17：eMMC：总线模式、内部管理与分区
  18. 嵌入式 SoC 与接口 18：安全启动、固件签名与 A/B 升级
  19. 嵌入式 SoC 与接口 19：寄存器、地址空间与 MMIO
  20. 嵌入式 SoC 与接口 20：SRAM、DDR、带宽与延迟
  21. 嵌入式 SoC 与接口 21：Cache、一致性与可见性
  22. 嵌入式 SoC 与接口 22：DMA、描述符与环形缓冲
  23. 嵌入式 SoC 与接口 23：MMU、IOMMU 与三种地址
  24. 嵌入式 SoC 与接口 24：AXI、AHB、APB 与片内互连
  25. 嵌入式 SoC 与接口 25：零拷贝、dma-buf 与缓冲生命周期
  26. 嵌入式 SoC 与接口 26：共享内存、Mailbox 与核间通信
  27. 嵌入式 SoC 与接口 27：GPIO、Pinmux、上下拉与引脚状态
  28. 嵌入式 SoC 与接口 28：UART、RS-232 与 RS-485
  29. 嵌入式 SoC 与接口 29：I²C：地址、ACK、重复起始与上拉
  30. 嵌入式 SoC 与接口 30：SPI、QSPI 与 Flash 访问
  31. 嵌入式 SoC 与接口 31：定时器、PWM、输入捕获与编码器
  32. 嵌入式 SoC 与接口 32：I²S、PCM、TDM 与音频时钟
  33. 嵌入式 SoC 与接口 33：CAN 与 CAN FD：仲裁、帧和错误状态
  34. 嵌入式 SoC 与接口 34：USB：角色、端点、传输类型与 UVC
  35. 嵌入式 SoC 与接口 35：SD 与 SDIO：存储卡和外设功能
  36. 嵌入式 SoC 与接口 36：Ethernet：MAC、PHY、MDIO 与吞吐
  37. 嵌入式 SoC 与接口 37：PCIe：链路、枚举、BAR、中断与 DMA
  38. 嵌入式 SoC 与接口 38：MIPI 全景：CSI、DSI 与 PHY
  39. 嵌入式 SoC 与接口 39：摄像头接入：供电、复位、MCLK 与配置
  40. 嵌入式 SoC 与接口 40：CSI-2：数据类型、虚拟通道与带宽预算
  41. 嵌入式 SoC 与接口 41：显示链路：DSI、RGB、LVDS 与 HDMI
  42. 嵌入式 SoC 与接口 42：设备树、probe、IRQ 与资源生命周期
  43. 嵌入式 SoC 与接口 43：实时性、中断延迟与优先级反转
  44. 嵌入式 SoC 与接口 44：万用表、示波器、逻辑分析仪与 JTAG
  45. 嵌入式 SoC 与接口 45：综合排障：无图、花屏、丢帧与 NPU 慢
  46. 嵌入式 SoC 与接口 46：选修：Wi-Fi、Bluetooth 与蜂窝通信
  47. 嵌入式 SoC 与接口 47：选修：工业以太网、EtherCAT 与 TSN
  48. 嵌入式 SoC 与接口 48：选修：FPGA、流水线与时序约束
  49. 嵌入式 SoC 与接口 49：选修：长距离视频 SerDes 与 A-PHY
  50. 嵌入式 SoC 与接口 50：选修：温度、功耗、EMC 与长期可靠性
嵌入式 SoC 与接口 14：视频编解码器与图像加速器的封面

第 14 / 50 课 · 核心课程。返回课程合集。

三种输出不能混为一谈

视频编码器把图像序列压缩成码流，解码器从码流恢复像素；缩放或二维图像加速器进行裁剪、缩放、旋转、颜色转换等操作；NPU 执行受支持的神经网络计算。厂商的 VPU、G2D 等命名并不完全统一，应读功能说明。

编码输入常是某种 YUV 布局，并有 stride、地址和对齐要求。分辨率相同的 NV12 和 I420 内存排列不同。传错格式可能不会立即崩溃，却会产生颜色和条纹问题。

压缩率与延迟各有代价

码率不是原始像素带宽。参考帧、帧重排、缓冲和 GOP 设计会影响内存及延迟。某种配置画质更好，不意味着适合实时控制；低延迟目标需把编码、网络与解码显示一起测量。

专用加速器可能与 ISP 或显示共享缓冲，但必须确认格式和同步条件。若每帧都回 CPU 转一次格式，硬件编码快也可能仍然卡顿。

视频编解码器与图像加速器：像素格式、编解码与变换、缓冲和延迟

练习与参考结论

手算 1920×1080、30fps、NV12 的有效原始流量，再与构造的 4Mbit/s 压缩输出比较。解释为什么这两个值既不能直接代表 DDR 总带宽，也不能预测画质。

板端记录输入提交、编码完成和下游消费时间，检查是否有缓冲排队。编码 API 返回成功可能只表示任务进入队列，应按 SDK 的完成语义判断。

延伸阅读

上一课：ISP：从传感器 RAW 到可用图像 · 下一课：Boot ROM、Bootloader 与系统启动