从零搭建视觉模型 21:注意力与视觉 Transformer
合集 · 从零搭建视觉模型把图片划成 patch,手算小型注意力并跟踪 token 形状,搭建教学 ViT 前向实验,区分结构验证与训练效果。
TOPICS / 标签
把图片划成 patch,手算小型注意力并跟踪 token 形状,搭建教学 ViT 前向实验,区分结构验证与训练效果。
用不能整除批次的样本数计算更新次数,理解 batch、epoch、学习率调度与指标平均,设计可比较的训练记录。
从 CNN 输出的两个分数出发,手算 Softmax 与逐类 Sigmoid,区分单标签与多标签分类,并理解阈值和类别映射。
以飞机和汽车分类为例,建立类别映射、样本清单与训练验证测试划分,理解泄漏、分组和 Dataset 的职责。
把摄像头、预处理、推理和后处理接起来,建立离线参考输入、端到端计时与长时间测试,衔接海思 NPU 部署系列。
理解检测标签、目标框、IoU 与重复框处理,用可手算的几何实验认识 YOLO 输出与坐标还原,规划真实检测验证。
使用 CIFAR-10 飞机与汽车子集建立小型 CNN 基线,固定训练验证划分、完成训练与模型选择,明确真实数据与玩具实验的边界。
从训练与验证曲线认识过拟合,设计不改变标签语义的增强,理解权重衰减、Dropout 与早停的作用和边界。
手算交叉熵与一次梯度下降,理解损失、梯度、学习率和优化器的不同职责,避免重复 Softmax 与梯度累积错误。
固定模型输入输出约定,导出最小 CNN 到 ONNX,在相同输入上比较 PyTorch 与 ONNX Runtime 数值,并认识导出和部署兼容的边界。
通过合成矩形掩码理解语义分割、编码解码与跳跃连接,运行小型 U-Net 形状和训练步实验,掌握像素标签与 IoU。