AI 与深度学习
大语言模型板端部署 02:在 PC 上运行第一个本地 LLM
合集 · 大语言模型板端部署面向嵌入式音视频工程师,用 Qwen3-0.6B 与 llama.cpp 建立 CPU 推理基线,完成单轮问答、流式输出、取消、聊天模板检查及性能记录。
TOPICS / 标签
面向嵌入式音视频工程师,用 Qwen3-0.6B 与 llama.cpp 建立 CPU 推理基线,完成单轮问答、流式输出、取消、聊天模板检查及性能记录。
从统计语言模型、RNN 和注意力走到 Transformer、预训练与聊天模型,区分模型结构、权重和推理框架,建立千问板端运行与文字转语音的学习路线。