EdgeAI 初学者指南

按照以下步骤开始使用这些资源：

Fork 仓库：点击
克隆仓库：git clone https://github.com/microsoft/edgeai-for-beginners.git
加入 Azure AI Foundry Discord，结识专家和开发者

🌐 多语言支持

通过 GitHub Action 支持（自动且始终更新）

更喜欢本地克隆？

本仓库包含50多种语言翻译，显著增加下载大小。若要克隆无翻译版本，可使用稀疏检出：
git clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git
cd edgeai-for-beginners
git sparse-checkout set --no-cone '/*' '!translations' '!translated_images'
这将为您提供完成课程所需的一切，下载速度更快。

如果您希望支持其他翻译语言，列表见这里

介绍

欢迎来到 EdgeAI 初学者指南 —— 您进入边缘人工智能变革世界的全面旅程。本课程弥合强大 AI 能力与在边缘设备上实际部署之间的鸿沟，使您能够直接在数据产生并需做出决策的现场掌握 AI 的潜力。

您将掌握的内容

本课程带您从基础概念到生产环境实现，包括：

适合边缘部署的小型语言模型（SLMs）
跨多平台的硬件感知优化
具隐私保护能力的实时推理
面向企业应用的生产部署策略

为什么 EdgeAI 重要

Edge AI 代表一种范式转变，可应对现代关键挑战：

隐私与安全：本地处理敏感数据，无需云端暴露
实时性能：消除网络延迟，适合时间敏感应用
成本效率：减少带宽和云计算开销
弹性操作：网络中断时仍维持功能
符合法规：满足数据主权要求

边缘人工智能

边缘 AI 指在数据产生地附近的硬件上本地运行 AI 算法和语言模型，无需依赖云资源进行推理。它减少延迟，增强隐私，实现实时决策。

核心原则：

设备端推理：AI 模型在边缘设备（手机、路由器、微控制器、工业 PC）上运行
离线能力：无持续互联网连接也能工作
低延迟：适合实时系统的即时响应
数据主权：敏感数据保持本地，提高安全性和合规性

小型语言模型（SLMs）

像 Phi-4、Mistral-7B 和 Gemma 这样的 SLM 是大型 LLM 的优化版本——经过训练或蒸馏以实现：

内存占用低：高效利用边缘设备有限内存
计算需求低：针对 CPU 和边缘 GPU 性能优化
启动速度快：应用响应迅速，快速初始化

它们在满足以下约束条件的同时释放强大自然语言处理能力：

嵌入式系统：物联网设备和工业控制器
移动设备：具备离线能力的智能手机和平板
物联网设备：资源有限的传感器和智能设备
边缘服务器：有限 GPU 资源的本地处理单元
个人电脑：桌面和笔记本部署场景

课程模块与导航

模块	主题	重点领域	关键内容	级别	时长
📖 00	EdgeAI 介绍	基础与背景	EdgeAI 概览 • 行业应用 • SLM 介绍 • 学习目标	初学者	1-2 小时
📚 01	EdgeAI 基础	云端与边缘 AI 对比	EdgeAI 基础 • 真实案例研究 • 实施指南 • 边缘部署	初学者	3-4 小时
🧠 02	SLM 模型基础	模型系列与架构	Phi 系列 • Qwen 系列 • Gemma 系列 • BitNET • μModel • Phi-Silica	初学者	4-5 小时
🚀 03	SLM 部署实践	本地与云部署	高级学习 • 本地环境 • 云部署	中级	4-5 小时
⚙️ 04	模型优化工具箱	跨平台优化	介绍 • Llama.cpp • Microsoft Olive • OpenVINO • Apple MLX • 工作流综合	中级	5-6 小时
🔧 05	SLMOps 生产	生产运维	SLMOps 介绍 • 模型蒸馏 • 微调 • 生产部署	高级	5-6 小时
🤖 06	AI 代理与函数调用	代理框架与 MCP	代理介绍 • 函数调用 • 模型上下文协议	高级	4-5 小时
💻 07	平台实现	跨平台示例	AI 工具箱 • Foundry Local • Windows 开发	高级	3-4 小时
🏭 08	Foundry Local 工具箱	生产就绪示例	示例应用（详见下文）	专家	8-10 小时

🏭 模块 08：示例应用

🎓 工作坊：动手学习路径

全面的动手工作坊材料，含生产就绪实现：

工作坊指南 - 完整学习目标、成果及资源导航
Python 示例（6 课时） - 更新最佳实践、错误处理与完整文档
Jupyter 笔记本（8 个交互式） - 逐步教程，含基准测试与性能监控
课程指南 - 各工作坊课时详尽的 markdown 指南
验证工具 - 用于校验代码质量和烟雾测试的脚本

您将构建：

支持流式传输的本地 AI 聊天应用
具质量评估的 RAG 管道（RAGAS）
多模型基准测试与比较工具
多代理协调系统
基于任务选择的智能模型路由

🎙️ Agentic 工作坊：动手体验 - AI 播客工作室

从零开始构建 AI 驱动的播客制作管道！本沉浸式工作坊教您创建完整的多代理系统，将创意转化为专业播客集。 🎬 启动 AI 播客工作室研讨会

你的使命：启动“未来字节”——一档完全由你自己构建的 AI 代理驱动的科技播客。无需云端依赖，无 API 费用——所有内容均在本地机器上运行。

这有何独特之处：

🤖 真正的多代理编排 —— 构建专门的 AI 代理来调研、撰写和制作音频
🎯 完整的制作流程 —— 从选题到最终播客音频输出
💻 100% 本地部署 —— 使用 Ollama 和本地模型（Qwen-3-8B）实现完全隐私与控制
🎤 文字转语音集成 —— 将稿件转化为自然听感的多声优对话
✋ 人类参与流程 —— 审批关卡保证质量，同时保持自动化

三幕学习旅程：

幕	重点	关键技能	时长
第一幕：认识你的 AI 助手	构建你的第一个 AI 代理	工具整合 • 网络搜索 • 解决问题 • 代理推理	2-3 小时
第二幕：组建你的制作团队	协同多个代理	团队协调 • 审批流程 • DevUI 界面 • 人工监督	3-4 小时
第三幕：让播客生动起来	生成播客音频	文字转语音 • 多声优合成 • 长形式音频 • 全自动化	2-3 小时

使用技术：

微软代理框架 —— 多代理编排与协调
Ollama —— 本地 AI 模型运行时（无需云端）
Qwen-3-8B —— 针对代理任务优化的开源语言模型
文字转语音 API —— 生成自然声音合成的播客

硬件支持：

✅ CPU 模式 —— 适用于任何现代计算机（推荐 8GB+ 内存）
🚀 GPU 加速 —— NVIDIA/AMD GPU 显著提升推理速度
⚡ NPU 支持 —— 下一代神经处理单元加速

适合对象：

学习多代理 AI 系统的开发者
对 AI 自动化与工作流感兴趣的用户
探索 AI 辅助创作的内容创作者
学习实际 AI 编排模式的学生

开始构建：🎙️ AI 播客工作室研讨会 →

📊 学习路径总结

总时长：36-45 小时
入门路径：模块 01-02（7-9 小时）
中级路径：模块 03-04（9-11 小时）
高级路径：模块 05-07（12-15 小时）
专家路径：模块 08（8-10 小时）

你将构建的内容

🎯 核心能力

边缘 AI 架构：设计以本地优先、云端集成的 AI 系统
模型优化：量化和压缩模型以适配边缘部署（加速 85%，尺寸缩减 75%）
跨平台部署：Windows、移动端、嵌入式和云边混合系统
生产运营：边缘 AI 监控、扩展与维护

🏗️ 实战项目

Foundry 本地聊天应用：Windows 11 原生应用支持模型切换
多代理系统：协调员与专家代理组成复杂工作流
RAG 应用：本地文档处理与向量检索
模型路由器：根据任务智能选择模型
API 框架：具备流媒体和健康监控的生产就绪客户端
跨平台工具：LangChain/Semantic Kernel 集成模式

🏢 行业应用

制造业 • 医疗健康 • 自动驾驶 • 智慧城市 • 移动应用

快速入门

推荐学习路径（共 20-30 小时）：

📖 介绍 (Introduction.md)：EdgeAI 基础 + 行业背景 + 学习框架
📚 基础（模块 01-02）：EdgeAI 概念 + SLM 模型族
⚙️ 优化（模块 03-04）：部署 + 量化框架
🚀 生产（模块 05-06）：SLMOps + AI 代理 + 函数调用
💻 实现（模块 07-08）：平台示例 + Foundry 本地工具包

每个模块均包含理论、实操练习和生产就绪代码样例。

职业影响

技术岗位：边缘 AI 解决方案架构师 • ML 工程师（边缘）• 物联网 AI 开发者 • 移动端 AI 开发者

行业领域：制造 4.0 • 医疗技术 • 自动驾驶系统 • 金融科技 • 消费电子

作品集项目：多代理系统 • 生产型 RAG 应用 • 跨平台部署 • 性能优化

代码库结构

edgeai-for-beginners/
├── 📖 introduction.md  # Foundation: EdgeAI Overview & Learning Framework
├── 📚 Module01-04/     # Fundamentals → SLMs → Deployment → Optimization  
├── 🔧 Module05-06/     # SLMOps → AI Agents → Function Calling
├── 💻 Module07/        # Platform Samples (VS Code, Windows, Jetson, Mobile)
├── 🏭 Module08/        # Foundry Local Toolkit + 10 Comprehensive Samples
│   ├── samples/01-06/  # Foundation: REST, SDK, RAG, Agents, Routing
│   └── samples/07-10/  # Advanced: API Client, Windows App, Enterprise Agents, Tools
├── 🌐 translations/    # Multi-language support (8+ languages)
└── 📋 STUDY_GUIDE.md   # Structured learning paths & time allocation

课程亮点

✅ 渐进式学习：理论 → 实践 → 生产部署
✅ 真实案例：微软、日本航空、企业落地
✅ 实战样例：50+ 示例，10 个全面的 Foundry 本地演示
✅ 性能焦点：提升 85% 速度，减少 75% 尺寸
✅ 多平台支持：Windows、移动、嵌入式、云边混合
✅ 生产就绪：监控、扩展、安全及合规框架

📖 学习指南：结构化 20 小时学习路径，带时间分配指导与自评工具。

EdgeAI 代表 AI 部署的未来：本地优先，隐私保护，高效。掌握这些技能，打造新一代智能应用。