EdgeAI 初學者指南

按照以下步驟開始使用這些資源：

分叉倉庫：點擊
克隆倉庫：git clone https://github.com/microsoft/edgeai-for-beginners.git
加入 Azure AI Foundry Discord，與專家和其他開發者交流

🌐 多語言支持

通過 GitHub Action 支持（自動化且始終保持最新）

如果您希望支持其他翻譯語言，請參考此處

簡介

歡迎來到 EdgeAI 初學者指南——這是一個全面的旅程，帶您進入邊緣人工智能的變革世界。本課程將強大的 AI 能力與實際的邊緣設備部署相結合，幫助您直接在數據生成和需要做出決策的地方發揮 AI 的潛力。

您將掌握的內容

本課程涵蓋從基礎概念到生產就緒的實施，包括：

小型語言模型（SLMs），針對邊緣部署進行優化
硬件感知優化，適用於多種平台
隱私保護的實時推理
企業應用的生產部署策略

為什麼邊緣 AI 很重要

邊緣 AI 是一種解決現代關鍵挑戰的範式轉變：

隱私與安全：在本地處理敏感數據，避免雲端暴露
實時性能：消除網絡延遲，適用於時間敏感的應用
成本效益：減少帶寬和雲計算開支
韌性運行：在網絡中斷期間保持功能
法規合規：滿足數據主權要求

邊緣 AI

邊緣 AI 是指在硬件上本地運行 AI 算法和語言模型，靠近數據生成的地方，而不依賴雲端資源進行推理。它減少了延遲，增強了隱私，並支持實時決策。

核心原則：

設備上的推理：AI 模型在邊緣設備（手機、路由器、微控制器、工業 PC）上運行
離線能力：無需持續的網絡連接即可運行
低延遲：即時響應，適合實時系統
數據主權：保持敏感數據本地化，提高安全性和合規性

小型語言模型（SLMs）

像 Phi-4、Mistral-7B 和 Gemma 這樣的 SLMs 是更大 LLMs 的優化版本——通過訓練或蒸餾實現：

減少內存佔用：有效利用有限的邊緣設備內存
降低計算需求：針對 CPU 和邊緣 GPU 性能進行優化
更快的啟動時間：快速初始化，適用於響應式應用

它們在滿足以下限制的同時解鎖了強大的 NLP 功能：

嵌入式系統：物聯網設備和工業控制器
移動設備：具有離線功能的智能手機和平板電腦
物聯網設備：資源有限的傳感器和智能設備
邊緣服務器：具有有限 GPU 資源的本地處理單元
個人電腦：桌面和筆記本電腦的部署場景

課程模組與導航

模組	主題	重點領域	主要內容	等級	時長
📖 00	邊緣 AI 簡介	基礎與背景	邊緣 AI 概述 • 行業應用 • SLM 簡介 • 學習目標	初學者	1-2 小時
📚 01	邊緣 AI 基礎	雲端與邊緣 AI 比較	邊緣 AI 基礎 • 真實案例研究 • 實施指南 • 邊緣部署	初學者	3-4 小時
🧠 02	SLM 模型基礎	模型家族與架構	Phi 家族 • Qwen 家族 • Gemma 家族 • BitNET • μModel • Phi-Silica	初學者	4-5 小時
🚀 03	SLM 部署實踐	本地與雲端部署	高級學習 • 本地環境 • 雲端部署	中級	4-5 小時
⚙️ 04	模型優化工具包	跨平台優化	簡介 • Llama.cpp • Microsoft Olive • OpenVINO • Apple MLX • 工作流程綜合	中級	5-6 小時
🔧 05	SLMOps 生產	生產運營	SLMOps 簡介 • 模型蒸餾 • 微調 • 生產部署	高級	5-6 小時
🤖 06	AI 代理與功能調用	代理框架與 MCP	代理簡介 • 功能調用 • 模型上下文協議	高級	4-5 小時
💻 07	平台實施	跨平台範例	AI 工具包 • Foundry Local • Windows 開發	高級	3-4 小時
🏭 08	Foundry Local 工具包	生產就緒範例	範例應用（詳情見下）	專家	8-10 小時

🏭 模組 08：範例應用

🎓 工作坊：實踐學習路徑

全面的實踐工作坊材料，包含生產就緒的實施：

工作坊指南 - 完整的學習目標、成果和資源導航
Python 範例（6 節課） - 更新最佳實踐、錯誤處理和全面文檔
Jupyter 筆記本（8 個互動式） - 步驟教學，包含基準測試和性能監控
課程指南 - 每節工作坊課程的詳細 Markdown 指南
驗證工具 - 用於驗證代碼質量和運行煙霧測試的腳本

您將構建的內容：

支持流式傳輸的本地 AI 聊天應用
帶有質量評估的 RAG 管道（RAGAS）
多模型基準測試和比較工具
多代理協調系統
智能模型路由，基於任務選擇

📊 學習路徑摘要

總時長：36-45 小時
初學者路徑：模組 01-02（7-9 小時）
中級路徑：模組 03-04（9-11 小時）
高級路徑：模組 05-07（12-15 小時）
專家路徑：模組 08（8-10 小時）

您將構建的內容

🎯 核心能力

邊緣 AI 架構：設計本地優先的 AI 系統，並與雲端集成
模型優化：量化和壓縮模型以進行邊緣部署（提升速度 85%，減少大小 75%）
多平台部署：Windows、行動裝置、嵌入式系統及雲端邊緣混合系統
生產運營：監控、擴展及維護生產中的邊緣 AI

🏗️ 實作專案

Foundry 本地聊天應用程式：Windows 11 原生應用程式，支援模型切換
多代理系統：協調器與專業代理，用於複雜工作流程
RAG 應用程式：本地文件處理搭配向量搜尋
模型路由器：根據任務分析智能選擇模型
API 框架：具備串流及健康監控的生產就緒客戶端
跨平台工具：LangChain/Semantic Kernel 整合模式

🏢 產業應用

製造業 • 醫療保健 • 自動駕駛車輛 • 智慧城市 • 行動應用程式

快速入門

推薦學習路徑（總計 20-30 小時）：

📖 簡介 (Introduction.md)：邊緣 AI 基礎 + 產業背景 + 學習框架
📚 基礎（模組 01-02）：邊緣 AI 概念 + SLM 模型家族
⚙️ 優化（模組 03-04）：部署 + 量化框架
🚀 生產（模組 05-06）：SLMOps + AI 代理 + 函數調用
💻 實作（模組 07-08）：平台範例 + Foundry 本地工具包

每個模組包含理論、實作練習及生產就緒的程式碼範例。

職業影響

技術職位：邊緣 AI 解決方案架構師 • 邊緣 ML 工程師 • IoT AI 開發者 • 行動 AI 開發者

產業領域：製造業 4.0 • 醫療科技 • 自主系統 • 金融科技 • 消費電子

作品集專案：多代理系統 • 生產 RAG 應用程式 • 跨平台部署 • 性能優化

資料庫結構

edgeai-for-beginners/
├── 📖 introduction.md  # Foundation: EdgeAI Overview & Learning Framework
├── 📚 Module01-04/     # Fundamentals → SLMs → Deployment → Optimization  
├── 🔧 Module05-06/     # SLMOps → AI Agents → Function Calling
├── 💻 Module07/        # Platform Samples (VS Code, Windows, Jetson, Mobile)
├── 🏭 Module08/        # Foundry Local Toolkit + 10 Comprehensive Samples
│   ├── samples/01-06/  # Foundation: REST, SDK, RAG, Agents, Routing
│   └── samples/07-10/  # Advanced: API Client, Windows App, Enterprise Agents, Tools
├── 🌐 translations/    # Multi-language support (8+ languages)
└── 📋 STUDY_GUIDE.md   # Structured learning paths & time allocation

課程亮點

✅ 漸進式學習：理論 → 實作 → 生產部署
✅ 真實案例研究：Microsoft、日本航空、企業實施案例
✅ 實作範例：超過 50 個範例，10 個完整的 Foundry 本地演示
✅ 性能專注：提升速度 85%，減少大小 75%
✅ 多平台支持：Windows、行動裝置、嵌入式系統、雲端邊緣混合
✅ 生產就緒：監控、擴展、安全性及合規框架

📖 學習指南：結構化的 20 小時學習路徑，包含時間分配指導及自我評估工具。

邊緣 AI 代表了 AI 部署的未來：本地優先、隱私保護及高效能。掌握這些技能，打造下一代智能應用程式。