EdgeAI 初學者指南

跟隨以下步驟開始使用這些資源：

分支此儲存庫：點擊
克隆此儲存庫： git clone https://github.com/microsoft/edgeai-for-beginners.git
加入 Azure AI Foundry Discord，與專家及開發者交流

🌐 多語言支援

透過 GitHub Action 支援（自動且持續更新）

如欲支援更多翻譯語言，請參閱此處

介紹

歡迎來到 EdgeAI 初學者指南 — 您全面探索邊緣人工智能變革世界的旅程。本課程架起強大 AI 能力與實際、現場設備部署之間的橋樑，使您能直接在數據產生及決策所需之處發揮 AI 潛力。

您將掌握的內容

本課程帶您從基礎概念到生產級實作，涵蓋：

小型語言模型 (SLMs)，針對邊緣部署優化
硬件感知優化，跨多平台
即時推論，具備隱私保護功能
企業應用生產部署 策略

為何 EdgeAI 重要

Edge AI 代表一種範式轉變，解決現代關鍵挑戰：

隱私與安全：本地處理敏感數據，無需雲端暴露
即時效能：消除網絡延遲，適用時間關鍵應用
成本效益：降低頻寬與雲端運算開銷
韌性運作：網絡中斷時仍維持功能
法規遵循：符合數據主權要求

邊緣人工智能

Edge AI 指在硬件本地運行 AI 演算法與語言模型，靠近數據產生地點，無需依賴雲端資源進行推論。它降低延遲、增強隱私，並實現即時決策。

核心原則：

裝置端推論：AI 模型在邊緣設備（手機、路由器、微控制器、工業電腦）上運行
離線能力：無需持續網絡連接
低延遲：即時回應，適合即時系統
數據主權：敏感數據保留本地，提升安全與合規

小型語言模型 (SLMs)

SLMs 如 Phi-4、Mistral-7B 和 Gemma 是大型 LLM 的優化版本—經過訓練或蒸餾以達成：

減少記憶體佔用：有效利用有限的邊緣設備記憶體
降低計算需求：優化 CPU 與邊緣 GPU 效能
更快啟動時間：快速初始化，提升應用反應速度

它們在滿足以下限制條件下釋放強大 NLP 能力：

嵌入式系統：物聯網設備與工業控制器
行動裝置：具備離線能力的智慧手機和平板
物聯網設備：資源有限的感測器與智慧裝置
邊緣伺服器：有限 GPU 資源的本地處理單元
個人電腦：桌面與筆記型電腦部署場景

課程模組與導覽

模組	主題	專注領域	主要內容	等級	時長
📖 00	EdgeAI 介紹	基礎與背景	EdgeAI 概述 • 產業應用 • SLM 介紹 • 學習目標	初學者	1-2 小時
📚 01	EdgeAI 基礎	雲端與邊緣 AI 比較	EdgeAI 基礎 • 實際案例研究 • 實作指南 • 邊緣部署	初學者	3-4 小時
🧠 02	SLM 模型基礎	模型家族與架構	Phi 家族 • Qwen 家族 • Gemma 家族 • BitNET • μModel • Phi-Silica	初學者	4-5 小時
🚀 03	SLM 部署實務	本地與雲端部署	進階學習 • 本地環境 • 雲端部署	中階	4-5 小時
⚙️ 04	模型優化工具包	跨平台優化	介紹 • Llama.cpp • Microsoft Olive • OpenVINO • Apple MLX • 工作流程綜合	中階	5-6 小時
🔧 05	SLMOps 生產	生產運營	SLMOps 介紹 • 模型蒸餾 • 微調 • 生產部署	高階	5-6 小時
🤖 06	AI 代理與函數呼叫	代理框架與 MCP	代理介紹 • 函數呼叫 • 模型上下文協議	高階	4-5 小時
💻 07	平台實作	跨平台範例	AI 工具包 • Foundry Local • Windows 開發	高階	3-4 小時
🏭 08	Foundry Local 工具包	生產級範例	範例應用（詳見下方）	專家	8-10 小時

🏭 模組 08：範例應用

🎓 工作坊：實作學習路徑

完整實作工作坊材料，含生產級實作：

工作坊指南 — 完整學習目標、成果與資源導覽
Python 範例（6 堂課）— 更新最佳實踐、錯誤處理與完整文件
Jupyter 筆記本（8 個互動式）— 逐步教學，含基準測試與效能監控
課程指南 — 每堂工作坊課程詳細 Markdown 指南
驗證工具 — 驗證程式碼品質與執行煙霧測試的腳本

您將打造：

支援串流的本地 AI 聊天應用
具品質評估的 RAG 管線 (RAGAS)
多模型基準測試與比較工具
多代理協調系統
具任務選擇的智慧模型路由

📊 學習路徑摘要

總時長：36-45 小時
初學者路徑：模組 01-02（7-9 小時）
中階路徑：模組 03-04（9-11 小時）
高階路徑：模組 05-07（12-15 小時）
專家路徑：模組 08（8-10 小時）

您將打造的內容

🎯 核心能力

邊緣 AI 架構：設計以本地為先，結合雲端的 AI 系統
模型優化：量化及壓縮模型以便邊緣部署（提升速度85%，減少大小75%）
多平台部署：Windows、手機、嵌入式及雲端邊緣混合系統
生產運營：監控、擴展及維護生產環境中的邊緣AI

🏗️ 實用專案

Foundry 本地聊天應用：Windows 11 原生應用，支援模型切換
多代理系統：協調員與專家代理協作處理複雜工作流程
RAG 應用：本地文件處理與向量搜尋
模型路由器：根據任務分析智能選擇模型
API 框架：具備串流與健康監控的生產級客戶端
跨平台工具：LangChain/Semantic Kernel 整合範例

🏢 行業應用

製造業 • 醫療保健 • 自動駕駛車輛 • 智慧城市 • 手機應用

快速入門

推薦學習路徑（共20-30小時）：

📖 介紹 (Introduction.md)：EdgeAI 基礎 + 行業背景 + 學習框架
📚 基礎（模組 01-02）：EdgeAI 概念 + SLM 模型家族
⚙️ 優化（模組 03-04）：部署 + 量化框架
🚀 生產（模組 05-06）：SLMOps + AI 代理 + 函數調用
💻 實作（模組 07-08）：平台範例 + Foundry 本地工具包

每個模組包含理論、實作練習及生產級程式碼範例。

職涯影響

技術職位：EdgeAI 解決方案架構師 • 邊緣機器學習工程師 • 物聯網 AI 開發者 • 手機 AI 開發者

行業領域：製造4.0 • 醫療科技 • 自主系統 • 金融科技 • 消費電子

作品集專案：多代理系統 • 生產級 RAG 應用 • 跨平台部署 • 性能優化

儲存庫結構

edgeai-for-beginners/
├── 📖 introduction.md  # Foundation: EdgeAI Overview & Learning Framework
├── 📚 Module01-04/     # Fundamentals → SLMs → Deployment → Optimization  
├── 🔧 Module05-06/     # SLMOps → AI Agents → Function Calling
├── 💻 Module07/        # Platform Samples (VS Code, Windows, Jetson, Mobile)
├── 🏭 Module08/        # Foundry Local Toolkit + 10 Comprehensive Samples
│   ├── samples/01-06/  # Foundation: REST, SDK, RAG, Agents, Routing
│   └── samples/07-10/  # Advanced: API Client, Windows App, Enterprise Agents, Tools
├── 🌐 translations/    # Multi-language support (8+ languages)
└── 📋 STUDY_GUIDE.md   # Structured learning paths & time allocation

課程亮點

✅ 漸進式學習：理論 → 實作 → 生產部署
✅ 真實案例研究：微軟、日本航空、企業實施
✅ 實作範例：50+ 範例，10 個完整 Foundry 本地示範
✅ 性能聚焦：提升速度85%，減少大小75%
✅ 多平台支援：Windows、手機、嵌入式、雲端邊緣混合
✅ 生產就緒：監控、擴展、安全、合規框架

📖 學習指南：結構化20小時學習路徑，含時間分配指引及自我評估工具。

EdgeAI 代表 AI 部署的未來：本地優先、隱私保護、高效能。掌握這些技能，打造下一代智慧應用。