Skip to content

Latest commit

 

History

History
239 lines (179 loc) · 15.7 KB

File metadata and controls

239 lines (179 loc) · 15.7 KB

EdgeAI 初學者指南

課程封面圖片

GitHub contributors GitHub issues GitHub pull-requests PRs Welcome

GitHub watchers GitHub forks GitHub stars

Microsoft Azure AI Foundry Discord

按照以下步驟開始使用這些資源:

  1. Fork 此倉庫:點擊 GitHub forks
  2. Clone 此倉庫git clone https://github.com/microsoft/edgeai-for-beginners.git
  3. 加入 Azure AI Foundry Discord,與專家及其他開發者交流

🌐 多語言支持

通過 GitHub Action 支持(自動化且始終保持最新)

阿拉伯語 | 孟加拉語 | 保加利亞語 | 緬甸語 | 中文(簡體) | 中文(繁體,香港) | 中文(繁體,澳門) | 中文(繁體,台灣) | 克羅地亞語 | 捷克語 | 丹麥語 | 荷蘭語 | 愛沙尼亞語 | 芬蘭語 | 法語 | 德語 | 希臘語 | 希伯來語 | 印地語 | 匈牙利語 | 印尼語 | 意大利語 | 日語 | 韓語 | 立陶宛語 | 馬來語 | 馬拉地語 | 尼泊爾語 | 挪威語 | 波斯語(法爾西語) | 波蘭語 | 葡萄牙語(巴西) | 葡萄牙語(葡萄牙) | 旁遮普語(古木基文) | 羅馬尼亞語 | 俄語 | 塞爾維亞語(西里爾文) | 斯洛伐克語 | 斯洛文尼亞語 | 西班牙語 | 斯瓦希里語 | 瑞典語 | 塔加洛語(菲律賓語) | 泰米爾語 | 泰語 | 土耳其語 | 烏克蘭語 | 烏爾都語 | 越南語

如果您希望支持其他翻譯語言,請參考 此處

簡介

歡迎來到 EdgeAI 初學者指南——這是一個全面的旅程,帶您進入邊緣人工智能的變革性世界。本課程將強大的 AI 能力與邊緣設備上的實際部署相結合,幫助您直接在數據生成和決策需要的地方發揮 AI 的潛力。

您將掌握的內容

本課程涵蓋從基礎概念到生產級實施的所有內容,包括:

  • 小型語言模型 (SLMs),專為邊緣部署優化
  • 硬件感知優化,適用於多種平台
  • 實時推理,具備隱私保護功能
  • 生產部署策略,適用於企業應用

為什麼邊緣 AI 很重要

邊緣 AI 代表了一種解決現代關鍵挑戰的範式轉變:

  • 隱私與安全:在本地處理敏感數據,避免雲端暴露
  • 實時性能:消除網絡延遲,適用於時間敏感的應用
  • 成本效益:降低帶寬和雲計算成本
  • 運營韌性:在網絡中斷期間保持功能
  • 合規性:滿足數據主權要求

邊緣 AI

邊緣 AI 是指在硬件上本地運行 AI 算法和語言模型,靠近數據生成的地方,而不依賴雲端資源進行推理。它能降低延遲、增強隱私並支持實時決策。

核心原則:

  • 設備端推理:AI 模型在邊緣設備(手機、路由器、微控制器、工業 PC)上運行
  • 離線能力:無需持續的互聯網連接即可運行
  • 低延遲:即時響應,適合實時系統
  • 數據主權:將敏感數據保留在本地,提高安全性和合規性

小型語言模型 (SLMs)

像 Phi-4、Mistral-7B 和 Gemma 這樣的 SLM 是大型 LLM 的優化版本——通過訓練或蒸餾實現:

  • 減少內存佔用:有效利用有限的邊緣設備內存
  • 降低計算需求:針對 CPU 和邊緣 GPU 性能進行優化
  • 更快的啟動時間:快速初始化,適合響應式應用

它們在滿足以下限制的同時解鎖強大的 NLP 功能:

  • 嵌入式系統:物聯網設備和工業控制器
  • 移動設備:具備離線功能的智能手機和平板電腦
  • 物聯網設備:資源有限的傳感器和智能設備
  • 邊緣服務器:資源有限的本地處理單元
  • 個人電腦:桌面和筆記本電腦的部署場景

課程模組與導航

模組 主題 重點領域 主要內容 等級 時長
📖 00 邊緣 AI 簡介 基礎與背景 邊緣 AI 概述 • 行業應用 • SLM 簡介 • 學習目標 初學者 1-2 小時
📚 01 邊緣 AI 基礎 雲端與邊緣 AI 比較 邊緣 AI 基礎 • 真實案例研究 • 實施指南 • 邊緣部署 初學者 3-4 小時
🧠 02 SLM 模型基礎 模型家族與架構 Phi 家族 • Qwen 家族 • Gemma 家族 • BitNET • μModel • Phi-Silica 初學者 4-5 小時
🚀 03 SLM 部署實踐 本地與雲端部署 高級學習 • 本地環境 • 雲端部署 中級 4-5 小時
⚙️ 04 模型優化工具包 跨平台優化 簡介 • Llama.cpp • Microsoft Olive • OpenVINO • Apple MLX • 工作流程綜合 中級 5-6 小時
🔧 05 SLMOps 生產 生產運營 SLMOps 簡介 • 模型蒸餾 • 微調 • 生產部署 高級 5-6 小時
🤖 06 AI 代理與功能調用 代理框架與 MCP 代理簡介 • 功能調用 • 模型上下文協議 高級 4-5 小時
💻 07 平台實施 跨平台示例 AI 工具包 • Foundry Local • Windows 開發 高級 3-4 小時
🏭 08 Foundry Local 工具包 生產級示例 示例應用(詳情見下文) 專家 8-10 小時

🏭 模組 08:示例應用

🎓 工作坊:實踐學習路徑

全面的實踐工作坊材料,包含生產級實施:

  • 工作坊指南 - 完整的學習目標、成果和資源導航
  • Python 示例(6 節課) - 更新最佳實踐、錯誤處理和全面文檔
  • Jupyter 筆記本(8 個互動式) - 分步教程,包含基準測試和性能監控
  • 課程指南 - 每節工作坊課程的詳細 Markdown 指南
  • 驗證工具 - 用於驗證代碼質量和運行煙霧測試的腳本

您將構建的內容:

  • 支持流式傳輸的本地 AI 聊天應用
  • 帶有質量評估的 RAG 管道(RAGAS)
  • 多模型基準測試和比較工具
  • 多代理協作系統
  • 基於任務選擇的智能模型路由

📊 學習路徑摘要

  • 總時長:36-45 小時
  • 初學者路徑:模組 01-02(7-9 小時)
  • 中級路徑:模組 03-04(9-11 小時)
  • 高級路徑:模組 05-07(12-15 小時)
  • 專家路徑:模組 08(8-10 小時)

您將構建的內容

🎯 核心能力

  • 邊緣 AI 架構:設計本地優先的 AI 系統,並與雲端集成
  • 模型優化:量化和壓縮模型以進行邊緣部署(提升 85% 的速度,減少 75% 的大小)
  • 多平台部署:Windows、移動設備、嵌入式系統和雲邊緣混合系統
  • 生產運營:監控、擴展及維護生產中的邊緣 AI

🏗️ 實用項目

  • Foundry 本地聊天應用:Windows 11 原生應用,支持模型切換
  • 多代理系統:協調器與專家代理,用於處理複雜工作流程
  • RAG 應用:本地文檔處理,結合向量搜索
  • 模型路由器:基於任務分析的智能模型選擇
  • API 框架:支持流式傳輸及健康監控的生產級客戶端
  • 跨平台工具:LangChain/Semantic Kernel 集成模式

🏢 行業應用

製造業醫療保健自動駕駛車輛智慧城市移動應用

快速入門

推薦學習路徑(總計 20-30 小時):

  1. 📖 介紹 (Introduction.md):邊緣 AI 基礎 + 行業背景 + 學習框架
  2. 📚 基礎(模塊 01-02):邊緣 AI 概念 + SLM 模型家族
  3. ⚙️ 優化(模塊 03-04):部署 + 量化框架
  4. 🚀 生產(模塊 05-06):SLMOps + AI 代理 + 函數調用
  5. 💻 實施(模塊 07-08):平台示例 + Foundry 本地工具包

每個模塊都包含理論、實操練習及生產級代碼示例。

職業影響

技術職位:邊緣 AI 解決方案架構師 • 機器學習工程師(邊緣) • IoT AI 開發者 • 移動 AI 開發者

行業領域:製造業 4.0 • 醫療技術 • 自動化系統 • 金融科技 • 消費電子

作品集項目:多代理系統 • 生產級 RAG 應用 • 跨平台部署 • 性能優化

資源庫結構

edgeai-for-beginners/
├── 📖 introduction.md  # Foundation: EdgeAI Overview & Learning Framework
├── 📚 Module01-04/     # Fundamentals → SLMs → Deployment → Optimization  
├── 🔧 Module05-06/     # SLMOps → AI Agents → Function Calling
├── 💻 Module07/        # Platform Samples (VS Code, Windows, Jetson, Mobile)
├── 🏭 Module08/        # Foundry Local Toolkit + 10 Comprehensive Samples
│   ├── samples/01-06/  # Foundation: REST, SDK, RAG, Agents, Routing
│   └── samples/07-10/  # Advanced: API Client, Windows App, Enterprise Agents, Tools
├── 🌐 translations/    # Multi-language support (8+ languages)
└── 📋 STUDY_GUIDE.md   # Structured learning paths & time allocation

課程亮點

漸進式學習:理論 → 實踐 → 生產部署
真實案例研究:Microsoft、日本航空、企業實施案例
實操示例:50+ 範例,10 個全面的 Foundry 本地演示
性能重點:提升速度 85%,減少大小 75%
多平台支持:Windows、移動端、嵌入式、雲邊緣混合
生產就緒:監控、擴展、安全性及合規框架

📖 學習指南:結構化的 20 小時學習路徑,包含時間分配指導及自我評估工具。


邊緣 AI 代表了 AI 部署的未來:本地優先、隱私保護、高效。掌握這些技能,打造下一代智能應用。

其他課程

我們的團隊還提供其他課程!查看以下內容:

獲取幫助

如果您遇到困難或有關於構建 AI 應用的問題,請加入:

Azure AI Foundry Discord

如果您有產品反饋或在構建過程中遇到錯誤,請訪問:

Azure AI Foundry Developer Forum


免責聲明
本文件已使用人工智能翻譯服務 Co-op Translator 進行翻譯。儘管我們致力於提供準確的翻譯,請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要信息,建議使用專業人工翻譯。我們對因使用此翻譯而引起的任何誤解或錯誤解釋概不負責。