Skip to content

Latest commit

 

History

History
237 lines (177 loc) · 15.6 KB

File metadata and controls

237 lines (177 loc) · 15.6 KB

EdgeAI 初學者指南

課程封面圖片

GitHub 貢獻者 GitHub 問題 GitHub 拉取請求 歡迎 PR

GitHub 觀察者 GitHub 分叉 GitHub 星標

Microsoft Azure AI Foundry Discord

按照以下步驟開始使用這些資源:

  1. 分叉倉庫:點擊 GitHub 分叉
  2. 克隆倉庫git clone https://github.com/microsoft/edgeai-for-beginners.git
  3. 加入 Azure AI Foundry Discord,與專家和其他開發者交流

🌐 多語言支持

通過 GitHub Action 支持(自動化且始終保持最新)

阿拉伯語 | 孟加拉語 | 保加利亞語 | 緬甸語 | 中文(簡體) | 中文(繁體,香港) | 中文(繁體,澳門) | 中文(繁體,台灣) | 克羅地亞語 | 捷克語 | 丹麥語 | 荷蘭語 | 愛沙尼亞語 | 芬蘭語 | 法語 | 德語 | 希臘語 | 希伯來語 | 印地語 | 匈牙利語 | 印尼語 | 意大利語 | 日語 | 韓語 | 立陶宛語 | 馬來語 | 馬拉地語 | 尼泊爾語 | 挪威語 | 波斯語 | 波蘭語 | 葡萄牙語(巴西) | 葡萄牙語(葡萄牙) | 旁遮普語 | 羅馬尼亞語 | 俄語 | 塞爾維亞語(西里爾字母) | 斯洛伐克語 | 斯洛文尼亞語 | 西班牙語 | 斯瓦希里語 | 瑞典語 | 他加祿語 | 泰米爾語 | 泰語 | 土耳其語 | 烏克蘭語 | 烏爾都語 | 越南語

如果您希望支持其他翻譯語言,請參考 此處

簡介

歡迎來到 EdgeAI 初學者指南——這是一個全面的旅程,帶您進入邊緣人工智慧的變革世界。本課程將強大的 AI 能力與實際的邊緣設備部署相結合,幫助您直接在數據生成和決策需要的地方發揮 AI 的潛力。

您將掌握的內容

本課程涵蓋從基本概念到生產就緒的實施,包括:

  • 小型語言模型 (SLMs),針對邊緣部署進行優化
  • 硬件感知優化,適用於多種平台
  • 實時推理,具備隱私保護功能
  • 生產部署策略,適用於企業應用

為什麼邊緣 AI 重要

邊緣 AI 代表了一種解決現代關鍵挑戰的範式轉變:

  • 隱私與安全:在本地處理敏感數據,避免雲端暴露
  • 實時性能:消除網絡延遲,適用於時間敏感的應用
  • 成本效益:減少帶寬和雲計算開支
  • 運營韌性:在網絡中斷期間保持功能
  • 法規合規:滿足數據主權要求

邊緣 AI

邊緣 AI 是指在硬件上本地運行 AI 算法和語言模型,靠近數據生成的地方,而不依賴雲端資源進行推理。它降低了延遲,增強了隱私,並支持實時決策。

核心原則:

  • 設備上的推理:AI 模型在邊緣設備(手機、路由器、微控制器、工業 PC)上運行
  • 離線能力:無需持續的網絡連接即可運行
  • 低延遲:即時響應,適合實時系統
  • 數據主權:將敏感數據保留在本地,提高安全性和合規性

小型語言模型 (SLMs)

像 Phi-4、Mistral-7B 和 Gemma 這樣的 SLMs 是更大 LLMs 的優化版本——通過訓練或蒸餾實現:

  • 減少內存佔用:有效利用有限的邊緣設備內存
  • 降低計算需求:針對 CPU 和邊緣 GPU 性能進行優化
  • 更快的啟動時間:快速初始化,適用於響應式應用

它們在滿足以下限制的同時解鎖了強大的 NLP 功能:

  • 嵌入式系統:物聯網設備和工業控制器
  • 移動設備:具備離線功能的智能手機和平板電腦
  • 物聯網設備:資源有限的傳感器和智能設備
  • 邊緣服務器:具有有限 GPU 資源的本地處理單元
  • 個人電腦:桌面和筆記本電腦的部署場景

課程模組與導航

模組 主題 重點領域 主要內容 等級 時長
📖 00 邊緣 AI 簡介 基礎與背景 邊緣 AI 概述 • 行業應用 • SLM 簡介 • 學習目標 初學者 1-2 小時
📚 01 邊緣 AI 基礎 雲端與邊緣 AI 比較 邊緣 AI 基礎 • 實際案例研究 • 實施指南 • 邊緣部署 初學者 3-4 小時
🧠 02 SLM 模型基礎 模型家族與架構 Phi 家族 • Qwen 家族 • Gemma 家族 • BitNET • μModel • Phi-Silica 初學者 4-5 小時
🚀 03 SLM 部署實踐 本地與雲端部署 高級學習 • 本地環境 • 雲端部署 中級 4-5 小時
⚙️ 04 模型優化工具包 跨平台優化 簡介 • Llama.cpp • Microsoft Olive • OpenVINO • Apple MLX • 工作流程綜合 中級 5-6 小時
🔧 05 SLMOps 生產 生產運營 SLMOps 簡介 • 模型蒸餾 • 微調 • 生產部署 高級 5-6 小時
🤖 06 AI 代理與函數調用 代理框架與 MCP 代理簡介 • 函數調用 • 模型上下文協議 高級 4-5 小時
💻 07 平台實施 跨平台示例 AI 工具包 • Foundry Local • Windows 開發 高級 3-4 小時
🏭 08 Foundry Local 工具包 生產就緒示例 示例應用(詳情見下) 專家 8-10 小時

🏭 模組 08:示例應用

🎓 工作坊:實踐學習路徑

全面的實踐工作坊材料,包含生產就緒的實施:

  • 工作坊指南 - 完整的學習目標、成果和資源導航
  • Python 示例(6 節課)- 更新最佳實踐、錯誤處理和全面文檔
  • Jupyter 筆記本(8 個互動式)- 步驟教程,包含基準測試和性能監控
  • 課程指南 - 每節工作坊課程的詳細 Markdown 指南
  • 驗證工具 - 用於驗證代碼質量和運行煙霧測試的腳本

您將構建的內容:

  • 支持流式傳輸的本地 AI 聊天應用
  • 帶有質量評估的 RAG 管道(RAGAS)
  • 多模型基準測試和比較工具
  • 多代理協作系統
  • 基於任務選擇的智能模型路由

📊 學習路徑摘要

  • 總時長:36-45 小時
  • 初學者路徑:模組 01-02(7-9 小時)
  • 中級路徑:模組 03-04(9-11 小時)
  • 高級路徑:模組 05-07(12-15 小時)
  • 專家路徑:模組 08(8-10 小時)

您將構建的內容

🎯 核心能力

  • 邊緣 AI 架構:設計本地優先的 AI 系統,並與雲端集成
  • 模型優化:量化和壓縮模型以進行邊緣部署(提升速度 85%,減少大小 75%)
  • 多平台部署:Windows、移動設備、嵌入式系統和雲邊緣混合系統
  • 生產運營:監控、擴展和維護生產中的邊緣 AI

🏗️ 實用項目

  • Foundry 本地聊天應用:支援模型切換的 Windows 11 原生應用程式
  • 多代理系統:協調器與專家代理協作完成複雜工作流程
  • RAG 應用:使用向量搜索進行本地文件處理
  • 模型路由器:基於任務分析的智能模型選擇
  • API 框架:具備流式處理和健康監控的生產就緒客戶端
  • 跨平台工具:LangChain/Semantic Kernel 整合模式

🏢 行業應用

製造業醫療保健自動駕駛車輛智慧城市移動應用

快速入門

推薦學習路徑(總計 20-30 小時):

  1. 📖 簡介 (Introduction.md):邊緣 AI 基礎 + 行業背景 + 學習框架
  2. 📚 基礎(模組 01-02):邊緣 AI 概念 + SLM 模型家族
  3. ⚙️ 優化(模組 03-04):部署 + 量化框架
  4. 🚀 生產(模組 05-06):SLMOps + AI 代理 + 函數調用
  5. 💻 實施(模組 07-08):平台範例 + Foundry 本地工具包

每個模組都包含理論、實操練習和生產就緒的代碼範例。

職業影響

技術職位:邊緣 AI 解決方案架構師 • 機器學習工程師(邊緣) • 物聯網 AI 開發者 • 移動 AI 開發者

行業領域:製造業 4.0 • 醫療技術 • 自主系統 • 金融科技 • 消費電子

作品集項目:多代理系統 • 生產級 RAG 應用 • 跨平台部署 • 性能優化

資源結構

edgeai-for-beginners/
├── 📖 introduction.md  # Foundation: EdgeAI Overview & Learning Framework
├── 📚 Module01-04/     # Fundamentals → SLMs → Deployment → Optimization  
├── 🔧 Module05-06/     # SLMOps → AI Agents → Function Calling
├── 💻 Module07/        # Platform Samples (VS Code, Windows, Jetson, Mobile)
├── 🏭 Module08/        # Foundry Local Toolkit + 10 Comprehensive Samples
│   ├── samples/01-06/  # Foundation: REST, SDK, RAG, Agents, Routing
│   └── samples/07-10/  # Advanced: API Client, Windows App, Enterprise Agents, Tools
├── 🌐 translations/    # Multi-language support (8+ languages)
└── 📋 STUDY_GUIDE.md   # Structured learning paths & time allocation

課程亮點

漸進式學習:理論 → 實踐 → 生產部署
真實案例研究:微軟、日本航空、企業實施案例
實操範例:50+ 範例,10 個完整的 Foundry 本地演示
性能優化:提升 85% 的速度,減少 75% 的大小
多平台支持:Windows、移動設備、嵌入式、雲邊緣混合
生產就緒:監控、擴展、安全性、合規框架

📖 學習指南:結構化的 20 小時學習路徑,包含時間分配指導和自我評估工具。


邊緣 AI 代表了 AI 部署的未來:本地優先、保護隱私、高效能。掌握這些技能,打造下一代智能應用。

其他課程

我們的團隊還提供其他課程!查看以下內容:

獲取幫助

如果您遇到困難或對構建 AI 應用有任何疑問,請加入:

Azure AI Foundry Discord

如果您有產品反饋或在構建過程中遇到錯誤,請訪問:

Azure AI Foundry Developer Forum


免責聲明
本文件使用 AI 翻譯服務 Co-op Translator 進行翻譯。我們致力於提供準確的翻譯,但請注意,自動翻譯可能包含錯誤或不準確之處。應以原始語言的文件作為權威來源。對於關鍵資訊,建議尋求專業人工翻譯。我們對因使用此翻譯而引起的任何誤解或誤釋不承擔責任。