Модуль 08: Практическое знакомство с Microsoft Foundry Local - Полный набор инструментов разработчика
Microsoft Foundry Local представляет собой новое поколение разработки Edge AI, предоставляя разработчикам мощные инструменты для создания, развертывания и масштабирования AI-приложений локально с сохранением бесшовной интеграции с Azure AI Foundry. Этот модуль охватывает Foundry Local от установки до разработки продвинутых агентов.
Ключевые технологии:
- CLI и SDK Microsoft Foundry Local
- Интеграция с Azure AI Foundry
- Локальное выполнение моделей
- Кэширование и оптимизация моделей на устройстве
- Архитектуры на основе агентов
После завершения этого модуля вы сможете:
- Освоить Foundry Local: Установить, настроить и оптимизировать для разработки на Windows 11
- Развернуть различные модели: Запускать модели phi, qwen, deepseek и GPT локально с помощью CLI-команд
- Создавать производственные решения: Разрабатывать AI-приложения с использованием продвинутой инженерии запросов и интеграции данных
- Использовать экосистему с открытым исходным кодом: Интегрировать модели Hugging Face и вклады сообщества
- Разрабатывать AI-агентов: Создавать интеллектуальных агентов с возможностями привязки и оркестрации
- Реализовывать корпоративные шаблоны: Создавать модульные, масштабируемые AI-решения для производственного развертывания
Фокус: Установка, настройка CLI, развертывание моделей и оптимизация оборудования
Ключевые темы: Полная установка • Команды CLI • Кэширование моделей • Аппаратное ускорение • Развертывание нескольких моделей
Пример: Быстрый старт REST Chat • Интеграция OpenAI SDK • Обнаружение и тестирование моделей
Продолжительность: 2-3 часа | Уровень: Начальный
Фокус: Продвинутая инженерия запросов, интеграция данных и подключение к облаку
Ключевые темы: Инженерия запросов • Интеграция данных • Рабочие процессы Azure • Оптимизация производительности • Мониторинг
Пример: Приложение Chainlit RAG
Продолжительность: 2-3 часа | Уровень: Средний
Фокус: Интеграция Hugging Face, стратегии BYOM и модели сообщества
Ключевые темы: Интеграция Hugging Face • Bring-your-own-model • Инсайты Model Mondays • Вклады сообщества • Выбор моделей
Пример: Оркестрация нескольких агентов
Продолжительность: 2-3 часа | Уровень: Средний
Фокус: Сравнение LLM и SLM, реализация EdgeAI и продвинутые демонстрации
Ключевые темы: Сравнение моделей • Локальное vs облачное выполнение • Phi + ONNX Runtime • Приложение Chainlit RAG • Оптимизация WebGPU
Пример: Маршрутизатор моделей как инструментов
Продолжительность: 3-4 часа | Уровень: Продвинутый
Фокус: Архитектуры агентов, системные запросы, привязка и оркестрация
Ключевые темы: Шаблоны проектирования агентов • Инженерия системных запросов • Техники привязки • Системы с несколькими агентами • Производственное развертывание
Пример: Оркестрация нескольких агентов • Продвинутая система с несколькими агентами
Продолжительность: 3-4 часа | Уровень: Продвинутый
Фокус: Модульные AI-решения, масштабирование в корпоративной среде и производственные шаблоны
Ключевые темы: Модели как инструменты • Локальное развертывание • Интеграция SDK/API • Корпоративные архитектуры • Стратегии масштабирования
Пример: Маршрутизатор моделей как инструментов • Фреймворк инструментов Foundry
Продолжительность: 3-4 часа | Уровень: Эксперт
Фокус: Чистая интеграция REST API без зависимостей от SDK для максимального контроля
Ключевые темы: Реализация HTTP-клиента • Пользовательская аутентификация • Мониторинг состояния моделей • Потоковые ответы • Обработка ошибок в производственной среде
Пример: Прямой клиент API
Продолжительность: 2-3 часа | Уровень: Средний
Фокус: Создание современных нативных приложений чата с интеграцией Foundry Local
Ключевые темы: Разработка на Electron • Fluent Design System • Нативная интеграция Windows • Потоковая передача в реальном времени • Дизайн интерфейса чата
Пример: Приложение чата для Windows 11
Продолжительность: 3-4 часа | Уровень: Продвинутый
Фокус: Сложная координация агентов, специализированное делегирование задач и совместные AI-рабочие процессы
Ключевые темы: Координация интеллектуальных агентов • Шаблоны вызова функций • Межагентная коммуникация • Оркестрация рабочих процессов • Механизмы обеспечения качества
Пример: Продвинутая система с несколькими агентами
Продолжительность: 4-5 часов | Уровень: Эксперт
Фокус: Архитектура, ориентированная на инструменты, для интеграции Foundry Local в существующие приложения и фреймворки
Ключевые темы: Интеграция LangChain • Функции Semantic Kernel • Фреймворки REST API • CLI-инструменты • Интеграция Jupyter • Шаблоны производственного развертывания
Пример: Фреймворк инструментов Foundry
Продолжительность: 4-5 часов | Уровень: Эксперт
- Операционная система: Windows 11 (22H2 или новее)
- Память: 16 ГБ ОЗУ (32 ГБ рекомендуется для больших моделей)
- Хранилище: 50 ГБ свободного места для кэширования моделей
- Оборудование: Устройство с поддержкой NPU рекомендуется (Copilot+ PC), GPU опционально
- Сеть: Высокоскоростной интернет для первоначальной загрузки моделей
- Visual Studio Code с расширением AI Toolkit
- Python 3.10+ и pip
- Git для контроля версий
- PowerShell или командная строка
- Azure CLI (опционально для облачной интеграции)
- Базовое понимание концепций AI/ML
- Знание командной строки
- Основы программирования на Python
- Концепции REST API
- Базовые знания о запросах и выполнении моделей
Общее время: 30-38 часов
| Сессия | Область фокуса | Примеры | Время | Сложность |
|---|---|---|---|---|
| 1 | Установка и основы | 01, 02, 03 | 2-3 часа | Начальный |
| 2 | AI-решения | 04 | 2-3 часа | Средний |
| 3 | Открытый исходный код | 05 | 2-3 часа | Средний |
| 4 | Передовые модели | 06 | 3-4 часа | Продвинутый |
| 5 | AI-агенты | 05, 09 | 3-4 часа | Продвинутый |
| 6 | Корпоративные инструменты | 06, 10 | 3-4 часа | Эксперт |
| 7 | Прямая интеграция API | 07 | 2-3 часа | Средний |
| 8 | Приложение чата для Windows 11 | 08 | 3-4 часа | Продвинутый |
| 9 | Продвинутая оркестрация | 09 | 4-5 часов | Эксперт |
| 10 | Фреймворк инструментов | 10 | 4-5 часов | Эксперт |
Официальная документация:
- Microsoft Foundry Local GitHub - Исходный код и официальные примеры
- Документация Azure AI Foundry - Полное руководство по установке и использованию
- Серия Model Mondays - Еженедельные обзоры моделей и учебные материалы
Сообщество и поддержка:
- Обсуждения Foundry Local - Вопросы и ответы сообщества, запросы функций
- Сообщество разработчиков Microsoft AI - Последние новости и лучшие практики
После завершения этого модуля вы будете готовы:
- Развертывать и управлять: Установками Foundry Local в средах разработки и производства
- Интегрировать модели: Работать с различными семействами моделей от Microsoft, Hugging Face и сообщества
- Создавать приложения: Разрабатывать готовые к производству AI-приложения с продвинутыми функциями и оптимизациями
- Разрабатывать агентов: Реализовывать сложных AI-агентов с привязкой, рассуждением и интеграцией инструментов
- Решения по архитектуре: Делать обоснованный выбор между локальным и облачным развертыванием
- Оптимизация производительности: Оптимизировать выполнение моделей на различных конфигурациях оборудования
- Масштабирование в корпоративной среде: Проектировать приложения, которые масштабируются от локальных прототипов до корпоративных развертываний
- Конфиденциальность и безопасность: Реализовывать AI-решения с сохранением конфиденциальности через локальное выполнение
- Быстрое прототипирование: Быстро создавать и тестировать концепции AI-приложений на основе всех 10 шаблонов
- Интеграция сообщества: Использовать модели с открытым исходным кодом и вносить вклад в экосистему
- Продвинутые шаблоны: Реализовывать передовые AI-шаблоны, включая RAG, агентов и интеграцию инструментов
- Мастерство фреймворков: Экспертная интеграция с LangChain, Semantic Kernel, Chainlit и Electron
- Производственное развертывание: Развертывать масштабируемые AI-решения от локальных прототипов до корпоративных систем
- Разработка с учетом будущего: Создавать приложения, готовые к новым AI-технологиям и шаблонам
- Настройка среды: Убедитесь, что у вас Windows 11 с рекомендованным оборудованием (см. предварительные требования)
- Установите Foundry Local: Следуйте инструкциям в Сессии 1 для полной установки и настройки
- Запустите Пример 01: Начните с базовой интеграции REST API, чтобы проверить настройку
- Пройдите через примеры: Завершите примеры 01-10 для полного освоения
Отслеживайте свой прогресс через все 10 комплексных примеров:
- Успешно установить и настроить Foundry Local
- Завершить интеграцию REST API (Пример 01)
- Реализовать совместимость с OpenAI SDK (Пример 02)
- Провести обнаружение и тестирование моделей (Пример 03)
- Развернуть и запустить как минимум 4 различных семейства моделей
- Создать функциональное приложение RAG-чата (Пример 04)
- Создать систему оркестрации нескольких агентов (Пример 05)
- Реализовать интеллектуальный маршрутизатор моделей (Пример 06)
- Создать готовый к производству клиент API (Пример 07)
- Разработать нативное приложение чата для Windows 11 (Пример 08)
- Реализовать продвинутую систему с несколькими агентами (Пример 09)
- Создать комплексный фреймворк инструментов (Пример 10)
- Успешно запустить все 10 примеров без ошибок
- Настроить как минимум 3 примера для конкретных случаев использования
- Развернуть 2+ примера в производственных средах
- Внести улучшения или расширения в код примеров
- Интегрировать шаблоны Foundry Local в личные/профессиональные проекты
# 1. Clone and navigate to Module08
cd Module08
# 2. Create Python virtual environment
py -m venv .venv
.\.venv\Scripts\activate
# 3. Install base dependencies
pip install -r requirements.txt
# 4. Install Foundry Local (if not already installed)
winget install Microsoft.FoundryLocal
# 5. Verify Foundry Local installation
foundry --version
foundry model listПример 01: Быстрый старт REST Chat
# Start Foundry Local service
foundry model run phi-4-mini
# Run REST chat demo
python samples/01/chat_quickstart.pyПример 02: Интеграция OpenAI SDK
# Ensure model is running
foundry status
# Run SDK demo
python samples/02/sdk_quickstart.pyПример 03: Обнаружение и тестирование моделей
# Run comprehensive model testing
samples/03/list_and_bench.cmd
# Or run individual components
foundry model list --available
foundry model download qwen2.5-0.5b
foundry model benchmark phi-4-miniПример 04: Приложение Chainlit RAG
# Install Chainlit dependencies
pip install chainlit langchain chromadb
# Start RAG chat application
chainlit run samples/04/app.py -w
# Opens browser at http://localhost:8000Пример 05: Оркестрация нескольких агентов
# Run agent coordinator demo
python -m samples.05.agents.coordinator
# Run specific agent examples
python samples/05/examples/specialists_demo.pyПример 06: Маршрутизатор моделей как инструментов
# Configure environment
set BASE_URL=http://localhost:8000
set GENERAL_MODEL=phi-4-mini
set CODE_MODEL=qwen2.5-7b
# Run intelligent router
python samples/06/router.py "Analyze this Python code for performance issues"Пример 07: Прямой клиент API
# Navigate to sample directory
cd samples/07
# Install additional dependencies
pip install -r requirements.txt
# Run basic API examples
python examples/basic_usage.py
# Try streaming responses
python examples/streaming.py
# Test production patterns
python examples/production.pyПример 08: Приложение чата для Windows 11
# Navigate to sample directory
cd samples/08
# Install Node.js dependencies
npm install
# Start Electron application
npm start
# Or build for production
npm run buildПример 09: Продвинутая система с несколькими агентами
# Navigate to sample directory
cd samples/09
# Install agent system dependencies
pip install -r requirements.txt
# Run basic coordination example
python examples/basic_coordination.py
# Try complex workflow
python examples/complex_workflow.py
# Interactive agent demo
python examples/interactive_demo.pyПример 10: Фреймворк инструментов Foundry
# Navigate to sample directory
cd samples/10
# Install framework dependencies
pip install -r requirements.txt
# Run basic tools demo
python examples/basic_tools.py
# Start REST API server
python examples/rest_api_server.py
# API available at http://localhost:8080
# Try CLI application
python examples/cli_application.py --help
# Launch Jupyter notebook
jupyter notebook examples/jupyter_notebook.ipynb
# Test LangChain integration
python examples/langchain_demo.pyОшибки подключения Foundry Local
# Check service status
foundry status
# Restart if needed
foundry restart
# Verify endpoint accessibility
curl http://localhost:5273/v1/modelsПроблемы с загрузкой моделей
# Check available models
foundry model list --cached
# Download missing models
foundry model download phi-4-mini
foundry model download qwen2.5-0.5b
# Force reload if needed
foundry model unload --all
foundry model run phi-4-miniПроблемы с зависимостями
# Upgrade pip and reinstall
python -m pip install --upgrade pip
pip install -r requirements.txt --force-reinstall
# For Node.js samples
npm cache clean --force
npm installЭтот модуль представляет собой передовой уровень разработки Edge AI, объединяя корпоративные инструменты Microsoft с гибкостью и инновациями экосистемы с открытым исходным кодом. Освоив Foundry Local через все 10 подробных примеров, вы окажетесь на передовой разработки приложений с искусственным интеллектом.
Полный учебный путь:
- Основы (Примеры 01-03): Интеграция API и управление моделями
- Приложения (Примеры 04-06): RAG, агенты и интеллектуальная маршрутизация
- Продвинутый уровень (Примеры 07-10): Производственные фреймворки и корпоративная интеграция
Для интеграции с Azure OpenAI (Сессия 2) ознакомьтесь с файлами README отдельных примеров, чтобы узнать о необходимых переменных окружения и настройках версии API.
Отказ от ответственности:
Этот документ был переведен с помощью сервиса автоматического перевода Co-op Translator. Несмотря на наши усилия обеспечить точность, автоматические переводы могут содержать ошибки или неточности. Оригинальный документ на его родном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется профессиональный перевод человеком. Мы не несем ответственности за любые недоразумения или неправильные интерпретации, возникшие в результате использования данного перевода.