feat: download system, AI discovery docs, twitter media batch download

- Twitter download: batch image/video download with reqwest + yt-dlp fallback
- README (EN/ZH/JA): add AI Discovery and Download sections with examples
- Features: add download and AI discovery highlights

Author: nashsu

.gitignore

@@ -2,3 +2,4 @@
 /docs
 /opencli
 test-results*.md
+twitter-downloads/

README.ja.md

@@ -37,7 +37,8 @@
 - **55サイト、333コマンド** —— Bilibili、Twitter、Reddit、知乎、小紅書、YouTube、Hacker News などをカバー
 - **ブラウザセッション再利用** —— Chrome 拡張機能でログイン済み状態を再利用、トークン管理不要
 - **宣言型 YAML Pipeline** —— YAML でデータ取得フローを記述、コードゼロで新しいアダプターを追加
-- **AI ネイティブディスカバリー** —— `explore` でサイト API を分析、`synthesize` でアダプターを自動生成、`cascade` で認証ストラテジーを探索
+- **AI ネイティブディスカバリー** —— `explore` でサイト API を分析、`generate` で1コマンドでアダプターを自動生成、`cascade` で認証ストラテジーを探索
+- **メディア＆記事ダウンロード** —— 動画ダウンロード（yt-dlp）、記事を Markdown にエクスポート＋画像のローカル保存
 - **外部 CLI パススルー** —— GitHub CLI、Docker、Kubernetes などのツールを統合
 - **複数出力フォーマット** —— table、JSON、YAML、CSV、Markdown
 - **単一バイナリ** —— 4MB の静的バイナリにコンパイル、ランタイム依存ゼロ
@@ -207,17 +208,55 @@ opencli-rs completion fish > ~/.config/fish/completions/opencli-rs.fish
 
 ## AI ディスカバリー機能
 
+1コマンドで API を発見し、アダプターを自動生成、即座に利用可能：
+
+```bash
+# ワンショット：探索 + 合成 + アダプター保存
+opencli-rs generate https://www.example.com --goal hot
+# ✅ アダプター生成: example hot
+#    保存先: ~/.opencli-rs/adapters/example/hot.yaml
+#    実行: opencli-rs example hot
+
+# Web サイトの API を探索（エンドポイント、フレームワーク、Store）
+opencli-rs explore https://www.example.com --site mysite
+
+# インタラクティブファジング（ボタンクリックで隠し API を発見）
+opencli-rs explore https://www.example.com --auto --click "コメント,字幕"
+
+# 認証ストラテジー自動検出（PUBLIC → COOKIE → HEADER）
+opencli-rs cascade https://api.example.com/hot
+```
+
+**ディスカバリー機能：**
+- `.json` サフィックスプローブ（Reddit 式 REST ディスカバリー）
+- `__INITIAL_STATE__` 抽出（Bilibili、小紅書などの SSR サイト）
+- Pinia/Vuex Store 発見とアクションマッピング
+- `--goal search` による検索エンドポイント自動発見
+- フレームワーク検出（Vue/React/Next.js/Nuxt）
+
+## ダウンロード
+
+対応サイトからメディアと記事をダウンロード：
+
 ```bash
-# Web サイトの API を探索
-opencli-rs explore https://example.com
+# Bilibili 動画ダウンロード（yt-dlp が必要）
+opencli-rs bilibili download BV1xxx --output ./videos --quality 1080p
+
+# 知乎記事を Markdown でダウンロード（画像付き）
+opencli-rs zhihu download "https://zhuanlan.zhihu.com/p/xxx" --output ./articles
 
-# 認証ストラテジーを自動探索
-opencli-rs cascade https://api.example.com/data
+# WeChat 公式アカウント記事を Markdown でダウンロード（画像付き）
+opencli-rs weixin download "https://mp.weixin.qq.com/s/xxx" --output ./articles
 
-# ワンクリックでアダプターを生成
-opencli-rs generate https://example.com --goal "hot posts"
+# Twitter/X メディアダウンロード（画像 + 動画）
+opencli-rs twitter download nash_su --limit 10 --output ./twitter
 ```
 
+**ダウンロード機能：**
+- yt-dlp による動画ダウンロード（ブラウザから Cookie を自動取得、システム認証不要）
+- YAML フロントマター付き Markdown エクスポート（タイトル、著者、日付、出典）
+- 画像の自動ダウンロードとローカル化（リモート URL をローカル `images/img_001.jpg` に置換）
+
 ## 外部 CLI 統合
 
 統合済みの外部ツール（パススルー実行）：

README.md

@@ -37,7 +37,8 @@ A **complete rewrite in pure Rust** based on [OpenCLI](https://github.com/jackwe
 - **55 sites, 333 commands** — Covers Bilibili, Twitter, Reddit, Zhihu, Xiaohongshu, YouTube, Hacker News, and more
 - **Browser session reuse** — Reuse logged-in sessions via Chrome extension, no need to manage tokens
 - **Declarative YAML Pipeline** — Describe data scraping workflows in YAML, add new adapters with zero code
-- **AI-native discovery** — `explore` analyzes website APIs, `synthesize` auto-generates adapters, `cascade` probes authentication strategies
+- **AI-native discovery** — `explore` analyzes website APIs, `generate` auto-creates adapters with one command, `cascade` probes authentication strategies
+- **Download media & articles** — Download videos (via yt-dlp), articles as Markdown with images localized
 - **External CLI passthrough** — Integrate GitHub CLI, Docker, Kubernetes, and other tools
 - **Multi-format output** — table, JSON, YAML, CSV, Markdown
 - **Single binary** — Compiles to a 4MB static binary with zero runtime dependencies
@@ -207,17 +208,57 @@ Run `opencli-rs --help` to see all available commands.
 
 ## AI Discovery Capabilities
 
+One command to discover APIs, auto-generate adapters, and start using them immediately:
+
+```bash
+# One-shot: explore + synthesize + save adapter
+opencli-rs generate https://www.example.com --goal hot
+# ✅ Generated adapter: example hot
+#    Saved to: ~/.opencli-rs/adapters/example/hot.yaml
+#    Run it now: opencli-rs example hot
+
+# Explore website API surface (endpoints, framework, stores)
+opencli-rs explore https://www.example.com --site mysite
+
+# With interactive fuzzing (click buttons to trigger hidden APIs)
+opencli-rs explore https://www.example.com --auto --click "Comments,CC"
+
+# Auto-detect authentication strategy (PUBLIC → COOKIE → HEADER)
+opencli-rs cascade https://api.example.com/hot
+```
+
+**Discovery features:**
+- `.json` suffix probing (Reddit-style REST discovery)
+- `__INITIAL_STATE__` extraction (SSR sites like Bilibili, Xiaohongshu)
+- Pinia/Vuex store discovery and action mapping
+- Auto search endpoint discovery with `--goal search`
+- Framework detection (Vue/React/Next.js/Nuxt)
+
+## Download
+
+Download media and articles from supported sites:
+
 ```bash
-# Explore website APIs
-opencli-rs explore https://example.com
+# Download Bilibili video (requires yt-dlp)
+opencli-rs bilibili download BV1xxx --output ./videos --quality 1080p
+
+# Download Zhihu article as Markdown with images
+opencli-rs zhihu download "https://zhuanlan.zhihu.com/p/xxx" --output ./articles
 
-# Auto-detect authentication strategies
-opencli-rs cascade https://api.example.com/data
+# Download WeChat article as Markdown with images
+opencli-rs weixin download "https://mp.weixin.qq.com/s/xxx" --output ./articles
 
-# One-click adapter generation
-opencli-rs generate https://example.com --goal "hot posts"
+# Download Twitter/X media (images + videos)
+opencli-rs twitter download nash_su --limit 10 --output ./twitter
+opencli-rs twitter download --tweet-url "https://x.com/user/status/123" --output ./twitter
 ```
 
+**Download features:**
+- Videos via yt-dlp (cookies extracted from browser automatically, no Keychain prompt)
+- Articles as Markdown with YAML frontmatter (title, author, date, source)
+- Images downloaded and localized (remote URLs replaced with local `images/img_001.jpg`)
+- Output directory structure: `output/article_title/title.md` + `output/article_title/images/`
+
 ## External CLI Integration
 
 Integrated external tools (passthrough execution):

README.zh.md

@@ -38,7 +38,8 @@
 - **55 个站点、333 个命令** —— 覆盖 Bilibili、Twitter、Reddit、知乎、小红书、YouTube、Hacker News 等
 - **浏览器会话复用** —— 通过 Chrome 扩展复用已登录状态，无需管理 token
 - **声明式 YAML Pipeline** —— 用 YAML 描述数据抓取流程，零代码新增适配器
-- **AI 原生发现** —— `explore` 分析网站 API、`synthesize` 自动生成适配器、`cascade` 探测认证策略
+- **AI 原生发现** —— `explore` 分析网站 API、`generate` 一键生成适配器、`cascade` 探测认证策略
+- **下载媒体和文章** —— 视频下载（yt-dlp）、文章导出为 Markdown 并本地化配图
 - **外部 CLI 透传** —— 集成 GitHub CLI、Docker、Kubernetes 等工具
 - **多格式输出** —— table、JSON、YAML、CSV、Markdown
 - **单一二进制** —— 编译为 4MB 静态二进制，零运行时依赖
@@ -208,17 +209,57 @@ opencli-rs completion fish > ~/.config/fish/completions/opencli-rs.fish
 
 ## AI 发现能力
 
+一行命令发现 API、自动生成适配器、立即可用：
+
+```bash
+# 一键：探索 + 合成 + 保存适配器
+opencli-rs generate https://www.example.com --goal hot
+# ✅ 已生成适配器: example hot
+#    保存到: ~/.opencli-rs/adapters/example/hot.yaml
+#    立即运行: opencli-rs example hot
+
+# 探索网站 API（端点、框架、Store）
+opencli-rs explore https://www.example.com --site mysite
+
+# 交互式模糊测试（点击按钮触发隐藏 API）
+opencli-rs explore https://www.example.com --auto --click "评论,字幕"
+
+# 自动探测认证策略（PUBLIC → COOKIE → HEADER）
+opencli-rs cascade https://api.example.com/hot
+```
+
+**发现能力：**
+- `.json` 后缀探测（Reddit 风格 REST 发现）
+- `__INITIAL_STATE__` 提取（Bilibili、小红书等 SSR 站点）
+- Pinia/Vuex Store 发现和 Action 映射
+- `--goal search` 自动发现搜索端点
+- 框架检测（Vue/React/Next.js/Nuxt）
+
+## 下载
+
+下载支持站点的媒体和文章：
+
 ```bash
-# 探索网站 API
-opencli-rs explore https://example.com
+# 下载 B 站视频（需要 yt-dlp）
+opencli-rs bilibili download BV1xxx --output ./videos --quality 1080p
+
+# 下载知乎文章为 Markdown（含配图）
+opencli-rs zhihu download "https://zhuanlan.zhihu.com/p/xxx" --output ./articles
 
-# 自动探测认证策略
-opencli-rs cascade https://api.example.com/data
+# 下载微信公众号文章为 Markdown（含配图）
+opencli-rs weixin download "https://mp.weixin.qq.com/s/xxx" --output ./articles
 
-# 一键生成适配器
-opencli-rs generate https://example.com --goal "hot posts"
+# 下载 Twitter/X 媒体（图片 + 视频）
+opencli-rs twitter download nash_su --limit 10 --output ./twitter
+opencli-rs twitter download --tweet-url "https://x.com/user/status/123" --output ./twitter
 ```
 
+**下载特性：**
+- 视频通过 yt-dlp 下载（自动从浏览器提取 cookies，无需系统授权）
+- 文章导出为 Markdown + YAML 头信息（标题、作者、日期、来源）
+- 配图自动下载并本地化（远程 URL 替换为本地 `images/img_001.jpg`）
+- 输出结构：`output/文章标题/标题.md` + `output/文章标题/images/`
+
 ## 外部 CLI 集成
 
 已集成的外部工具（透传执行）：

adapters/twitter/download.yaml

@@ -1,6 +1,6 @@
 site: twitter
 name: download
-description: Download Twitter/X media (images and videos)
+description: 下载 Twitter/X 媒体（图片和视频）
 domain: x.com
 strategy: cookie
 browser: true
@@ -25,36 +25,30 @@ args:
 columns: [index, type, status, size]
 
 pipeline:
+  # Step 1: Navigate to target page
   - navigate:
-      url: https://x.com
+      url: https://x.com/home
       settleMs: 3000
 
   - evaluate: |
       (() => {
-        const username = ${{ args.username | json }};
-        const tweetUrl = ${{ args['tweet-url'] | json }};
-
-        if (!username && !tweetUrl) {
-          throw new Error('Must provide a username or --tweet-url');
-        }
-
-        if (tweetUrl) {
-          return tweetUrl;
-        } else {
-          return 'https://x.com/' + username + '/media';
-        }
+        const username = args.username || '';
+        const tweetUrl = args['tweet-url'] || '';
+        if (!username && !tweetUrl) throw new Error('Must provide a username or --tweet-url');
+        return tweetUrl || ('https://x.com/' + username + '/media');
       })()
 
   - navigate:
-      url: ${{ data }}
+      url: "${{ data }}"
       settleMs: 5000
 
+  # Step 2: Scroll and extract media
   - evaluate: |
       (async () => {
-        const tweetUrl = ${{ args['tweet-url'] | json }};
-        const limit = ${{ args.limit }};
+        const tweetUrl = args['tweet-url'] || '';
+        const limit = args.limit || 10;
 
-        // Scroll to load more content
+        // Scroll to load more
         if (!tweetUrl) {
           for (let i = 0; i < Math.ceil(limit / 5); i++) {
             window.scrollTo(0, document.body.scrollHeight);
@@ -68,45 +62,37 @@ pipeline:
         document.querySelectorAll('img[src*="pbs.twimg.com/media"]').forEach(img => {
           let src = img.src || '';
           src = src.replace(/&name=\w+$/, '&name=large');
-          if (!src.includes('&name=')) {
-            src = src + '&name=large';
-          }
+          if (!src.includes('&name=')) src += '&name=large';
           media.push({ type: 'image', url: src });
         });
 
         // Find videos
         document.querySelectorAll('video').forEach(video => {
           const src = video.src || '';
-          if (src) {
-            media.push({ type: 'video', url: src, poster: video.poster || '' });
-          }
+          if (src) media.push({ type: 'video', url: src });
         });
 
         // Find video tweets (for yt-dlp)
         document.querySelectorAll('[data-testid="videoPlayer"]').forEach(player => {
           const tweetLink = player.closest('article')?.querySelector('a[href*="/status/"]');
           const href = tweetLink?.getAttribute('href') || '';
-          if (href) {
-            media.push({ type: 'video-tweet', url: 'https://x.com' + href });
-          }
+          if (href) media.push({ type: 'video-tweet', url: 'https://x.com' + href });
         });
 
-        if (!media || media.length === 0) {
-          return [{ index: 0, type: '-', status: 'failed', size: 'No media found' }];
-        }
-
         // Deduplicate
         const seen = new Set();
-        const unique = media.filter(m => {
-          if (seen.has(m.url)) return false;
-          seen.add(m.url);
-          return true;
-        }).slice(0, limit);
+        const unique = media.filter(m => { if (seen.has(m.url)) return false; seen.add(m.url); return true; }).slice(0, limit);
 
-        return unique.map((m, i) => ({
-          index: i + 1,
-          type: m.type,
-          status: 'found',
-          size: m.url,
-        }));
+        if (!unique.length) return [{ index: 0, type: '-', status: 'failed', size: 'No media found' }];
+
+        return {
+          items: unique,
+          output: args.output || './twitter-downloads',
+          username: args.username || 'tweet',
+        };
       })()
+
+  - download:
+      type: twitter-media
+      output: "${{ data.output }}"
+      username: "${{ data.username }}"