[Bug]: The image2txt type cannot be selected when adding a model in vLLM.

[GuangchaoDeng]

Self Checks

• I have searched for existing issues search for existing issues, including closed ones.
• I confirm that I am using English to submit this report (Language Policy).
• Non-english title submitions will be closed directly ( 非英文标题的提交将会被直接关闭 ) (Language Policy).
• Please do not modify this template :) and fill in all the required fields.

RAGFlow workspace code commit ID

0

RAGFlow image version

nightly

Other environment information

Actual behavior

Expected behavior

No response

Steps to reproduce

1、选择vllm，配置模型
2、选择模型类型

Additional information

No response

[dosubot]

The reason you can't select the 'image2txt' type when adding a vLLM model is that RAGFlow expects the model type to be spelled 'image2text' (not 'image2txt') in both the backend configuration and the UI. To make a vLLM model selectable for image-to-text tasks, edit your llm_factories.json entry for that model to use "model_type": "image2text" and add the 'IMAGE2TEXT' tag in the tags field. For example:

{
  "llm_name": "your-vllm-model___VLLM",
  "tags": "LLM,IMAGE2TEXT",
  "max_tokens": 32768,
  "model_type": "image2text"
}

After updating the config, restart RAGFlow for the changes to take effect. The UI will only show models with the correct type/tag and available status as selectable options. If the option is still missing after this, it could be due to a bug or incomplete support in the current integration logic—check your logs for errors or misconfigurations. Recent updates also improved detection of multimodal capabilities using the tags field, so make sure your model is tagged appropriately for vision tasks.
Reference 1 | Reference 2 | Reference 3

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

   

[GuangchaoDeng]

以前的版本是可以通过vllm配置模型时选择images2text类型的，这个最新版本没有这个选项了，为什么把这个选项去除了？

[dosubot]

最新版本之所以没有“images2text”选项，是因为近期的更新（PR #12942）重构了多模态能力的检测逻辑。现在 UI 不再通过 model_type 字段判断是否支持图片转文本，而是通过 tags 字段里的 “IMAGE2TEXT” 标签来识别模型的视觉能力。也就是说，只有在 llm_factories.json 里为 vLLM 模型配置了 "tags": "IMAGE2TEXT"（以及 model_type: "image2text"），UI 才会显示相关选项。

目前 VLLM 的模型列表是空的（没有注册 image2text 能力的模型），所以你看不到这个选项。如果需要恢复，只要在 llm_factories.json 里为 VLLM 添加带有 "model_type": "image2text" 和 "tags": "IMAGE2TEXT" 的模型，然后重启 RAGFlow 即可。详细变更说明见：PR #12942。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

   

[GuangchaoDeng]

目前我通过vllm部署了Qwen2.5-VL-7B-Instruct模型，在不更新llm_factories.json的前提下，如何在UI上配置该模型参数，并设置为默认vlm模型

[dosubot]

目前 RAGFlow 不支持仅通过 UI 配置 vLLM 部署的 Qwen2.5-VL-7B-Instruct 并将其设为默认 VLM（视觉语言模型），而不更新 llm_factories.json。UI 添加/配置模型只对当前用户生效，无法全局注册模型类型和能力，也无法让该模型出现在“默认 VLM”下拉列表中。要让模型作为 VLM 出现在全局和默认模型选择里，必须在 llm_factories.json 里为该模型添加 "model_type": "image2text" 和/或 "IMAGE2TEXT" 标签，并重启 RAGFlow 服务，或者通过后端 API 注册模型（本质上也是后台操作）参考 参考。

如果只用 UI 配置，模型不会被系统识别为 VLM，也无法设为全局默认。当前没有 UI-only 的解决方案。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

   

[GuangchaoDeng]

是否可以在UI配置时增加tag选项让用户去标记，默认vlm模型配置时自动去筛选

[GuangchaoDeng]

增加了image2text配置,但启动后UI出现异常，模型无法加载了，以上配置是否正确，

[dosubot]

你的配置有两个常见问题会导致 UI 异常、模型无法加载：

1. tags 字段必须包含大写的 IMAGE2TEXT，不能是小写（区分大小写），并且必须用英文逗号分隔，比如 "tags": "LLM,CHAT,IMAGE2TEXT,32k"。
2. is_tools 字段只能为 true 如果你的模型真的支持工具调用。Qwen2.5-VL-7B-Instruct 并不支持工具，所以这里应该是 false，否则会导致 UI 加载异常或模型注册失败 参考。

正确的配置示例（llm_factories.json）：

{
  "llm_name": "Pro/Qwen/Qwen2.5-VL-7B-Instruct",
  "tags": "LLM,CHAT,IMAGE2TEXT,32k",
  "max_tokens": 32000,
  "model_type": "image2text",
  "is_tools": false
}

常见导致 UI/模型加载失败的原因有：

• tags 不是大写或分隔符错误
• is_tools 配置错误
• model_type 拼写错误（必须是 "image2text"）
• 模型名不规范或 provider 配置不对
• 修改后未重启 RAGFlow

建议你：

1. 检查 tags 是否为大写 IMAGE2TEXT，且用英文逗号分隔
2. 检查 is_tools 是否为 false
3. 检查 model_type 是否为 "image2text"
4. 修改 llm_factories.json 后重启 RAGFlow
5. 如果还是异常，查看后端日志，通常会有配置解析或注册报错

目前全局/默认 VLM 注册只能通过 llm_factories.json，UI 配置只对当前用户生效，无法全局生效 参考。

详细配置规范和案例可参考 官方配置文件。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

   

[GuangchaoDeng]

已解决，vllm时，UI配置中选择OCR，即可

[GuangchaoDeng]

已解决，vllm时，UI配置中选择OCR，即可