Skip to content
Go back

Dify-API(V1)具体实现方式

Published:  at  06:38 AM

Table of contents

Open Table of contents

✅ 接入层 token 解密在哪个服务进程?


✅ Workflow 执行在哪个服务进程上?


✅ Dify 默认负载机制

层级是否默认支持描述
请求负载均衡(多进程)❌ 未实现需依赖 Nginx / Kubernetes
主进程内调度(多线程)✅ 默认每个请求创建一个线程使用 threading.Thread 执行
App 级并发限制(RateLimit)✅ 默认启用每个 App 可设置最大并发数
任务中止机制✅ 支持,通过 queue_manager.stop_flag 控制实现线程中断与资源释放

Dify V1 完整执行流程

workflow

🔄 补充:企业版支持 LLM 模型层负载均衡

企业版 / SaaS 付费版 中,Dify 引入了模型层的负载均衡功能,用于解决高并发下 LLM API 的速率限制问题。用户可在模型配置中添加多个 API 凭据并开启分发功能。

📖 详情文档见:Dify 模型负载均衡官方指南


Suggest Changes

Next Post
Dify 权限控制说明