介绍如何在 Dify 低代码平台中集成基于 ModelScope Sambert-Hifigan 模型的 TTS 服务。通过 Docker 部署独立 TTS 服务，利用 HTTP API 实现文本到语音的转换。详细步骤包括环境配置、API 调用及在 Dify 工作流中的节点编排，解决了依赖冲突问题，并提供了安全增强与性能优化建议，帮助开发者快速构建具备语音播报能力的 AI 应用。
在构建智能对话系统、虚拟助手或教育类 AI 产品时，语音输出能力是提升用户体验的关键一环。传统的语音合成（Text-to-Speech, TTS）方案往往依赖复杂的模型部署和高门槛的开发流程，难以快速集成到低代码平台中。
Dify 作为一款领先的低代码大模型应用开发平台，支持通过可视化工作流编排 AI 能力。然而，默认组件并未内置 TTS 功能。本文将介绍如何通过集成一个稳定、高质量的中文多情感 TTS 服务——基于 ModelScope 的 Sambert-Hifigan 模型，为 Dify 工作流注入'声音'，实现从文本生成到语音播报的完整闭环。
🎯 核心目标：
在不编写复杂后端代码的前提下，将成熟的 TTS 能力以 API 形式接入 Dify，完成'用户输入 → 文本处理 → 语音合成 → 播放反馈'的自动化流程。
在众多开源 TTS 模型中，ModelScope 平台提供的 Sambert-Hifigan（中文多情感）模型脱颖而出，具备以下优势：
该模型已在 Hugging Face 和 ModelScope 上开源，社区活跃且文档完善，是当前中文 TTS 任务中的首选方案之一。
为了便于集成与调试，我们使用了一个经过深度优化的 Docker 镜像版本，其整体架构如下：
+---------------------+
| 用户浏览器 |
| (WebUI 界面操作) |
+----------+----------+
v
+---------------------+
| Flask HTTP Server |
| - 提供网页交互入口 |
| - 接收 POST /tts 请求|
+----------+----------+
v
+---------------------+
| Sambert-Hifigan 模型|
| - 文本转频谱 |
| - 频谱转波形 |
+----------+----------+
v
+---------------------+
| 输出.wav 音频文件 |
| 或 Base64 编码数据返回|
+---------------------+
原始 ModelScope 示例存在严重的依赖冲突问题，常见报错包括：
ImportError: numpy.ndarray size changed, may indicate binary incompatibility
ValueError: scipy 1.13+ is not supported
我们已对环境进行彻底修复：
datasets==2.13.0 → 锁定兼容版本numpy==1.23.5 → 避免与 transformers 冲突scipy<1.13 → 兼容旧版 torchaudiorequirements.txt，确保一键构建无误💡 实践价值：无需手动解决依赖地狱，开箱即用，极大降低部署成本。
假设你已安装 Docker，执行以下命令拉取并运行预构建镜像：
docker run -d -p 5000:5000 --name tts-service \
your-tts-image:sambert-hifigan-chinese
服务启动后，访问 http://localhost:5000 即可看到如下 Web 界面：
📌 使用说明：
- 在文本框中输入任意中文内容（支持长文本）
- 点击'开始合成语音'
- 系统自动生成
.wav文件，支持在线播放与下载
除了图形界面，该服务还暴露了标准 RESTful 接口，便于与其他系统对接。
| 属性 | 值 |
|---|---|
| 方法 | POST |
| 地址 | http://localhost:5000/tts |
| Content-Type | application/json |
{
"text": "今天天气真好，适合出去散步。",
"emotion": "happy",
"speed": 1.0
}
| 参数 | 类型 | 是否必填 | 说明 |
|---|---|---|---|
text | string | 是 | 待合成的中文文本，建议不超过 500 字 |
emotion | string | 否 | 情感类型：neutral, happy, sad, angry, surprised 等 |
speed | float | 否 | 语速调节，默认 1.0（范围 0.8~1.2） |
{
"status": "success",
"audio_url": "/static/audio/tts_20250405_120001.wav",
"download_url": "/static/audio/tts_20250405_120001.wav?download=1"
}
前端可通过 <audio src="http://localhost:5000${audio_url}"></audio> 直接播放。
现在我们将上述 TTS 服务接入 Dify 平台，实现一个'智能客服自动语音回复'工作流。
用户在聊天窗口输入问题 → AI 生成回答文本 → 自动调用 TTS 生成语音 → 返回语音链接供播放
在 Dify 的工作流编辑器中添加一个 'HTTP 请求'节点，配置如下：
{
"Content-Type": "application/json"
}
{
"text": "{{#sys.query#}}",
"emotion": "neutral",
"speed": 1.0
}
URL：http://tts-service:5000/tts
注意：若 TTS 服务与 Dify 在同一 Docker 网络，可用服务名代替 IP
其中 {{#sys.query#}} 是 Dify 内置变量，表示用户最新输入。
添加后续节点处理 API 返回结果：
// 解析 TTS 返回的 JSON
const response = JSON.parse(nodeData['http_request'].response);
if (response.status === 'success') {
return {
audio_url: 'http://host-ip:5000' + response.audio_url,
download_link: 'http://host-ip:5000' + response.download_url
};
} else {
throw new Error('TTS synthesis failed');
}
⚠️ 替换
host-ip为实际主机公网 IP 或内网可达地址
使用'答案'节点输出富媒体响应：
🤖 已为您生成语音回复： <audio controls src="{{audio_url}}"></audio> 📥 [点击下载语音文件]({{download_link}})
保存并发布工作流后，即可测试完整链路。
原因分析：
可能是输入文本包含非法字符（如英文引号、特殊符号）导致分词异常。
解决方案：
import re
text = re.sub(r'[^\u4e00-\u9fa5。，！？；：""''""（）()a-zA-Z0-9\s]', '', text)
原因分析：
模型需加载至内存，首次推理涉及初始化开销。
优化建议：
生产环境中应增加以下防护：
@app.route('/tts', methods=['POST'])
def tts():
token = request.headers.get('Authorization')
if token != 'Bearer your-secret-token':
return {'status': 'error', 'msg': 'Unauthorized'}, 401
flask-limiter 防止滥用本文详细介绍了如何将 ModelScope Sambert-Hifigan 中文多情感 TTS 服务 集成进 Dify 工作流，实现了从文本到语音的自动化输出。核心成果包括：
🌟 最佳实践总结：
- 优先使用 API 而非 WebUI 进行系统集成
- 对输入文本做标准化清洗与长度控制
- 关键路径添加异常捕获与降级机制（如返回文字备用）
- 定期归档旧音频文件，避免磁盘溢出
想要进一步提升语音交互体验，可探索以下方向：
通过持续迭代，你的 AI 应用不仅能'思考'，还能'表达'，真正迈向拟人化交互的新阶段。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online