Fun-ASR模型替换实践：自定义训练模型接入步骤详解

Fun-ASR模型替换实践：自定义训练模型接入步骤详解

1. 引言

如果你用过Fun-ASR WebUI，可能会觉得它的语音识别效果已经相当不错了。但有时候，你可能会遇到一些特殊场景——比如你的业务里有大量行业术语，或者你需要识别带地方口音的方言，又或者你对识别速度有极致要求。这时候，通用的预训练模型可能就不够用了。

这时候，一个很自然的想法就出现了：能不能把我自己训练的模型，替换到Fun-ASR WebUI里用呢？

答案是肯定的。今天我就来详细讲讲，怎么把你自己训练的语音识别模型，无缝接入到Fun-ASR WebUI系统中。整个过程其实没有想象中那么复杂，只要你跟着步骤走，大概半小时就能搞定。

2. 准备工作：了解Fun-ASR的模型结构

在开始替换之前，咱们先花几分钟了解一下Fun-ASR的模型是怎么组织的。这能帮你少走很多弯路。

2.1 Fun-ASR模型的基本组成

Fun-ASR的模型通常包含三个核心部分：

1. 声学模型：负责把音频信号转换成音素或字符的概率分布
2. 语言模型：负责根据上下文预测最可能的文字序列
3. 解码器：把声学模型和语言模型的输出结合起来，生成最终的识别结果

2.2 模型文件结构

当你下载一个Fun-ASR预训练模型时，通常会看到这样的文件结构：

model_dir/ ├── model.pb # 模型权重文件 ├── model.yaml # 模型配置文件 ├── tokens.txt # 词汇表文件 ├── am.mvn # 音频特征归一化文件 └── lm/ # 语言模型目录（如果有的话） ├── lm.pb └── lm.yaml 

关键点：你的自定义模型也需要按照这个结构来组织文件，否则WebUI可能无法正确加载。

2.3 检查你的训练模型

在开始替换之前，先确认一下你的训练模型：

• 模型格式：Fun-ASR主要支持ONNX和TorchScript格式
• 词汇表：检查你的词汇表是否完整覆盖了所有需要识别的字符
• 采样率：确认模型训练的音频采样率（通常是16kHz）
• 特征提取：了解模型使用的音频特征类型（MFCC、FBank等）

如果你用的是其他框架训练的模型（比如Kaldi、ESPnet），可能需要先做格式转换。

3. 模型格式转换与准备

如果你的模型不是Fun-ASR原生支持的格式，或者需要做一些调整，这一步是必须的。

3.1 ONNX格式转换（以PyTorch模型为例）

假设你有一个用PyTorch训练的语音识别模型，可以这样转换成ONNX格式：

import torch import onnx from onnxruntime.quantization import quantize_dynamic # 加载你的PyTorch模型 model = YourCustomModel() model.load_state_dict(torch.load('your_model.pth')) model.eval() # 创建示例输入（模拟音频特征） # 注意：这里的输入维度要和你的模型匹配 dummy_input = torch.randn(1, 80, 100) # [batch, feature_dim, time] # 导出为ONNX torch.onnx.export( model, dummy_input, "custom_model.onnx", input_names=["input"], output_names=["output"], dynamic_axes={ 'input': {2: 'time'}, # 时间维度是动态的 'output': {1: 'time'} }, opset_version=13 ) # 可选：量化模型以减小体积和提高推理速度 quantized_model = quantize_dynamic( "custom_model.onnx", "custom_model_quantized.onnx", weight_type=onnx.TensorProto.INT8 ) 

3.2 创建模型配置文件

接下来，你需要创建一个YAML配置文件，告诉Fun-ASR怎么使用你的模型：

# model.yaml model: type: "onnx" # 或 "torch" path: "./custom_model.onnx" sample_rate: 16000 feature_dim: 80 frame_length: 25 # 毫秒 frame_shift: 10 # 毫秒 cmvn_file: "./am.mvn" # 特征归一化文件 frontend: type: "fbank" n_mels: 80 dither: 0.0 decoder: type: "ctc_greedy" # 或 "ctc_beam_search" beam_size: 10 lm_weight: 0.3 vocab: "./tokens.txt" lm: # 如果有语言模型的话 type: "ngram" path: "./lm/lm.arpa" weight: 0.3 

3.3 准备词汇表文件

词汇表文件（tokens.txt）的格式很简单，每行一个token：

<blank> <unk> <space> 一 二 三 ... 你 好 世 界 

注意：

• 前三个是特殊token，通常需要保留
• <space>代表空格，用于分隔词语
• 其他token按需添加，覆盖所有需要识别的字符

3.4 生成特征归一化文件

如果你的训练数据做了特征归一化，需要把统计信息保存下来：

import numpy as np # 假设你计算了训练数据的均值和方差 mean = np.load('train_mean.npy') # 形状: [feature_dim] var = np.load('train_var.npy') # 形状: [feature_dim] # 保存为Fun-ASR需要的格式 with open('am.mvn', 'w') as f: f.write('<GlobalMean> ' + ' '.join(map(str, mean)) + '\n') f.write('<GlobalVariance> ' + ' '.join(map(str, var)) + '\n') 

4. 模型替换实战步骤

现在到了最关键的步骤——把准备好的模型替换到Fun-ASR WebUI中。

4.1 找到模型目录

首先，找到Fun-ASR WebUI的模型存放位置。通常有两种情况：

情况一：使用默认安装

~/.cache/modelscope/hub/damo/ 

情况二：自定义安装路径 查看WebUI的配置文件，通常在这里：

/path/to/funasr_webui/configs/model_config.yaml 

4.2 备份原始模型（重要！）

在替换之前，一定要先备份原始模型：

# 进入模型目录 cd /path/to/funasr_webui/models # 备份原始模型 cp -r funasr_nano funasr_nano_backup # 或者重命名 mv funasr_nano funasr_nano_original 

4.3 放置自定义模型

创建你的模型目录，并放入所有必要的文件：

# 创建模型目录 mkdir -p /path/to/funasr_webui/models/custom_model # 复制所有文件 cp custom_model.onnx /path/to/funasr_webui/models/custom_model/model.pb cp model.yaml /path/to/funasr_webui/models/custom_model/ cp tokens.txt /path/to/funasr_webui/models/custom_model/ cp am.mvn /path/to/funasr_webui/models/custom_model/ # 如果有语言模型 mkdir -p /path/to/funasr_webui/models/custom_model/lm cp lm.arpa /path/to/funasr_webui/models/custom_model/lm/ 

4.4 修改WebUI配置

现在需要告诉WebUI使用你的自定义模型。编辑配置文件：

# /path/to/funasr_webui/configs/webui_config.yaml model: # 指定模型路径 model_dir: "/path/to/funasr_webui/models/custom_model" # 模型类型（根据你的模型选择） model_type: "onnx" # 或 "torch" # 模型名称（会在WebUI中显示） model_name: "我的自定义模型" # 采样率 sample_rate: 16000 # 语言支持 languages: - "zh" # 中文 # - "en" # 英文（如果需要的话） # 热词支持 hotword_support: true # ITN（文本规整）支持 itn_support: true 

4.5 重启WebUI服务

修改配置后，需要重启WebUI服务：

# 如果使用start_app.sh启动 pkill -f "python.*webui" bash start_app.sh # 或者直接重启 cd /path/to/funasr_webui python app.py 

4.6 验证模型加载

重启后，打开WebUI界面，检查模型是否加载成功：

1. 查看系统设置页面：应该能看到你的模型名称
2. 尝试语音识别：上传一个测试音频，看是否能正常识别
3. 检查日志：如果有问题，查看日志文件：

tail -f /path/to/funasr_webui/logs/webui.log 

常见的成功日志信息：

[INFO] 加载模型: /path/to/funasr_webui/models/custom_model [INFO] 模型加载成功: 我的自定义模型 [INFO] 词汇表大小: 5000 

5. 常见问题与解决方案

在实际替换过程中，你可能会遇到一些问题。这里我整理了一些常见问题和解决方法。

5.1 模型加载失败

问题现象：WebUI启动时报错，或者模型显示为"未加载"

可能原因和解决方案：

1. 模型格式不匹配
   • 检查model.yaml中的type是否正确
   • ONNX模型需要对应type: "onnx"
   • Torch模型需要对应type: "torch"

权限问题

# 确保WebUI进程有读取权限 chmod -R 755 /path/to/funasr_webui/models/custom_model 

模型路径错误

# 检查路径是否正确 ls -la /path/to/funasr_webui/models/custom_model/ # 确保所有必要文件都存在 # model.pb, model.yaml, tokens.txt, am.mvn 

5.2 识别结果异常

问题现象：能识别，但结果全是乱码或错误

排查步骤：

1. 检查音频格式
   • 确认音频采样率是否为16kHz
   • 确认音频是单声道（mono）
   • 检查音频是否有静音或噪音
2. 测试简单音频
   • 先用一个清晰的、简短的音频测试
   • 比如"你好，世界"这样的简单句子

检查词汇表

# 快速检查词汇表 with open('tokens.txt', 'r', encoding='utf-8') as f: tokens = f.readlines() print(f"词汇表大小: {len(tokens)}") print("前10个token:", tokens[:10]) 

5.3 性能问题

问题现象：识别速度很慢，或者内存占用过高

优化建议：

1. 使用GPU加速
   • 确保CUDA环境正确配置
   • 在WebUI设置中选择CUDA设备

调整批处理大小

# 在model.yaml中调整 decoder: batch_size: 1 # 减小批处理大小可以降低内存占用 

模型量化

# 如果使用ONNX，可以量化模型 from onnxruntime.quantization import quantize_dynamic quantize_dynamic( "custom_model.onnx", "custom_model_quantized.onnx", weight_type=onnx.TensorProto.INT8 ) 

5.4 热词功能失效

问题现象：设置了热词，但识别时没有效果

解决方法：

1. 检查热词格式
   • 每行一个词
   • 使用UTF-8编码
   • 不要有空格或特殊字符
2. 确认模型支持
   • 有些模型可能不支持热词功能
   • 需要在训练时启用热词支持

检查配置文件

# 确保webui_config.yaml中启用了热词 hotword_support: true 

6. 高级技巧与优化建议

如果你已经成功替换了模型，下面这些技巧可以让你的模型效果更好。

6.1 针对特定场景优化

场景一：专业术语识别 如果你的业务有很多专业术语，可以：

1. 增强训练数据：在训练集中加入更多专业术语的样本
2. 调整语言模型：使用领域特定的文本训练语言模型
3. 设置热词权重：给重要术语更高的权重

场景二：带口音语音 对于带地方口音的语音：

1. 数据增强：在训练时加入速度扰动、音量变化等
2. 多说话人训练：使用不同口音的说话人数据
3. 声学模型适配：使用少量带口音数据微调模型

场景三：低资源语言 对于数据较少的语言：

1. 迁移学习：用中文或英文模型做预训练，然后微调
2. 数据合成：使用TTS合成训练数据
3. 半监督学习：用大量无标注数据做自训练

6.2 性能优化技巧

1. 知识蒸馏
   • 用大模型（教师）指导小模型（学生）训练
   • 可以在保持性能的同时大幅减小模型大小

缓存优化

# 在推理时启用缓存 @torch.jit.script def cached_inference(model, input_tensor): # 实现带缓存的推理逻辑 pass 

模型剪枝

# 使用PyTorch的剪枝功能 import torch.nn.utils.prune as prune # 对线性层进行剪枝 prune.l1_unstructured(module, name='weight', amount=0.3) 

6.3 集成到生产环境

如果你要把自定义模型用到生产环境，还需要考虑：

1. A/B测试
   • 同时部署新旧模型
   • 分流一部分流量到新模型
   • 对比识别准确率和速度
2. 监控告警
   • 监控识别错误率
   • 监控响应时间
   • 设置异常告警

版本管理

# 为每个模型版本创建目录 models/ ├── custom_model_v1.0/ ├── custom_model_v1.1/ └── custom_model_v2.0/ 

7. 总结

通过上面的步骤，你应该已经成功把自己的训练模型接入到Fun-ASR WebUI了。整个过程可以总结为几个关键点：

7.1 核心步骤回顾

1. 理解模型结构：知道Fun-ASR需要什么样的模型文件
2. 准备模型文件：转换格式、创建配置文件、准备词汇表
3. 替换模型：备份原模型、放置新模型、修改配置
4. 测试验证：检查加载状态、测试识别效果、优化性能

7.2 重要注意事项

• 一定要备份：替换前先备份原始模型，有问题可以快速恢复
• 检查文件完整性：确保所有必要文件都存在且格式正确
• 从小处开始：先用简单的音频测试，再逐步增加复杂度
• 查看日志：遇到问题时，日志是最有用的调试信息

7.3 后续优化方向

模型替换只是第一步，要让模型在实际业务中发挥最大价值，还可以：

1. 持续迭代：根据实际使用反馈，不断优化模型
2. 数据收集：收集真实场景的音频数据，用于模型更新
3. 性能监控：建立监控体系，跟踪模型表现
4. 自动化部署：建立CI/CD流程，实现模型自动更新

7.4 最后的小建议

如果你在替换过程中遇到问题，不要着急。语音识别模型的替换确实需要一些耐心和细心。大多数问题都可以通过仔细检查配置文件和查看日志来解决。

记住，第一次替换可能会花一些时间，但一旦掌握了方法，后续的更新就会非常快速。而且，拥有自定义模型的能力，意味着你可以针对自己的业务场景做深度优化，这是使用通用模型无法比拟的优势。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 ZEEKLOG星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。