Ubuntu 24.04 使用 Docker Compose 本地部署 Whisper 语音识别服务

Ubuntu 24.04 使用 Docker Compose 本地部署 Whisper 语音识别服务 | 极客日志

简介

Whisper 是 OpenAI 于 2022 年 9 月开源的一款自动语音识别系统。它最突出的特点在于其鲁棒性，即使在面对口音、背景噪音或专业术语等复杂场景时，也能保持较高的识别准确性，在英语语音识别上已接近人类水平。

核心技术与工作原理

Whisper 的强大能力源于其独特的技术设计，主要包括以下几点：

端到端的 Transformer 架构：Whisper 采用编码器 - 解码器的 Transformer 模型架构。输入音频被分割成 30 秒的片段并转换为对数梅尔频谱图，然后由编码器提取特征，解码器根据这些特征预测对应的文本。
大规模多任务训练：模型在从互联网收集的、高达68 万小时的多语言（支持近百种语言）和多任务监督数据上进行训练，数据集的巨大规模和多样性是其强大泛化能力的基础。训练时，模型会交替执行多项任务，如多语言语音转录、语音翻译（到英语）、语言识别以及生成带短语级时间戳的文本等。
统一的多任务格式：通过引入特殊的标记，Whisper 使用一个统一的模型来处理所有任务。这些标记指示模型当前需要执行的具体任务，这种设计使得单个模型能够替代传统语音处理流程中的多个阶段。

模型规格与选择

Whisper 提供了多种规模的模型，以适应不同场景下对速度和精度的权衡需求。下面的表格整理了可用的模型及其大致参数，你可以根据实际需求（如对准确率的要求、可用的计算资源）进行选择。

模型名称	参数量	磁盘空间	适用场景
tiny	约 39 M	~75 MB	快速演示，对资源极度敏感
base	约 74 M	~140 MB	平衡速度与基本准确率
small	约 244 M	~480 MB	良好准确率与速度的折中
medium	约 769 M	~1.5 GB	追求较高准确率
large	约 1550 M	~3 GB	最高准确率，支持所有任务

主要应用场景

凭借其高准确率和多语言支持，Whisper 可应用于多种场景：

会议记录与转录：自动生成会议纪要，将音频内容转换为可编辑的文本，提高效率。
视频字幕生成：为视频内容自动生成字幕，提升内容的可访问性和传播效果。
多语言翻译与转录：支持将多种语言的语音直接转录或翻译成英语文本，便于跨语言沟通。
语音助手与智能客服：作为语音接口的核心，提升语音助手对指令理解的准确性。
无障碍技术：通过实时语音转文本服务，为听障人士提供沟通便利。

如何使用 Whisper

Whisper 的使用非常灵活，主要有以下几种方式：

命令行直接使用：安装后，可通过简单的命令处理音频文件，例如 whisper audio.wav --model small --language Chinese。
在 Python 代码中调用：在 Python 项目中集成语音识别功能通常只需几行代码，非常方便。
通过 API 调用：OpenAI 也提供了 Whisper 的 API 接口，适合不希望本地部署的云端应用。

总结与优势

总而言之，Whisper 的核心优势可以概括为三点：

高鲁棒性：得益于海量多样的训练数据，在嘈杂环境、口音等方面表现出色。
多功能性：一个模型支持转录、翻译、时间戳等多种任务，覆盖近百种语言。
开放与便捷：完全开源，支持本地部署以保护数据隐私，并提供从命令行到 API 的多种易用接口。

本地部署

运行效果：使用 small 模型以及使用精确的转录参数；整体识别还可以，但依旧有很多同韵母的字和同音字会识别错误；使用 medium 模型会出现一个奇怪的问题，转录文字为繁体字；large 模型运行时间较长（3060 显卡）。
优化：音频预处理、优化转录参数、阶段处理。
- 结果也大差不差，最终生成的文本或多或少都有点问题，还是直接交给大模型根据语义做修正并分析吧。
转 FastAPI 服务
- 增加 fastapi、uvicorn、python-multipart 依赖
- 修改 Dockerfile 程序挂载
- 修改 docker-compose.yml 端口映射

测试语句：

curl -X POST "http://localhost:7862/transcribe" -F "[email protected]"

更新配置：

# whisper_fastapi.py
from fastapi import FastAPI, File, UploadFile, HTTPException
from fastapi.responses import JSONResponse
import whisper
import tempfile
import os
import numpy as np
from scipy import signal
import librosa
import uvicorn
import soundfile as sf

# 初始化 FastAPI 应用
app = FastAPI(
    title="Whisper 音频转录 API",
    description="基于 OpenAI Whisper 的高级音频转录服务",
    version="1.0.0"
)

# 初始化全局变量
model = None

def load_whisper_model():
    global model
    if model is None:
        model = whisper.load_model("large")
    return model

def preprocess_audio(audio_path):
    """ 音频预处理：重采样、降噪、标准化 """
    try:
        # 加载音频
        y, sr = librosa.load(audio_path, sr=16000)
        # 重采样到 16kHz
        # 应用高通滤波器去除低频噪声
        b, a = signal.butter(4, 100, 'highpass', fs=sr)
        y = signal.filtfilt(b, a, y)
        # 音频标准化
        y = y / np.max(np.abs(y))
        # 保存处理后的临时文件
        temp_path = tempfile.mktemp(suffix='.wav')
        sf.write(temp_path, y, sr)
         temp_path
     Exception  e:
        ()
         audio_path  


  ():
    
    ()
    load_whisper_model()
    ()


  ():
    
    
    valid_extensions = {, , , , , , }
    file_extension = os.path.splitext(file.filename)[].lower()
     file_extension   valid_extensions:
         HTTPException(
            status_code=,
            detail=
        )
    temp_path = 
    processed_audio = 
    :
        
         tempfile.NamedTemporaryFile(delete=, suffix=file_extension)  temp_file:
            content =  file.read()
            temp_file.write(content)
            temp_path = temp_file.name
        
        
        processed_audio = preprocess_audio(temp_path)
        
        
        model = load_whisper_model()
        
        
        result = model.transcribe(
            processed_audio,
            language=,  
            task=,
            beam_size=,  
            best_of=,  
            temperature=,  
            patience=,  
            suppress_tokens=[-]  
        )
        
        
         JSONResponse(content={
            : ,
            : result[],
            : result.get(, ),
            : file.filename
        })
     Exception  e:
         HTTPException(status_code=, detail=)
    :
        
         temp_path  os.path.exists(temp_path):
            os.unlink(temp_path)
         processed_audio  processed_audio != temp_path  os.path.exists(processed_audio):
            os.unlink(processed_audio)


  ():
    
     JSONResponse(content={: , : model   })


  ():
    
     {
        : ,
        : ,
        : {
            : ,
            : ,
            : ,
            : 
        },
        : ,
        : 
    }

 __name__ == :
    uvicorn.run(app, host=, port=)

FROM nvidia/cuda:12.4.1-cudnn-devel-ubuntu22.04

# 设置工作目录
WORKDIR /app

RUN sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list && \
    sed -i 's/security.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list

# 安装系统依赖
RUN apt-get update && apt-get install -y \
    ffmpeg \
    python3 \
    python3-pip \
    python3-venv \
    && rm -rf /var/lib/apt/lists/* \
    && ln -sf /usr/bin/python3 /usr/bin/python

# 复制依赖文件
COPY requirements.txt .

# 安装 Python 依赖
RUN pip install --no-cache-dir -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

# 复制应用代码（修改为 FastAPI 文件）
COPY whisper_fastapi.py .

# 暴露 FastAPI 端口
EXPOSE 7862

# 设置环境变量：模型缓存路径
ENV WHISPER_MODEL_CACHE=/root/.cache/whisper

# 启动应用（修改为 FastAPI 启动命令）
CMD ["uvicorn", "whisper_fastapi:app", "--host", "0.0.0.0", "--port", "7862"]

# docker-compose.yml
services:
  whisper-api:
    build: .
    container_name: whisper-fastapi
    ports:
      - "7862:7862"
    volumes:
      # 持久化缓存模型
      - ./model_cache:/root/.cache/whisper
      # 可选：挂载音频文件目录
      - ./audio_files:/app/audio_files
    environment:
      - WHISPER_MODEL=medium
    restart: unless-stopped
    # 可选：设置资源限制
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 2
              capabilities: [gpu]

Gradio 服务

# whisper_gradio.py
import gradio as gr
import whisper
import tempfile
import os
import numpy as np
from scipy import signal
import librosa

# 初始化全局变量
model = None

def load_whisper_model():
    global model
    if model is None:
        model = whisper.load_model("medium")
    return model

def preprocess_audio(audio_path):
    """ 音频预处理：重采样、降噪、标准化 """
    try:
        # 加载音频
        y, sr = librosa.load(audio_path, sr=16000)
        # 重采样到 16kHz
        # 应用高通滤波器去除低频噪声
        b, a = signal.butter(4, 100, 'highpass', fs=sr)
        y = signal.filtfilt(b, a, y)
        # 音频标准化
        y = y / np.max(np.abs(y))
        # 保存处理后的临时文件
        temp_path = tempfile.mktemp(suffix='.wav')
        librosa.output.write_wav(temp_path, y, sr)
        return temp_path
    except Exception as e:
        print(f"音频预处理失败：{str(e)}")
        return audio_path  # 如果预处理失败，返回原始文件

def ():
    
    
    model = load_whisper_model()
    
    
     audio_file  :
         
    
    :
        
        processed_audio = preprocess_audio(audio_file)
        
        
        result = model.transcribe(
            processed_audio,
            language=,  
            task=,
            beam_size=,  
            best_of=,  
            temperature=,  
            patience=,  
            suppress_tokens=[-]  
        )
        
        
         processed_audio != audio_file:
            :
                os.unlink(processed_audio)
            :
                
         result[]
     Exception  e:
         


 gr.Blocks(title=)  demo:
    gr.Markdown()
    gr.Markdown()
    
     gr.Row():
         gr.Column():
            audio_input = gr.Audio(
                sources=[],
                =,
                label=,
                interactive=
            )
            submit_btn = gr.Button(, variant=)
        
         gr.Column():
            text_output = gr.Textbox(
                label=,
                placeholder=,
                lines=,
                max_lines=
            )
    
    
    submit_btn.click(
        fn=transcribe_audio,
        inputs=audio_input,
        outputs=text_output
    )
    
    
    gr.Markdown()

 __name__ == :
    demo.launch(server_name=, server_port=, share=)

Docker 配置

FROM nvidia/cuda:12.4.1-cudnn-devel-ubuntu22.04

# 设置工作目录
WORKDIR /app

RUN sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list && \
    sed -i 's/security.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list

# 安装系统依赖
RUN apt-get update && apt-get install -y \
    ffmpeg \
    python3 \
    python3-pip \
    python3-venv \
    && rm -rf /var/lib/apt/lists/* \
    && ln -sf /usr/bin/python3 /usr/bin/python

# 复制依赖文件
COPY requirements.txt .

# 安装 Python 依赖
RUN pip install --no-cache-dir -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

# 复制应用代码
COPY whisper_gradio.py .

# 暴露 Gradio 默认端口
EXPOSE 7862

# 设置环境变量：禁用 Gradio 分析，缓存模型
ENV GRADIO_ANALYTICS_ENABLED=False
ENV WHISPER_MODEL_CACHE=/root/.cache/whisper

# 启动应用
CMD ["python", "whisper_gradio.py"]

# docker-compose.yml
services:
  whisper-app:
    build: .
    ports:
      - "29999:7862"
    volumes:
      # 可选：持久化缓存模型，避免每次重启下载
      - ./cache:/root/.cache/whisper
    environment:
      - GRADIO_SERVER_NAME=0.0.0.0
      - GRADIO_SERVER_PORT=7862
    restart: unless-stopped

# requirements.txt
torch
openai-whisper
gradio
ffmpeg-python
pydub
scipy
librosa
numpy
soundfile
fastapi
uvicorn
python-multipart

Ubuntu 24.04 使用 Docker Compose 本地部署 Whisper 语音识别服务

简介

核心技术与工作原理

模型规格与选择

主要应用场景

如何使用 Whisper

总结与优势

本地部署

Gradio 服务

Docker 配置

更多推荐文章

相关免费在线工具

Ubuntu 24.04 使用 Docker Compose 本地部署 Whisper 语音识别服务

简介

核心技术与工作原理

模型规格与选择

主要应用场景

如何使用 Whisper

总结与优势

本地部署

Gradio 服务

Docker 配置

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具