如何下载、安装whisper、faster_whisper?

1、模型种类

whisper:有很多模型:tiny、base、small、medium、large等

faster_whisper:模型种类与whisper类似

2、模型安装

特别注意:whisper和faster_whisper中的模型,有两种获得方式。

①在网址:https://github.com/openai/whisper上有提示:pip install -U openai-whisper,下载结果为  .pt文件。在网址:https://github.com/SYSTRAN/faster-whisper上有提示:pip install faster-whisper,下载结果为.pt文件

②在网址:https://huggingface.co/,进行搜索 whisper,根据提示,可以下载 large-v3和large-v3-turbo,下载结果为文件,与①不同(特别注意)

3.模型运行

①按照①方法下载的模型:运行代码参考网址:https://github.com/openai/whisperhttps://github.com/openai/whisper ,示例如下:

import whisper

model = whisper.load_model("turbo")

# load audio and pad/trim it to fit 30 seconds
audio = whisper.load_audio("audio.mp3")
audio = whisper.pad_or_trim(audio)

# make log-Mel spectrogram and move to the same device as the model
mel = whisper.log_mel_spectrogram(audio, n_mels=model.dims.n_mels).to(model.device)

# detect the spoken language
_, probs = model.detect_language(mel)
print(f"Detected language: {max(probs, key=probs.get)}")

# decode the audio
options = whisper.DecodingOptions()
result = whisper.decode(model, mel, options)

# print the recognized text
print(result.text)

以上代码,要求# load audio and pad/trim it to fit 30 seconds,提示:whisper模型要求一句话进行识别,如果音频时间太短,可能识别结果不准确,具体请自行尝试。

②按照①方法下载的模型:运行代码参考网址:https://github.com/SYSTRAN/faster-whisperhttps://github.com/SYSTRAN/faster-whisper ,示例如下:

from faster_whisper import WhisperModel

model_size = "large-v3"

# Run on GPU with FP16
model = WhisperModel(model_size, device="cuda", compute_type="float16")

# or run on GPU with INT8
# model = WhisperModel(model_size, device="cuda", compute_type="int8_float16")
# or run on CPU with INT8
# model = WhisperModel(model_size, device="cpu", compute_type="int8")

segments, info = model.transcribe("audio.mp3", beam_size=5)

print("Detected language '%s' with probability %f" % (info.language, info.language_probability))

for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

以上代码,model=WhisperModel(...),可以指定cuda编号,以便合理利用资源。

③按照②方法下载的模型,可以参考vllm网址:https://github.com/vllm-project/vllmhttps://github.com/vllm-project/vllm

vllm框架中的whisper模型和faster_whisper模型一定是来自huggingface。

关于vllm安装踩坑问题,以后发布。

Read more

第二章-AIGC入门-小白也能看懂的AI图像生成指南:从原理到实战(5/36)

第二章-AIGC入门-小白也能看懂的AI图像生成指南:从原理到实战(5/36)

摘要:AI图像生成是基于深度学习的人工智能技术,能依据文本或图像输入生成新图像。其原理主要基于生成对抗网络(GAN)和变分自编码器(VAE),通过生成器和判别器的对抗训练(在 GAN 中),或编码器和解码器的协作(在 VAE 中),实现图像生成。AI图像生成在艺术创作、商业设计、影视游戏、日常生活等方面有广泛应用,但也面临伦理、版权、技术准确性等挑战。 一、AI 图像生成是什么 AI 图像生成,作为人工智能技术在数字创作领域的重要应用,正深刻地改变着我们生成和理解图像的方式。简单来说,AI 图像生成是利用人工智能算法,依据给定的输入(如文本描述、图像示例等),通过对大量数据的学习和分析,自动生成全新图像的技术。 从原理上讲,AI 图像生成技术建立在深度学习模型的基础之上,其中最为常用的是生成对抗网络(GAN)和变分自编码器(VAE) 。以生成对抗网络为例,它由生成器和判别器两个部分组成。生成器负责生成图像,判别器则用于判断生成的图像是否真实。两者相互对抗、

Faster-Whisper-GUI日语语音识别完整指南:从零开始轻松转写日语音频

Faster-Whisper-GUI日语语音识别完整指南:从零开始轻松转写日语音频 【免费下载链接】faster-whisper-GUIfaster_whisper GUI with PySide6 项目地址: https://gitcode.com/gh_mirrors/fa/faster-whisper-GUI Faster-Whisper-GUI是一个基于PySide6开发的图形界面工具,专门用于日语语音识别和音频转写。这款工具通过优化算法和直观界面,让日语语音识别变得简单高效。无论你是日语学习者、内容创作者还是需要处理日语音频的专业人士,都能快速上手使用。 🎯 为什么选择Faster-Whisper-GUI进行日语识别? Faster-Whisper-GUI相比其他语音识别工具具有明显优势: * 多模型支持:兼容Whisper、WhisperX等多种模型,确保日语识别精度 * 硬件加速:支持CUDA显卡加速,大幅提升处理速度 * 时间轴输出:自动生成日语文本的时间标记,便于后续编辑 * 免费开源:完全免费使用,无需订阅费用 ⚙️ 三步完成日语语音识

AI 智能编码工具:重塑开发效率的革命,从 GitHub Copilot 到国产新秀的全面解析

AI 智能编码工具:重塑开发效率的革命,从 GitHub Copilot 到国产新秀的全面解析

目录 引言 一、主流智能编码工具深度测评:从功能到实战 1. GitHub Copilot:AI 编码的 “开山鼻祖” 核心特性与实战代码 优缺点总结 2. Baidu Comate:文心大模型加持的 “国产之光” 核心特性与实战代码 优缺点总结 3. 通义灵码:阿里云的 “企业级编码助手” 核心特性与实战代码 优缺点总结 引言 作为一名拥有 8 年开发经验的程序员,我曾无数次在深夜对着屏幕反复调试重复代码,也因记不清框架语法而频繁切换浏览器查询文档。直到 2021 年 GitHub Copilot 问世,我才第一次感受到:AI 不仅能辅助编码,更能彻底改变开发模式。如今,智能编码工具已从 “尝鲜选项” 变为 “必备工具”,它们像经验丰富的结对编程伙伴,能精准补全代码、生成测试用例、

Stable-Diffusion-v1-5-archiveWeb UI高级功能:图生图/局部重绘/蒙版编辑实操指南

Stable Diffusion v1.5 Archive Web UI 高级功能:图生图/局部重绘/蒙版编辑实操指南 1. 引言:从文生图到创意编辑 如果你已经熟悉了 Stable Diffusion v1.5 Archive 的基础文生图功能,可能会发现,仅仅依靠文字描述来生成完美的图片,有时就像在黑暗中摸索。你想要一个特定的人物姿势,但描述了半天,出来的结果总是差那么一点;或者你生成了一张不错的风景图,但天空的颜色不够理想,想单独调整一下。 这时候,就需要用到 Web UI 中更强大的“图生图”功能了。它不再是“无中生有”,而是“有中生优”。你可以上传一张参考图,让 AI 在此基础上进行二次创作、风格迁移,或者只修改图片的某个局部区域。这大大提升了创作的灵活性和可控性。 本文将带你深入探索 Stable