主题：OpenAI Whisper 转换声音到文字 -- nanimarcusboy

chatGPT 很火，背后的公司 OpenAI。

这个公司有很多技术，我看到有一个是 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。

我用过很多类似的工具，所以很有兴趣的研究了一下，然后这个 Whisper 惊艳了我的无聊时光。

喃喃自语 居然这么强大，真是 于无声处听惊雷。

下面讲讲怎么安装使用。

----

网址和代码：

https://openai.com/blog/whisper/

https://github.com/openai/whisper

记住，一定要安装 CUDA 版本，利用显卡，完全靠CPU，实在费劲。

准备12G硬盘最少。

----

Windows 10, Nvidia CUDA 的安装过程。

https://developer.nvidia.com/cuda-downloads

Windows -> X86_64 -> 10 ->exe(local)

得到一个很大的安装文件，安装

--

Python 3, torch 安装

如果原来安装了，卸载掉。

pip3 uninstall torch torchvision torchaudio

--

torch CUDA 版本要下载一个2.4G 的安装包，和CPU版本明显不同。

pip3 install setuptools-rust

pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116

--

whisper 卸载，如果原来装过，建议重新安装一次

pip3 uninstall openai-whisper

--

whisper 安装

pip3 install -U openai-whisper

--

然后试一下。

whisper -h

注意其中一行，设备

如果是CPU，那么CUDA就没有安装成功

--device DEVICE device to use for PyTorch inference (default: cpu)

CUDA安装成功，显示的就是CUDA

--device DEVICE device to use for PyTorch inference (default: cuda)

----

找一个wav文件，试一下，用的是 small model，已经够好了。

whisper --model small -f all --language en out.wav

第一次运行，需要下载 model 文件，small 大概400M。

-f all ，有多种格式 全部都要。

--language en ，指定英文，否则会自动探测

另外还自带其他语言翻译成英文的功能，我还没有用过。

--

whisper 是能够直接读取MP4之类的视频文件，但是先做处理更有效率。

网上人建议的是 16K 的wav文件，转换命令如下：

ffmpeg -i input.mp4 -acodec pcm_s16le -ar 16000 out.wav

--

Windows 10 打开 task manager, 看到我的GPU的内存全部占用，GPU占用70%

--

结果我很满意，准确的断句，专用词识别，人名地名大小写，缩写，甚至有些专业词汇也能识别。

一个大叔两个半小时的讲话，语速快，口语化极其严重，涉及到很多地名人名，两个小时识别完成，断句很准确，基本上所有名字，包括缩写都识别出来了。

一个讲中途岛海战的讲话，所有日本人名，日本舰船的名字都识别出来。

而且所有日期数量都准确写好，而不仅仅是用英文打出来。

看的出来，不仅仅是语言识别，也有大量网上文本的训练

--

好吧，下一步的问题是，程序员同志们的工作机会是更多了呢，还是更少了呢。