V
主页
微调Whisper,让它学会潮州话
发布人
参考代码地址:https://github.com/huggingface/community-events/tree/main/whisper-fine-tuning-event 如何通过微调Whisper模型来学习潮州话。Whisper是一个流行的ASR模型,可以识别约100种语言,包括潮州话。虽然潮州话和普通话在语法和语序上相似,但在音韵和词汇上存在很大差异。为了获取潮州话数据,视频制作者手动从老电影和电视节目中提取字幕,并使用OCR技术将其转换为文本。最终,他们获得了大约35小时的潮州话语音数据。 如何微调开放人工智能的耳语模型,以实现普通话到潮州话的迁移学习。00:02 迁移学习:从普通话到潮州话的迁移学习,了解两种语言的异同,语法和语序相似,有50%的词汇相似性。 02:49 语音翻译:设计了一个以潮州话为输入和输出的语音翻译系统,克服了缺乏资源的困难。 05:36 光学字符识别:通过运行光学字符识别,从老电影和电视节目中提取文本,并手动找到约120个视频。 视频数据处理 Pipeline,包括光学字符识别、字幕分段、音频剪辑和耳语模型等步骤。06:46 介绍了视频中的字幕OCR处理,并构建了数据管道,用于后续的训练和验证。 09:53 详细介绍了耳语模型的架构和多任务训练,并展示了如何使用耳语模型进行语言识别和转录。 11:19 控制令牌和文本标记:介绍了如何使用控制令牌来控制语言选择,并展示了如何输出文本标记。 如何微调耳语模型,包括使用中文标记、预先结束控制令牌、使用自己的数据加载器等。12:08 使用中文标记训练和解码模型 13:06 耳语模型的预处理、训练和评估 16:23 训练大型模型的速度和时间表参数 如何通过构建工具来调试数据管道,可视化模型学习情况,并评估模型在不同语言上的表现。17:49 讲解了如何使用可视化工具来调试数据管道,并可视化模型在学习什么样的想法。 18:06 构造评估集:介绍了如何构造一个更能代表人们说话方式的评估集。 23:07 讲解了耳语模型的训练过程和表现,并提供了有用的图表。 评估流量和数据集对模型的重要性,以及如何定性评估模型的性能和常见问题。23:28 模型评估和错误率:评估流量数据集,了解哪些词容易学,哪些词难学。 24:25 模型训练中的问题:模型经常出错的疑难案件,以及如何解决。 27:10 模型的预测能力:模型预测的例子,包括翻译和语法等方面的问题。
打开封面
下载高清视频
观看高清视频
视频下载器
语音识别OpenAI Whisper微调,识别中文地方方言-潮州话
免费开源语音转文字Whisper快速搭建,可生成字幕,媒体人的福音
语音转字幕神器Fast-Whisper-GUI
Whisper的基本使用
OpenAI Whisper大法 | 用OpenAI开源模型搞定音频转写,免费且优雅,大概能省1万,还能学到不少东西
【Whisper-Webui】一键包 批量离线制作字幕文件 自带large-v3模型
whisper实时语音识别
语音识别大模型 - whisper第二季
[论文阅读] Zipformer: A faster and better encoder for automatic sp
基于faster_whisper的实时语音识别
whisper-large微调模型推理结果评估
如何用 faster-whisper 做一个超低延迟语音聊天机器人
基于whisper实现的前端调用麦克风进行语音识别
Whisper | Faster Whisper | 语音识别 | 可内网部署的ASR
whisper最新开源语音识别模型 | 企业级开源语音识别项目
300元Tesla P4, 让Whisper语音识别提升加速10倍,完美的语音加速卡
五分钟!快速体验Qwen-Audio语音识别,阿里最新开源的大语音模型
whisper实时语音识别-粤语效果
语音切片及语音识别,集成阿里FunAsr,必剪Asr以及Whisper大模型,可用于语音克隆,语音生成,语音识别,语音翻译等项目
免费的whisper模型与音视频翻译4-subtitle edit-本地大模型语音识别转写
OpenAI语音识别模型Whisper原理介绍以及代码演示
基于faster whisper实现实时语音识别项目语音转文本python编程实现
语音转文字,本地部署,Fast whisper免费分享
中文语音识别模型训练实战
VAD优化Whisper,faster-whisper-webui一个转录速度起飞的开源语音识别项目,转录效果很好
LLM微调(Finetune)技术概述 & LoRA解读
安装开源的SenseVoice实现比Whisper更快更精准的语音转文字
微调Whisper语音识别模型和加速推理
卧槽 ElevenLabs 这个产品炸裂了,全自动化的AI配音或视频翻译工具,已支持29中语言
Whisper字幕批量转录+翻译
链家发布中文能力更强的 whisper-large-v3
Faster Whisper 基本使用
使用 whisper 进行语音转写部署详细教程,借助 Colab GPU,轻松实现语音转文字
OpenAI Whisper 精读【论文精读·45】
OpenAI 发布新版开源语音识别模型 whisper-large-v3
whisperx项目,这个项目主要基于 faster-whisper 和 pyannote-audio 实现了可以区分说话人的语音识别功能。
人声分离项目,可用于音频里人声分离或者其他声音分离,比如乐器声,背景音
油管大V用whisper实现“零延迟”语音转写,真的吗?🤔️
whisper实时语音识别-普通话效果
再来个阿里开源模型生成粤语语音的效果