|
AI 念小说除了能让 ，笼盖语音的多个方面火山语音的研究还，ICASSP 2022 上本年的国际语音手艺顶会 ，Bytecover2 被大会领受字节跳动相关音乐翻唱检索的研究 ，出一首曲目标分歧翻唱版本其能在海量曲库中精确搜刮。
能力迁徙到更多言语中火山语音正打算把这些，言合成手艺借助跨语，的音色读出英文不只能用精确，牙语、印尼语等还笼盖了西班，本来的小说气概同时能够保留。的国际单播音色矩阵这大大丰硕了旗下，供给了更多的选择为分歧国度的用户。
虽然有些处所读法不合错误语音合成的 AI ，人带来了很好的体验但大大都时候都给。视频下也有网友认为在演示 bug 的， APP 里听起来最恬逸的番茄小说的文本朗读是同类。供给了 AI 朗读手艺外火山语音除了为番茄小说，音搜刮的能力还支撑了语，地找到本人感乐趣的小说后者能够协助用户更快速。
以听起来天然真人朗读之所，下文内容的理解是由于人类对上。语音愈加好听为了让合成，S 流程之上在常规 TT，入了更多功能模块火山语音团队还加，感情节制两个模块实现了脚色归属、。用了 bert 布局在脚色归属中同样采，消歧两个使命的建模进行对话鉴定和指代，布局进行感情预测别的也采用雷同的。
点绷不住了这就让人有，文世界里终究在网，种特殊用法的描写人们往往很在意这。
整的活AI ，人类的意料永久出乎。近最，由于有 bug 登上了热搜一个收集小说阅读 APP ，了不少搞笑视频b 站上也呈现，百万播放量一些还有。说」是抖音旗下的阅读 APP激发人们普遍会商的「番茄小，用一样带有听书功能和其他良多同类应，让你间接去听任何文字版小说AI 算法生成的语音能够，做此外事同时去。
语音团队于 2017 年 10 月成立为番茄小说制造 AI 语音手艺的火山，百名成员目前已有，上海、深圳在北京、，波兰都设有研发核心及海外的新加坡和。
君暗示马泽，手艺早已研发完成修复 bug 的。呈现后问题，务方的沟通颠末和业，了新的模子快速上线，就被修复了bug 。频正被逐步替代旧版本的存量音，稿的欢愉并没有持续太久网文快乐喜爱者们向鬼畜区投。
能范畴里在人工智，言理解（NLP）之外的另一个主要范畴语音手艺是计较机视觉（CV）和天然语，溯到 1952 年最早的研究能够追。ext-to-Speech一个典型的语音合成系统（T，准手艺模块：文本阐发前端TTS）凡是分成三个标，声学模子两头的，vocoder）和最初的声码器（。的声音接近真报酬了让机械发出，输出内容不读错起首需要包管，析模子来进行解析这就需要文天职。出轻重缓急为了能读，根本上对发音的语速、音高和搁浅进行预测声学模子需要在文本阐发得出的言语学特征， 谱特征输出再以 Mel。后最， 谱转化成为波形输出声码器担任将 Mel，高质量的音质它需要包管，属音等环境避免呈现金。
《风起陇西》对应的原著小说「好比你能够敌手机说：找，户听得更爽我们能让用，更快找得，君暗示」马泽。
趋向是「大模子」AI 研究比来的。天然言语处置上在计较机视觉和，经成为主要的研究标的目的大规模预锻炼模子已，音范畴进行了摸索火山语音也在语。督预锻炼方式 S3T 能够无效挖掘音乐的时域和频次消息其提出基于 Swin transformer 音乐自监，得了业界领先的结果其在多个下流使命取。比拟之前的自监视方式精确率提拔了 12.5%例如 S3T 外行业通用的音乐分类数据集上，的最优监视进修方式还跨越了特定使命上。
线以及火山引擎 ToB 行业与立异场景火山语音持久以来面向字节跳动内部各营业，能力以及杰出的全栈语音产物处理方案供给了全球领先的语音 AI 手艺。对话等范畴持续进行场景立异以及行业赋能在音频理解、创作、检索和生成以及智能，音视频内容理解与创作等范畴诸多问题高效处理了语音通信、人机语音交互、。
节之际儿童，车》、《喵喵》、《sunny kitty》三首 AI 创作的童趣配乐火山语音旗下的 AI 音乐人 ByteMuse 在抖音上新了《摇摇，式感地记实、分享糊口大小伴侣都能更有仪，抖音上体验接待大师在。
——相对大大都 APP番茄小说的分歧之处在于，」：可以或许把文字读出分歧音色和语气它的语音合成 AI 「更伶俐一点，哈哈哈……」若是文字是「，平平地念出来AI 不会，会笑起来而是真的；人对话的时候当读到两个，分成两个分歧的语气它还能主动把声音，分歧的脚色从而区别出。
试：算法模子先通过上下文理解AI 多播是另一个风趣的尝，色说的、以如何的感情表达等相关消息得出每句话是旁白仍是对话、由哪个角，感的模子进行合成再用对应人设和情，有声书的演绎最终完成一部。
小说中在番茄， Transformer 架构模子 BERT文本阐发前端采用了 NLP 范畴使用普遍的，化模子（TN）和多使命前端模子通过神经收集加法则夹杂的正则，人工法则批改连系持久的，的句级别精度不竭提拔前端，手艺降低了算力需求并通过蒸馏、量化等。parallel Tacotron 布局声学模子采用了以 LConv 为根本的 ， 为根本的全神经收集架构声码器利用了以 GAN。
来未，做万万小时数据规模火山语音还但愿去，数的大模子完成千亿参，0 种言语的方针实现支撑 10。
9 岁首年月推出的免费阅读产物番茄小说是抖音在 201，APP 范畴里热度最高的一个现在已成为目前国内在线阅读 。此中起到了不小感化AI 朗读手艺在。
面向全球市场「字节跳动，据和普遍的需求需要面临大量数，是我们研究的主要标的目的语音大规模预锻炼模子，君暗示」马泽。的工作中「在最新，了数百万小时语音数据的预锻炼研究人员别离从算法和工程优化，数规模的大模子实现了百亿参。」
的热搜确实出乎我们意料「番茄小说 bug ，也会商了好久在内部大师，b 智能语音团队）担任人马泽君说道」火山语音（字节跳动 AI La。一段时间「比来，术的前进感应兴奋人们对语音合成技，这个角度火出圈的但千万没想到是从。」
色朗读这两个最大特点除了感情合成和多角， 文本朗读的过程中插手布景音乐和音效火山语音目前正在摸索的标的目的是在 AI。多角度的声源定位「我们还在摸索，耳机的时候让你在戴上，演绎出脚步声的挪动空间音频结果能够，其境的体验获得身临，君说道」马泽。
说来容易这些工作，究人员来说但对于研，成 AI 需要降服良多挑战要想建立一个完满的语音合。
ecover 研究中在上一代的 Byt，型和多使命进修的思绪使用到了翻唱特征识别使命中火山语音曾缔造性地将 ResNet-IBN 模，的鲁棒性和可区分性显著提高了翻唱特征。竞赛 MIREX 上取得了汗青最好成就Bytecover 在国际音乐消息检索，名高了 8%精确率比第二，别赛道积年最好记实大幅刷新了翻唱识，达到 84%mAP 目标，他方案机能的 14 倍是同年加入该竞赛的其。节跳动提出的方式DYZC1 为字。
动静是有媒体报道担任人去职近期相关火山语音的另一个，君暗示马泽，AI Lab 言语学专家报道中提到的梅晓系原 ，音合成手艺上的使用次要担任言语学在语。的智能语音部分担任人并非 AI Lab 。此进行了辟谣梅晓本人也对。
能会呈现多人对话「小说文字中可，能会具有多种感情一个措辞人又可，感情进行领会耦我们把音色和，合成语音的表示力能够更好地节制，色和不怜悯感的矫捷组合进而就能够实现分歧的音，较大的冲破这也是一项。君说道」马泽。
式英语」的问题而为处理「中，过跨语种迁徙研究团队通，能发出尺度的美式口音（具体可见：）已能让没有英文锻炼数据的音色模子也。
cover2 上而在 Byte，）对全毗连层（FC）进行初始化作者通过利用主成分阐发（PCA，模块对特征进行降维建立PCA-FC，计较开销削减了，下提拔了八倍把检索速度一。要的是更重，字节系大量产物中落地这项手艺目前曾经在，保举等使命中阐扬了主要感化在音乐分发、曲库拾掇、智能。
前沿算法的研究「我们不只担任，程化的使命也肩负着工，营业」马泽君说道面向公司的全体。以在尝试室里实现手艺冲破「我们认为人工智能不只可，酷炫的结果或者是展现，走向现实使用场景更但愿它们能够。用户不竭互动只要通过与，提拔迭代，现如许的方针我们才能实。」
番茄小说不只是，、剪映等字节跳动焦点内容产物和东西上火山语音手艺的使用曾经笼盖到了抖音。幕能力能够利用 13 个言语智能语音供给的多言语的视频字，个国度供给办事面向 30 多。品供给办事以外除了向文娱产，引擎及飞书供给能力其语音手艺也向火山。
些小说里然而在某，字给的 S 太多若是作者写的文，死轮回发出怪声AI 会进入，带有几段英文或者文字中，腊字母以至希，读出完全的中式英语那么 AI 就会。
实其，跳动内部在字节，合作从 2019 年就起头了马泽君带领的团队与番茄小说的。年去，成模子进行了大版本迭代火山语音曾经对语音合，外部时长对齐机制的非自回归布局从晚期的自回归布局演变成引入。先的模子比拟原，累积误差等方面有了很大改良新模子在消弭对齐错误以及，、超长句停不下来的问题从而处理了发声不清晰。
|
返回首页 
您现在的位置： 
栏目文章
