AI生产力拉满!言犀公布最新语音合成及数字人大模型进展

2025-02-18 13:33 来源:央广网

  在新一波的技术浪潮中,大语言模型风头正劲,但还有一种AI技术,正在配音、直播、客服等多个行业正发挥出越来越广泛的应用。2月18日,京东言犀公布了两项最新技术成果——语音合成大模型LiveTTS及通用数字人大模型2.0,支持zero-shot音色复刻和精品音色微调,并支持更精准的数字人声唇对齐,将大幅提升人机自然交互体验,目前已针对直播、外呼、客服、营销等超10种特定商业化场景完成调优适配。技术降本带来用户体验跃升,预计也将带动更多AI营销服务增量市场。 

  语音合成大模型全新升级 支持zero-shot音色复刻和精品音色微调 

  LiveTTS,是京东言犀最新发布的高仿真、多语言、情感丰富的语音合成(TTS)大模型,通过AI技术生成自然、具备韵律且富有情感的语音。现在,只需喂给LiveTTS模型最短3秒音频素材,就能支持zero-shot音色复刻以及精品音色微调,近乎完美的对声音进行复刻。 

  这得益于基于Diffusion架构完成的20万小时数据"熔炼"。在SeedTTS test-hard测试中,其CER指标(字符错误率)较其他头部厂商模型降低了0.2%-5.12%不等,相当于每万字最多能减少512处发音失误。在主观评价上,通过盲评的MOS评测,该模型尤其在音色相似度、自然清晰度、情感表达一致性方面表现出色,音色相似度较其他头部厂商模型高出1.3倍。 

  从语音准确性上,言犀结合中文拼音与英文音素双输入系统,提升了发音准确性,让技术更可用。从仿真度上,采用高质量的HiFt声码器,实现超98%的声纹还原精度。 

  大量的实时、多样性语音数据加入训练,也进一步提升了模型的泛化能力,让模型能够在不同音频提示词(prompt)的条件下合成韵律丰富、自然的音频,更加易用。LiveTTS已经能适配从儿童俏皮声到老年人沉稳语调的多样化需求,还支持中/英/日等多语种及方言的语音合成。 

  极低门槛、极致拟真、极多场景,是言犀LiveTTS语音合成大模型的优势。基于LiveTTS打造的言犀数字人,支持近百个不同风格音色,形成围绕直播场景需求的声音供应链。2024年京东11.11期间,言犀TTS单日调用超1000万次,成本直降90%,大大提升直播、配音、外呼等行业的工作效率。 

  数字人大模型实现精准声唇同步 造就AI生产力 

  言犀数字人已广泛应用在电商直播、客服接待、短视频等场景中,光是使用数字人日常开播的商家就有超过7500家。但数字人向更大范围的规模化应用始终存在三个难点:形象数据采集成本高、模型训练周期长和推理效果难泛化。 

  为了解决这些问题,言犀团队提出了新一代声唇同步数字人基座模型,通过创新的多阶段基模型训练方法、多图参考的多层注意力机制等方法。这一亿级参数量的声唇同步基座模型,进一步拓展了数字人在遮挡、大角度、多语速、跨音色和多语言等场景的应用。目前,在动态背景、多人直播等真实应用场景里,言犀数字人的唇形匹配度仍达到95%,具备较好的泛化能力,在各种场景中更可用,更易用。

  

  在新一代数字人基座大模型支持下,仅需一张带人像的图片或短视频、一份商品链接,言犀就可以自动生成流畅丰富的带货脚本,结合LiveTTS生成情绪化口播,数字人便栩栩如生“活”起来。这种模式,告别了传统、冗长的数字人模型训练流程,实现直接推理,既省去了训练成本,还进一步扩展了数字人在视频翻译等低数据量场景的应用边界。 

  除了直播外,平台还能支持输出数十条不同风格的数字人种草短视频。整个过程从过往的至少72小时压缩至分钟级,成本仅为传统数字人制作的十分之一,进一步实现技术降本。 

  言犀最新发布的两项技术成果,并非单纯的技术跑分竞赛,而是旨在进一步降低AI应用的成本,新一代的语音合成LiveTTS模型及数字人大模型2.0,正在短视频合成、数字人直播、视频翻译、数字人唱歌跳舞等多个商业化场景中应用,让大模型变成商家人手必备的普惠工具。 

  作为品牌的AI营销搭子,言犀将不断开发出更多支持营销场景的技术与产品,进一步降低中小商家应用门槛,加速AI生产力走进营销场景。

查看余下全文
(责任编辑:魏京婷)
手机看中经经济日报微信中经网微信
当前位置      首页 > 公司观察  > 正文
中经搜索

AI生产力拉满!言犀公布最新语音合成及数字人大模型进展

2025年02月18日 13:33    来源: 央广网    

  在新一波的技术浪潮中,大语言模型风头正劲,但还有一种AI技术,正在配音、直播、客服等多个行业正发挥出越来越广泛的应用。2月18日,京东言犀公布了两项最新技术成果——语音合成大模型LiveTTS及通用数字人大模型2.0,支持zero-shot音色复刻和精品音色微调,并支持更精准的数字人声唇对齐,将大幅提升人机自然交互体验,目前已针对直播、外呼、客服、营销等超10种特定商业化场景完成调优适配。技术降本带来用户体验跃升,预计也将带动更多AI营销服务增量市场。 

  语音合成大模型全新升级 支持zero-shot音色复刻和精品音色微调 

  LiveTTS,是京东言犀最新发布的高仿真、多语言、情感丰富的语音合成(TTS)大模型,通过AI技术生成自然、具备韵律且富有情感的语音。现在,只需喂给LiveTTS模型最短3秒音频素材,就能支持zero-shot音色复刻以及精品音色微调,近乎完美的对声音进行复刻。 

  这得益于基于Diffusion架构完成的20万小时数据"熔炼"。在SeedTTS test-hard测试中,其CER指标(字符错误率)较其他头部厂商模型降低了0.2%-5.12%不等,相当于每万字最多能减少512处发音失误。在主观评价上,通过盲评的MOS评测,该模型尤其在音色相似度、自然清晰度、情感表达一致性方面表现出色,音色相似度较其他头部厂商模型高出1.3倍。 

  从语音准确性上,言犀结合中文拼音与英文音素双输入系统,提升了发音准确性,让技术更可用。从仿真度上,采用高质量的HiFt声码器,实现超98%的声纹还原精度。 

  大量的实时、多样性语音数据加入训练,也进一步提升了模型的泛化能力,让模型能够在不同音频提示词(prompt)的条件下合成韵律丰富、自然的音频,更加易用。LiveTTS已经能适配从儿童俏皮声到老年人沉稳语调的多样化需求,还支持中/英/日等多语种及方言的语音合成。 

  极低门槛、极致拟真、极多场景,是言犀LiveTTS语音合成大模型的优势。基于LiveTTS打造的言犀数字人,支持近百个不同风格音色,形成围绕直播场景需求的声音供应链。2024年京东11.11期间,言犀TTS单日调用超1000万次,成本直降90%,大大提升直播、配音、外呼等行业的工作效率。 

  数字人大模型实现精准声唇同步 造就AI生产力 

  言犀数字人已广泛应用在电商直播、客服接待、短视频等场景中,光是使用数字人日常开播的商家就有超过7500家。但数字人向更大范围的规模化应用始终存在三个难点:形象数据采集成本高、模型训练周期长和推理效果难泛化。 

  为了解决这些问题,言犀团队提出了新一代声唇同步数字人基座模型,通过创新的多阶段基模型训练方法、多图参考的多层注意力机制等方法。这一亿级参数量的声唇同步基座模型,进一步拓展了数字人在遮挡、大角度、多语速、跨音色和多语言等场景的应用。目前,在动态背景、多人直播等真实应用场景里,言犀数字人的唇形匹配度仍达到95%,具备较好的泛化能力,在各种场景中更可用,更易用。

  

  在新一代数字人基座大模型支持下,仅需一张带人像的图片或短视频、一份商品链接,言犀就可以自动生成流畅丰富的带货脚本,结合LiveTTS生成情绪化口播,数字人便栩栩如生“活”起来。这种模式,告别了传统、冗长的数字人模型训练流程,实现直接推理,既省去了训练成本,还进一步扩展了数字人在视频翻译等低数据量场景的应用边界。 

  除了直播外,平台还能支持输出数十条不同风格的数字人种草短视频。整个过程从过往的至少72小时压缩至分钟级,成本仅为传统数字人制作的十分之一,进一步实现技术降本。 

  言犀最新发布的两项技术成果,并非单纯的技术跑分竞赛,而是旨在进一步降低AI应用的成本,新一代的语音合成LiveTTS模型及数字人大模型2.0,正在短视频合成、数字人直播、视频翻译、数字人唱歌跳舞等多个商业化场景中应用,让大模型变成商家人手必备的普惠工具。 

  作为品牌的AI营销搭子,言犀将不断开发出更多支持营销场景的技术与产品,进一步降低中小商家应用门槛,加速AI生产力走进营销场景。

(责任编辑:魏京婷)


闁告帒妫旈棅鈺呭礆鐢喚绐�
    中国经济网声明:股市资讯来源于合作媒体及机构,属作者个人观点,仅供投资者参考,并不构成投资建议。投资者据此操作,风险自担。
濞戞搩鍘煎ù妤冪磼韫囨梻銈圭紓鍐╁灩婢ф寮堕崘銊ユ尋闁稿繐绉烽惌妤佺珶閻楀牊顫栭柨娑虫嫹
1闁靛棔绀侀崵鎺楀嫉椤掑倻绉规繛澶堝妽濡叉垿鍨惧⿰鍕檷婵犙勫姧缁辩増绋夐鐐寸缂備礁绻戠粊鍦磾閹存柡鍋撻敓锟� 闁瑰瓨鐗戦埀顒佺矋濞奸潧鈹冮幇鍓佺獥缂備礁绻戠粊褰掑籍閵夛箑袚-濞戞搩鍘煎ù妤冪磼韫囨梻銈圭紓鍐╁灍閳ь剚绻勫▓鎴﹀箥閳ь剟寮垫径澶岀▕闁告繀绶ょ槐婵嬫偋閸喐缍€闁秆冩搐閻ɑ绂嶉敓锟�
闁靛棌鍋� 濞戞搩鍘煎ù妤冪磼韫囨梻銈圭紓鍐╁煀缁辨瑩寮甸鍌滅Ч闁告瑱闄勫﹢浣圭珶閻楀牊顫栭柣銊ュ濞呭孩寰勯弽鐢电闁挎稒绋掑﹢顓犵磼韫囨梹鎷辩紓鍐╁灦瀹稿潡寮堕崘璺ㄧ濞寸姾顔婄紞宥夊础閺囨氨绉撮柛娆忥梗闁叉粍绂嶆潪鎵憹鐎电増顨夊ù鍡樻姜婵劏鍋撴担瑙勫枀缂傚倹鐗楅崹銊︾閵夈儱寰撻悗鐧告嫹
闁靛棌鍋� 闁哄倻鎳撶槐鈩冩媴鐠恒劍鏆忓☉鎾筹龚閸亝鎷呭⿰鍐╂儌闁挎稒绋戦崙锛勭磼韫囧海鐟㈤柡鍫墰缂嶅绮甸崜褑顔夐柣鈺兦归崣褔骞掗崼鐔哥秬濞达綀娉曢弫銈夊础韫囨凹鍞撮柣銊ュ瀹曠喐鎷呭鍛尋濞戞搩浜欏Ч澶愭晬鐏炵晫瀹夋繛澶堝妽閸撴壆鎷犻妷褏鎼煎ù锝嗙矊閹佳勭▔椤撶喐笑闁告熬闄勫﹢锟�
闁靛棌鍋� 闁烩晝枪缁ㄦ煡鎯冮崟顒€鎴块柡澶婂暕婵炲洭鎮介妸鈺傤€欓柛鎺曟硾閿涙劙寮版惔顖滅濞戞挸绉寸欢杈ㄦ交濠靛棗鍐€閻犲洢鍎抽悺鎴︽⒔閹邦剙鐓戝鍦濡叉垿鏁嶇仦鑲╃懍闁革负鍔嶅鍧楀级閸愵厼鐦遍柛銉︽綑閸炲瓨鎷呯捄銊︽殢闁哄啳娉涚花鎻掆枖閵婏附顫栭柍銉︾矋濞奸潧鈹冮幇鍓佺獥濞戞搩鍘煎ù锟�
闁靛棌鍋� 缂備礁绻戠粊鍦磾閹存柡鍋撳┑鍥х仐闁炽儲绮嶅ḿ闈涒攦閹板墎绐楃紓浣哥箲缁佸綊寮妷锕€袚-濞戞搩鍘煎ù妤冪磼韫囨梻銈圭紓鍐╁灍閳ь剚绺块埀顒€鍊界换姘跺矗瀹ュ懎顤呴弶鈺傛緲閿涙劙寮版惔銈傚亾閸滃啰绀夐柡鍫墰缂嶅浜搁崱姘缂佸矁娉涢崣楣冩儎缁嬪灝褰犳繛澶嬫礀缁躲儳鎷归敐鍕床闁靛棴鎷�
2闁靛棔鐒﹀﹢鎵磾閹寸偛顣查柡鍫濐槺濞堟垿宕堕崜褍顣诲ù锝嗙矊閹佳勭▔椤撱劎绀夐柛妤€鍘栨繛鍥р枖閵婏附顫栭柍銉︾矋濞奸潧鈹冮幇鍓佺獥濞戞搩鍘煎ù妤冪磼韫囨梻銈圭紓鍐╁灍閳ь剚绻傚锟�/闁瑰瓨鐗楅悥锝夊嫉婢跺棌鍋撳⿰鈧懙鎴﹀炊閻e瞼鐥呮繛鏉戞捣缂嶏拷(www.ce.cn)闁炽儻鎷�
闁靛棌鍋� 婵ɑ娼欏畵鍐晬鐏炶偐绋绘鐐存构缁楀绂掗敐鍫涒偓鍐嫉椤掑倻绉归悗鐢殿攰椤曟氨绮垫径濠冪闁绘娲g紞鏃堝传娴g兘鐓╅柡鍫濐槼椤斿繘宕i娆戦搨濞存粏妗ㄦ繛鍥偨閵娧勭暠闁哄鍟崺鍕晬濞戞ê鍤掔紓浣哥箣缁楀矂寮甸鍌滅Ч缂佹稑澧界拋鏌ユ儎缁嬪灝褰犻柟鍝勭墛濞煎牊鎷呯捄銊︽殢
闁靛棌鍋� 闁告绻楅鍛存儍閸曨偄绀嬪ù锝呯Т瀵攱绋夐鍐╃溄闁挎稑濂旂划搴ㄥ嫉婢跺缍€闁革负鍔嶅鍧楀级閸愵厼鐦遍柛銉︽綑閸炲瓨鎷呯捄銊︽殢閻犲洢鍎抽悺鎴﹀炊閸撗冾暬濞戞搩鍘藉Σ鎴犳兜椤旇姤鏆堥柡鍕岸閳ь剚绮堥懙鎴﹀炊閻e瞼鐥呮繛鏉戞捣缂嶅鎷嬮幏灞稿亾閸栫えX闁硅棄瀚ч埀顒佺箖閸拷
闁靛棌鍋� 闁炽儲绮庣划鈥趁规惔銏★級闁硅翰鍎抽妵锟�-濞戞搩鍘煎ù妤冪磼韫囨梻銈圭紓鍐╁灱椤斿洭鎳撻崠绀╔闁硅棄瀚ч埀顒佺箘濞堟垿宕堕崜褍顣诲ù锝嗙矊閹佳囨晬鐏炶姤鍎婇柛鎺撶懕缁辨繃绋夐埀顒勫礆閸ワ妇鐟濋柛鎺嗘櫅閹寮稿⿰鍡楁閻炴稑鏈竟娆撳箯閸涱偀鍋撻敓锟�
3闁靛棔绀侀崵鎺楀嫉椤掑倻绉规繛澶堝妽濡诧拷 闁炽儲绮嶅ḿ闈涒攦閹板墎绐梄XX闁挎稑鐗撳ḿ顏呯▔椤撶偞绂囩紓浣哥箲缁佸湱绱旈幋顖滅闁炽儻鎷� 闁汇劌瀚紞鏃堝传娓氬﹦绀夐柛褍娲╁ù鍡樻姜閸婄喎娈伴柛蹇氭硾閻g姵鍒婇幒宥囩Ъ闁挎稑鐭佸ù鍡樻姜閻e本绐楅柣銊ュ濠€顏呯鎼存繄鐐婇梺顐e笚濞诧拷
闁靛棌鍋� 濠㈣埖鐭穱濠囧箒椤栥倗绀夋鐐存构缁楀绂掗敐鍫涒偓鍐嫉椤掑倻绉归悹褏鍋涢幃鎾诲礂閹偊娼庨柣鎰嚀閹锋壆鈧數鎳撻崣楣冩儑閻旈鏉介柟顑棛顦伴悹鎰剁祷閳ь剨鎷�
4闁靛棔绀侀々褔宕堕悩杈╃▕闁告繀绀侀崬瀵糕偓鐟扮畭閳ь兛鑳舵晶妤呭级閸愩劍瀚查柛蹇氭硾閻g娀姊婚鈧。浠嬫閳ь剛鎲版担鍛婂€遍柡鍫墰缂嶅鎳曢弮鍌炲厙闁汇劌瀚哥槐婵堟嫚瀹勭増韬�30闁哄啨鍎遍崬瀛樻交濞戞粠鏀介柕鍡嫹

闁炽儻鎷� 缂傚啯鍨归悵顖炲箑缂佹ɑ绨氶柨娑虫嫹010-81025111 闁哄牆顦崣褎鎷呭⿰鍐╂儌闁绘鐗婂ḿ鍫熺鐎n亞鏉归悹鍥╂焿娴犲牏鍖栨导娆戠獥010-81025135 闂侇収鍠氶鍫ユ晬閿燂拷

闁稿繐鍘栫花顒傜磼韫囨梻銈归柡鍐﹀劜婵倗绮堥敓锟� 闁挎冻鎷� 闁稿繐鍘栫花顒佺▔椤撶偞绂囩紓浣哥箲缁佸湱绱旈敓锟� 闁挎冻鎷� 缂傚啯鍨归悵顖涘緞瑜岀花銊ф媼閿燂拷 闁挎冻鎷� 缂傚啯鍨归悵顖滄嫚濮樺厖绮� 闁挎冻鎷� 闁绘鐗婂ḿ鍫熺珶閻楀牊顫� 闁挎冻鎷� 濞存粍甯熸禒鍫㈢磾閹达綆娼掗柛姘煎墲婵☆參鎯勯鑺ョ疀闁告枀銈呮鐎垫澘顑呴崣鏇犵棯閿燂拷 闁挎冻鎷� 妤犵偛鐏濋幉锟犲嫉瀹ュ懎顫� 闁挎冻鎷� 闁告瑥顑嗛崕蹇涙煣閻愵剙澶� 闁挎冻鎷� 缂佸墽濞€閺佸﹪鏌囬缁㈠敻
缂備礁绻戠粊褰掑籍閵夛箑袚闁硅翰鍎扮粭鐔兼⒖閸℃绀嬫繛澶嬫礀缁躲儲銇勬ィ鍐╋紪闁挎冻鎷�闁告牗銇為崥顐ゆ暜閸岀偞鍣烽悹鍥ф惈缁躲儳鏁崼婊呯殤闁告柡鍓濇晶锟�    濞戞搩鍘煎ù妤冪磼韫囨梻銈圭紓鍐╁灦绾泛顕ョ€n喓鈧劙姊婚鍡欑獥闁告牗銇為崥顐﹀礆濮橆剟鎸€垫澘顑呯粭鈧ù婊冾儏婵喖骞嶉埀锟�
濞戞搩鍘煎ù妤冪磼韫囨梻銈圭紓鍐挎嫹 闁绘鐗婂ḿ鍫ュ箥閳ь剟寮甸敓锟�  濞存粍甯熸禒鍫㈢磾閹寸偞鐓€闂傚倽顔婃穱濠囧箒椤栨稒绠涢柛鏂呫値鍟呴柛娆樺灥閻︼拷(10120170008)   缂傚啯鍨圭划鑸靛閻樿櫕灏¢悷娆忔閹鎳為崒婊勭獥閻犱胶枪瑜拌尙鎷犻敓锟�(0107190)  濞存粎鎮侰P濠㈣鎷�18036557闁告瑱鎷�

濞存粠鍓欓崣鏇犵磾閹存繄鏆斿璁规嫹 11010202009785闁告瑱鎷�