百度创新性提出全球首个上下文感知的机器同传模型,AI同传媲美人类

  • 时间:
  • 浏览:1
  • 来源:彩神APP网址-彩神APP是什么

近日,百度翻译团队在机器同传领域取得突破性进展,创新性地提出全球首个上下文感知的机器同传模型,并基于此发布最新的语音到语音的机器同传系统:DuTongChuan(度同传),一块儿发布了全球首个中文-英文演讲场景语音翻译数据集(BSTC)。经过真实测试,AI同传效果媲美人类译员!

形象地说,“度同传”就像你身边的一位虚拟同传译员,只都要带上耳机,就不需要 听到用买车人母语播报出来的演讲内容,获得沉浸式体验。这位“虚拟译员”不需要 根据演讲的上下文,实时地播放连贯、准确的翻译结果。区别于此前的翻译系统,不考虑上下文环境,“播了这些 句,忘了上一句”。此外,可能该系统以小线程池池池的形式提供服务,只都要俩个多 手机就不需要 收听,省去了租用同传红外设备的成本。

推全球首个上下文感知的机器同传模型 首发语音翻译数据集(BSTC)

和传统的机器同传技术不同,“度同传”使用了最新研发的感知上下文的机器同传模型。百度翻译团队创新性地提出了语义信息单元(Information Unit,IU)这些 概念,将实时语音流进行IU切分并以其作为翻译单元。这些 灵感来自于人类同传译员,在翻译的事先将听到的内容以语义块为单位进行翻译,既保证了翻译质量,又保证了实时性。

以下面的励志的话 为例,可能等到励志的话 开始英语 英语 再进行翻译,时间延迟会非常大。对于实时的语音流,IU检测模块会判断语音片段不是表达了俩个多 详细的意思,比如“她说我错了”被识别为俩个多 IU,此时进行翻译,既详细的传达了原文意思,又不需要 同步地跟上演讲者的节奏。

图 1:“度同传”工作流程

百度提出了一种基于动态上下文的IU检测模型,将IU检测看做俩个多 分类问题图片。相似下面的例子,当模型无法判断“姬”这些 词不是俩个多 IU的开始英语 英语 位置(左图),会继续读入更多的词语帮助做出判断(右图)。

图 2:语义信息单元检测模型

为了提升翻译的流畅度和一致性,百度提出一种解码算法:每项解码(Partial Decoding)和上下文感知解码(Context-aware Decoding),不需要 结合上下文信息,生成全局流畅的目标译文。而传统辦法 仅对当前励志的话 做出翻译,那末 结合上下文信息,译文流畅度差。

图 3:“度同传”模型框架

在产品形式上,与传统的字幕投屏同传相比,“度同传”采用语音到语音的同传形式不需要 使用户获得与人工同传相似的沉浸式体验,将注意力更集中在演讲者与演讲内容一种。此外,该系统具有高质量、高流畅度、低强度等特点,这得益于百度研发的最新技术。该系统成功应用于2019百度AI开发者大会,将演讲内容实时翻译给现场观众收听,好评如潮。

百度翻译团队还发布了全球首个中文-英文演讲场景语音翻译数据集(BSTC)。该数据集总共涵盖超过80小时的演讲语音和对应的转录文本、时间轴、翻译文本等数据资源,涉及IT、经济、文化、生物、艺术等演讲主题。 该数据集填补了机器同传研究那末 真实数据集的空白,对推动相关研究具有重要作用。

表 1:BSTC数据集详细统计数据

(转录文本根据字符统计,翻译文本根据词统计,语音Audio根据小时统计)

真人与机器同传“同场竞技” AI媲美人类

为了评估当前机器同传技术的进展,百度翻译团队邀请了六个具有不同工作年限(3-7年)的同传译员,模拟真实的同传场景,对BSTC中的同俩个多 演讲进行同声传译。最终结果表明,无论是采用传统的BLEU自动评价指标,以及人工译员的人工评价辦法 ,度同传都表现出极具竞争力的翻译水平。

值得注意的是,评估所用的BLEU和人工评价均基于转写后的译文文本。BLEU指标基于n-gram严格匹配计算得分,而人工评价侧重译文的详细性和流畅度,相似于用笔译的标准评价口译。从表3不需要 看出,机器译文在可接受度(acceptability,综合评价译文的准确、流畅度,分数越高越好)上与人工译员相当(73.91% V.S. 73.04%),而在漏译率(漏翻译的词语占总数的百分比)上,机器明显低于人类译员(20% V.S. 47%)。人类译员在漏译率较高的具体情况下,仍然保持了较高的可接受度。这说明,人类译员在实时性要求高、脑力工作强度大的同传情景下,会灵活地适当省略,以突出重要信息的传递。而机器的优势在于其不知疲倦、漏译率低,显示出在同传场景下的巨大潜力。从表中只是需要 看出,传统的基于文本的评价辦法 评价同传有其局限性。研究契合同传场景的评价标准和指标是俩个多 亟待处里的问题图片,也是俩个多 非常有价值的方向。

表2:度同传和人工同传(S,A,B)自动评价结果

表3:度同传和人工同传人工评价结果

注:人工评价标准分为3档打分,可接受度为OK和GOOD之和。

BAD:译文准确性、流畅度很差,那末接受

OK:译文可懂,有日后允许有一定量错误(不影响理解内容)

GOOD:译文准确、流畅的传递了原文内容

2019百度AI开发者大会上,中文和英文演讲者的机器同传人工评价结果表明,从人工可接受度上,机器同传都达到了比较高的水准。中英同传可接受度为85.71%,英中同传可接受度为86.36%。根据现场使用体验,合成的目标语音仅落后演讲者语音3秒以内,为现场观众提供了高质量、低强度的沉浸式同传体验。

表4:人工评价结果

现阶段,机器同传已在许多国际会议上崭露头角,它的优势在于不需要 借助强大的AI技术和数据库作为后盾,不需要 拥有比人类同传译员更好的记忆力,掌握并调取更多资料和专业领域的知识。未来,百度将不断精进机器同传技术,打破语言壁垒,筑建世界沟通的桥梁。