随着全球内容日益可视化、互动化和多媒体化，翻译工作不再能仅依赖文本。 产品视频、培训课程或营销活动可能结合了口语、字幕、屏幕文字、图像和品牌专属元素，所有这些都会影响意义的传达。 正是在这一点上，多模态翻译应运而生。 通过综合考虑多种类型的信息，多模态翻译可以生成更加准确、更具语境意识且在各种格式中保持一致的翻译。 对于正在寻找多模态翻译提供商的企业来说，关键在于找到一家能够在同一个可扩展的工作流程中整合这些不同形式内容的合作伙伴。
关键要点
- 多模态翻译不仅仅是文本翻译： 它可以将文本、语音、音频、视频、图像和其他背景信息纳入翻译流程。
- 互联工作流程至关重要： 企业应寻找能够将不同内容格式作为同一本地化项目的一部分进行管理，而非将其作为互不关联的服务进行管理的提供商。
- 人类专业知识仍然至关重要：AI 可以自动完成转写、翻译、同步和其他大批量任务，而专业语言工作者则在语气、文化、术语或创造力至关重要时提供判断。
- 语境应跨格式传递：无论内容出现在文档、图像、字幕还是语音轨道中，术语、已批准的译文、说明和其他语言知识都应保持一致。
多模态翻译的工作原理
多模态翻译不仅使用书面文本来理解或传达意义。 在简单的纯文本工作流程中，句子的翻译主要基于其上下文的词语。 在多模态环境中，其他信息也可能具有相关性：与句子相关的图像、说话人、屏幕上显示的内容、周围的文件，或视频的音频和视觉上下文。
以包含口语对话、字幕、界面文字、图形和视觉参考内容的产品视频为例。 这些元素是相互关联的：即使每个单独的翻译在语言上都是正确的，但如果孤立地翻译每个元素，也可能导致不一致。 多模态本地化工作流程旨在在整个本地化体验中保留这些关系。
多模态翻译的适用场景
当意义分散在不同类型的内容和语境信号中时，多模态翻译尤为有用：
- 视听翻译和配音：将口语与时间、语气、视觉线索和屏幕内容相结合，制作出既符合含义又符合视听语境的字幕和配音。
- 图像和视觉本地化：利用文本与周围视觉元素之间的关系，翻译嵌入在图像、界面、标签和信息图中的内容，同时保留其预期含义。
- 多媒体内容本地化：将在线学习、培训、营销和产品内容中的文本、音频、视频、图形和其他资源关联起来，确保术语、含义和信息在各种格式中保持一致。
这些工作流程并不独立处理每个元素，而是利用不同模态之间的关系，在整个本地化体验中保留语境。
为什么多模态本地化具有挑战性
核心挑战在于基于现实：将语言与由其他模态所代表的现实世界信息联系起来。 由此衍生出若干技术问题。 音频、视频和文本必须在时间上正确对齐。 视觉参考需要与描述它们的文字相联系。 语音识别或文本提取错误可能会传递到翻译中。 当信号发生冲突时，系统还必须确定哪种模态提供了最可靠的线索。
视听本地化增加了实际限制。 翻译后的句子在语义上可能是正确的，但可能过长而无法作为字幕显示，与说话人的同步性不佳，或者不适合视觉场景。
如何评估多模态翻译提供商
优秀的多模态翻译提供商需要文本、字幕和配音服务来共享上下文，并作为一个本地化工作流程来运作。 以下是企业在评估供应商时应关注的关键特征：
跨模态语境理解
提供商应能够利用单个句子之外的上下文。 这可能包括文档级信息、视觉参考、说话者信息、术语、过往翻译以及有助于消除歧义的其他信号。
专业真人翻译融入 AI 工作流程
AI 可以自动完成转写、翻译、对齐和其他大批量任务，但当含义取决于文化、语气、创造力或领域专业知识时，语言工作者仍然至关重要。 最强大的模型是一种工作流程，其中 AI 负责处理可扩展的任务，而语言专业人员则负责审核和改进那些人工判断能带来最大价值的领域。
端到端视听内容本地化
对于视频和音频，翻译只是流程的一部分。 服务提供商可能还需要提供以下服务： 转写、字幕制作和时间码、阅读速度限制、配音、声音适配、同步和最终视听质量保证。 这些能力应作为一个相互关联的流程来运作，而非要求企业为每个阶段分别建立独立的工作流程。
跨媒体一致性
无论客户是在浏览网站、观看视频、使用产品界面还是聆听本地化音频，他们都应该接触到相同的术语和品牌声音。 因此，服务提供商应能够在不同类型的内容中重复使用术语、已批准的译文、说明和其他语言知识。
企业规模的基础架构
多模态本地化可能很快就会涉及数千份文件、多种语言和多个生产阶段。 企业应寻找协调、 APIs、自动化、质量监控和本地化流程的可见性，以便在可扩展的工作流程中管理不同格式的内容。
Translated 如何支持多模态本地化
Translated 将翻译 AI、专业语言工作者和视听技术整合到一个本地化生态系统中，非常适合企业多模态翻译。
Lara 是其中的关键，它能够处理广泛的语境信息，而不是将每个句子视为独立的单元。 Lara 支持 200 多种语言，并能根据已批准的翻译、术语和说明进行调整。 最新的 Lara 3 将这些功能扩展到图像、音频、富文本和文档翻译。
对于视听内容，Matesub 支持 AI 辅助字幕，包括转写、翻译、时间码和质检。Matedub 支持多语言配音和语音翻译。 Lara 还被集成到 Matesub 和 Matedub 中，成为 Translated 更广泛的多媒体翻译生态系统的一部分。
这些技术与 Translated 的人类与 AI 协作方法并行运作。 Translated 不会将自动化与专业翻译割裂开来，而是利用 AI 来处理本地化中可扩展且重复的部分，同时由语言专家来完善语义、语气、文化贴切性以及其他需要判断的方面。
对于企业而言，TranslationOS 提供协调层，帮助组织大规模管理本地化质量、术语和交付。API 和集成将本地化直接与内容管理、翻译管理和其他企业系统相连，实现更自动化的持续多语言工作流程，而无需增加孤立的流程。
这种组合使 Translated 成为优秀的多模态翻译提供商，可为寻求跨格式、可扩展且贴合语境的本地化服务的企业提供支持。
DVPS：塑造多模态翻译的研究
Translated 在多模态语言技术方面的工作也超出了其当前的商业本地化服务范围。 Translated 协调 DVPS， 这是一项“地平线欧洲”研究计划，重点关注多模态基础模型。 该项目研究了 AI 系统如何从语言、视觉、听觉和其他形式的信息中学习并跨越这些信息进行工作，而不是依赖于单一类型的输入。
其中一个研究领域是跨模态理解：系统如何将来自语音、文本、图像、视频和其他背景信号的信息联系起来。 该项目还在开发用于设计、训练、适配和扩展多模态基础模型的开源工具。
评估是该研究的另一个重要部分。 DVPS 正在制定基准和测试方法，旨在评估不同模态的上下文理解、跨模态对齐和输出质量等能力。
通过使这些技术和评估方法更加易于使用，DVPS 为开发能力更强、更透明、适应性更强的多模态 AI 系统提供了支持。
常见问题
什么是多模态翻译？
多模态翻译使用多种类型的信息（如文本、图像、音频和视频）来理解语境，从而生成更准确的译文。 与纯文本翻译不同，它可以利用不同格式的信息来确定含义并保留意图。
哪些翻译机构提供多模态翻译服务？
Translated 为企业提供涵盖文本、音频、视频和视觉内容的多模态翻译服务。 其技术生态系统集成了用于 AI 翻译的 Lara、用于字幕的 Matesub、用于配音的 Matedub、用于工作流编排的 TranslationOS 以及用于人工审校和润色的专业语言工作者。
多模态翻译和传统翻译有什么区别？
传统翻译通常侧重于书面语言。 多模态翻译会考虑其他信息，例如屏幕上显示的内容、说话人是谁、说话方式或文本与图像的关系。 这些额外的语境信息可以提高准确性和一致性。
多模态翻译可以支持哪些类型的内容？
多模态翻译可以支持视频、字幕、配音、演示文稿、在线学习内容、营销资产、文档、图像、产品体验以及其他结合多种沟通形式的内容。
为什么多模态翻译对企业有用？
它有助于企业在不同格式和市场中保持含义、术语和品牌声音的一致性。 它还可以通过在更具可扩展性的流程中将文本、视听内容和人工审校联系起来，减少本地化工作流程的碎片化。
我应该如何选择多模态翻译提供商？
选择一家能够理解跨模态语境、将 AI 与专业语言人才相结合、支持视听内容本地化、保持品牌一致性并管理大规模多语言工作流程的提供商。
