解读企业级语言人工智能中的信任机制。与Slator的对话

语言技术领域的每份需求提案(RFP)中都包含一个“信任问题”,而每家供应商都试图对此给出令人信服的答案。投入生产六个月后,系统出现故障。数据所属的司法管辖区有误,模型更新后输出结果发生了变化(却无人提及),成本更是达到了预估的三倍。问题并不出在技术本身;只是在场每个人对“信任”或“质量”的理解各不相同。

在最近一期的“The New Fluency”播客中,Slator的董事总经理弗洛里安·费斯和咨询部主管亚历克斯·爱德华兹详细解析了企业买家在提及“信任”时究竟所指为何。

1.准确性信任:这是大家最常问的问题

准确性是所有关于信任的讨论的起点。实际上,这是最不值得花时间讨论的方面,因为基准线早已发生了变化。

“四年前人们总是说,‘哦,这是人工智能生成的。肯定百分之百有错,”弗洛里安说道。“人们对人工智能产出的整体信任度已大幅提升。人们对人工智能的信任度更广了,这意味着他们对人工智能翻译的信任度也大大提高了。”

问题在于,人工智能的输出对于特定的用例是否足够准确。药品标签、用户生成的产品评论以及内部参考总结——每种用例和内容类型对准确性的要求各不相同。

那些未指定具体内容类型的买家,可能会在风险较低的内容上过度追求质量,而在真正重要的地方却未能充分明确要求。

2.一致性信任:受监管买家的真正难题

对于金融服务、制药和法律团队而言,对绝对准确性的需求是理所当然的。更棘手的问题正如亚历克斯所描述的那样:

“当你与受监管的客户交谈时,他们可能更强调一致性和可靠性。这些客户最关心的,恐怕是能否确信你所交付的内容将始终保持一致且可靠。”

因此,问题更多在于系统本身,而非输出结果。如果某家供应商在第二季度更新了模型却未告知你,那么在监管申报方面,你便无法信任这家供应商。

3.安全信任:信息安全审查中导致交易流产的关键问题

一旦获得数据,它将存储在哪里?谁能查看这些数据?Alex 指出了这一点:

“无论是人工生成还是非人工生成的本地化内容,让客户对此建立信任——保持这种透明度至关重要,同时可审计性和安全措施也同样重要。这同样关乎信任,还包括数据存储位置及处理方式。”

这是在后期才浮出水面的要求。功能评估已完成,利益相关方已达成共识,此时信息安全部门却提出了一个此前无人想到要纳入招标文件的问题。如今,人工智能供应商处理的内容此前通常是在本地或严格限定的语言服务提供商(LSP)合作关系内处理的。这增加了风险暴露,而欧盟、美国和亚太地区的数据要求之间也无法完美对接。

4. 信任的规模:“演示中能用”并非保证

“人们需要相信,人工智能翻译在规模化应用时也能正常工作。它不仅仅是一个玩具,不仅仅是在演示或试运行项目中有效,而是在处理数百万词时也能真正发挥作用。因此,它确实可能在生产环境中出问题。”

Florian 还补充了成本这一维度,而买家通常会忽略这一点:

“我们听说过这样的案例:有些公司在第一个月就为Claude代币花费了一百五十万。”

这本身并非供应商的过错。这是规模信任的缺失;买家在做出承诺前,并未针对实际处理量对成本模型进行压力测试。

5. 结果信任:大多数买家完全忽略的要求

“许多企业买家开始思考质量如何影响下游流程。我翻译后的网站转化率是多少?这关乎能否真正衡量质量带来的影响。从而了解质量对企业成果的影响及其之间的关系。”

大多数企业买家都是根据输出质量指标来评估语言人工智能的:MTQE 评分、评审小组。但他们很少衡量翻译质量的差异是否真的在推动企业成果。他们更应密切关注母语用户与译文语言用户之间的转化率、客服分流率以及净推荐值(NPS)差距。

现在就建立起这一衡量体系的采购方,将来才能基于真实信号(而非替代指标)做出供应商决策。

“就信任度而言,几乎所有人都将准确率作为基准,”亚历克斯说道。“但这取决于你正在与哪位采购方交谈。”

这正是问题所在!每个供应商都从准确率层面来回答质量问题。因为这是他们被问到的问题。其余四项要求则被搁置一旁,无人回应,直到投入生产时才被揭示出来。

解决之道并非制定一份更完善的 RFP。关键在于明确贵组织在这五项信任指标中,哪些是绝不妥协的。

观看完整节目!

Florian、Alex 和 Morana 将深入探讨实验方法、质量框架,以及他们对本地化行业未来几年的实际展望。 在 YouTube 上观看完整节目:与 Slator 的亚历克斯·爱德华兹和弗洛里安·法斯共同探讨人工智能时代翻译质量的定义想了解更多?请在我们的 YouTube 频道观看 《The New Fluency》 第一季的所有内容。 如何每年本地化 790 亿个单词?与 Booking.com 的米克·萨伊纳(Mik Szajna)共同探讨。

设计以人工智能为先的本地化流程,与Trusted Shops的克劳迪娅·穆勒(Claudia Mueller)对话 以产品思维突破复杂性瓶颈,与Maxon的奥尔加·斯托科维奇(Olga Stokowiec)对话 快速发布,更快翻译,与GitLab的玛丽亚·何塞·萨尔梅龙·伊巴涅斯(María José Salmerón Ibáñez)对话

跨文化品牌建设,与首席营销官兼作家凯瑟琳·梅尔基奥尔·雷(Katherine Melchior Ray)共同探讨

为快速成长型企业构建本地化引擎,主讲人:headout的里伊娜·托洛宁

分享