هل جودة الترجمة لا تزال مهمة؟
إذا سألت عن جودة أي خدمة ترجمة تستند إلى الذكاء الاصطناعي، يكون الجواب عادةً رقماً من أصل 100. ويُحتَسَب باستخدام إحدى الصيغ القياسية المُعتمَدة لتصنيف جودة الترجمة. وقد يبدو هذا التصنيف على أنّه بسيط وموضوعي ونهائي وقادر على تمييز موفّري الخدمة الذين يقدّمون "أفضل" ترجمات. ومن شبه المؤكد أيضاً أن يظهر تصنيف الشركة المعنيّة التي تروّج لخدماتها في المرتبة الأولى. ولكن، بعد عقود من راية ”البيانات لا تخطئ“، أصبحنا نعلم الآن أنّه يمكن تفسير البيانات بالطريقة التي تناسب الراوي.
بكل صراحة، إذا سألت DeepL عن جودة الترجمة، تصلك الإجابة نفسها. نشارك معك تحليلاً متعمقاً أجريناه في شهر مارس لمقارنة جودة الترجمة من خلال 48,000 اختبار أعمى شارك فيه خبراء لغويون. وتُظهر النتائج تفوّق DeepL بنسبة %94 في مجموعات الاختبار عبر 16 زوجاً لغوياً والمنافسين الخمسة الرئيسيين، الذين شملوا أيضاً نماذج اللغة الكبيرة (LLMs) الأشهر. ونفتخر بهذه النتائج.
مع ذلك، أريد الكشف عن حقيقة لا يعترف بها أحدٌ في مجال الترجمة المستندة إلى الذكاء الاصطناعي، ويسعى الجميع إلى إخفائها في نتائج الاختبارات. نقيس حالياً ثغرات في الجودة تتقلص باستمرار، وقد أصبحت صغيرة جدًا لدرجة أنّ البعض بات يعتبرها غير مهمة.
مع التطوّرات الحالية، تُعتبَر كل ترجمات النصوص بالاستناد إلى الذكاء الاصطناعي ذات جودة جيدة بشكل عام. وإذا نظر شخص غير متخصّص إلى نصّ، قد لا يلاحظ سوى بعض الأخطاء القليلة، إن وُجدت. فالاختلافات هامشية ودقيقة وذاتية إلى حد كبير. وهذا ما يؤدي إلى التصنيفات المختلفة، التي تستخدمها كل شركات النماذج اللغوية الرائدة لصالحها.
بناءً على ذلك، يبرز السؤال التالي: عند اختيار موفّر خدمة ترجمة مستندة إلى الذكاء الاصطناعي، هل من المهم النظر إلى الجودة كالعامل الحاسم؟ بدون شكّ، ولكن ليس الجودة كما تُقاس بنتائج الاختبارات.
الفرق كبير بين أداء الترجمة المستندة إلى الذكاء الاصطناعي في اختبارات الجودة المعيارية وأدائها في الممارسة العملية مع محتواك وداخل مؤسستك. في الاختبارات، تبدو الثغرات في الجودة هامشية. أما في الواقع، فتحمل تأثيرات مهمة على عملك.
الجوانب التي تقيسها اختبارات جودة الترجمة المستندة إلى الذكاء الاصطناعي
لتوضيح ما أعنيه، سننظر إلى تفاصيل ما تقيسه فعلاً الاختبارات المعيارية للجودة، وكيف تقيسه، والجوانب التي تتجاهلها.
عندما يقيّم اللغويون الجودة، يستخدمون عادةً إطار MQM (مقاييس الجودة متعددة الأبعاد)، الذي يتضمن ثمانية أبعاد مختلفة لجودة الترجمة. من خلال ربط المقاييس بهذه الأبعاد المختلفة، واختيار كيفية تقييمها، تنشأ معادلة تمثل الجودة من خلال رقم واحد.
تشمل أبعاد MQM الدقة (تطابق الترجمة في اللغة الهدف مع محتوى النص الأصلي في اللغة المصدر)، ومعايير مثل طلاقة الترجمة (انسيابية الترجمة بشكل طبيعي في اللغة الهدف)، والمصطلحات الخاصة بالمجال (صحة المصطلحات المخصصة)، والأسلوب، والتوافق مع الأعراف المحلية، وغير ذلك.
معادلات جودة الترجمة المختلفة
من المعقد والمكلف الاستعانة بخبراء لغويين لتقييم جودة الترجمة. وفي الواقع، لا يشارك الخبراء البشريون في الكثير من تصنيفات جودة الترجمة المستندة إلى الذكاء الاصطناعي. فيجري التقييم آلياً، باستخدام إحدى الأنظمة التالية، والتي أصبحت أكثر تطوّراً على مدى السنين.
- في العام 2001، قدمت شركة IBM مقياس بديل التقييم ثنائيّ اللغة (BLEU). يحلّل هذا النظام تطابق الترجمة الآلية مع الترجمة البشرية للنص المصدر نفسه. والمشكلة؟ يفترض هذا النظام أنّ الترجمة المرجعية هي أفضل ترجمة ممكنة، وأنّ أي انحراف عنها هو خطأ.
- في العام 2006، تكيّف هذا النظام وأصبح يقيّم معدل تحرير الترجمة (TER)، الذي يحسب عدد التعديلات التي سيحتاج المترجم البشري إلى إجرائها لتحويل الترجمة الآلية إلى ترجمة بشرية. ويشبه مقياس BLEU، لكن، كلما كان الرقم أقل، كانت النتيجة أفضل.
- في العام 2020، أطلقت شركة Unbabel نظام COMET (مقياس مُحسَّن متعدد اللغات لتقييم الترجمة) باستخدام نموذج الشبكة العصبية لمقارنة الترجمة الآلية بكل من الترجمة البشرية والنص المصدر. ويستند هذا النظام إلى النص الأصلي لمحاولة استنباط المعنى، فيسدّ الفجوة القائمة في كل من BLEU وTER.
- دخل التقييم الآلي عصر نماذج اللغة الكبيرة (LLM) في عام 2023 مع إطلاق GEMBA (GPT Estimation Metric Based Assessment)، الذي يدرّب نماذج اللغة الكبيرة على تطبيق الأبعاد المختلفة في مقياس جودة الترجمة MQM على الترجمة لتحديد أدائها.
تطورت عملية التقييم الآلية للترجمة لتصبح أكثر فائدةً، لكنها لا تزال بعيدة كلّ البعد عن قدرات الخبراء البشريين. وعندما تتولى نماذج اللغة الكبيرة (LLMs) تقييم الجودة، تؤدي إلى مشاكل التحيز، لأنّها تفضل الترجمات الناتجة من نموذجها الخاص، حتى لو كانت تفتقر إلى درجة من الدقة. ويُعزى ذلك جزئيًا إلى أنّ الترجمة، بطبيعتها، ليست موضوعية. فأصبح من الأفضل أن تقيّم نماذج الذكاء الاصطناعي ترجماتها وتقرر الحلّ الأنسب.
توصلت WMT25، وهي الدورة العاشرة من المؤتمر السنوي حول التقييم الآلي، إلى استنتاج واضح جدًّا في هذا السياق: ”يجب الإشارة إلى أنّ الأنظمة التي تصدرت مقاييس التقييم الآلي لم تتفوّق باستمرار في التقييم البشري، ما يؤكّد أنّ الكلمة الأخيرة من حيث جودة الترجمة يجب أن تبقى للتقييم البشري“.
بعبارة أخرى، إذا أردت حقاً معرفة جودة الترجمة، يجب استشارة خبيرة بشري (وهذا ما نفعله في اختباراتنا المعيارية في DeepL). مع تقلص الفروق في جودة الترجمة المستندة إلى الذكاء الاصطناعي، تزداد أهمية تدخّل الإنسان لتحقيق التوازن بين مختلف العوامل. لم تعد الفروق في الجودة واضحة، على الأقل، في الاختبارات القياسية.
جوانب تغفل عنها اختبارات جودة الترجمة: السياق، والحتمية، والاتساق
سبق وذكرتُ أنّ جودة الترجمة التي تُقاس في الاختبارات تختلف عن جودة الترجمة في الممارسة العملية، وبخاصةٍ عند إدارة عمليات الترجمة والتوطين في مؤسسة معقدة. فجوانب جودة الترجمة التي لا تقيسها الاختبارات تحمل في الواقع التأثير الأكبر على الأعمال.
معظم أطر وأنظمة التقييم التي ذكرتها في هذه المدوّنة هي ”تحليلية“. وتعمل من خلال مقارنة ”مقاطع“ من النص الأصلي والنص المترجم، وقد تكون مجرد جمل فردية. وتُقيّم أيضاً جودة ترجمة كل جملة على حدة، وكأنها غير مرتبطة بالجمل الأخرى في النص.
أمّا تجربتنا الفعلية مع المحتوى المترجم، فتختلف عن ذلك كل الاختلاف. إنّ التجربة الواقعية هي أكثر ”شمولية“. لا تتضمّن فقط الجملة التي نقرأها، بل النص بأكمله، علماً أنّ تلك الجملة هي جزء منه. وتشمل أيضًا كل أشكال التواصل الأخرى من المؤسسة. فيمكن القول إنّ جودة الجملة الفردية المترجمة أقل أهمية من جودة الاتساق والتماسك في النص المترجم ككل.
تعتمد كل مؤسسة مفرداتها: المصطلحات والعبارات الخاصة بالمنتجات والميزات، ومجالات العمل، وجوانب الخدمة، والمفاهيم الاستراتيجية، وغير ذلك. ويُعتبَر الاتساق في ترجمة هذه المصطلحات جانباً مهماً جداً من جودة الترجمة. إذا كانت الترجمة في مركز المساعدة لا تتطابق مع المصطلحات المستخدمة في المنتجات أو الأزرار، تُعدّ جودة الترجمة سيئة. لا يهم ما إذا كانت الترجمات الفردية صحيحة من الناحية الفنية أم لا.
عندما تصبح منصة الترجمة المستندة إلى الذكاء الاصطناعي قادرة على تحديد المصطلحات والأسلوب والصيغة على نطاق واسع (كما هو الحال مع أدوات DeepL التي تعتمد مسارد المصطلحات وقواعد الأسلوب وذاكرات الترجمة)، تزداد قيمتها بشكل هائل. في المقابل، بما أنّ طبيعة نماذج اللغة الكبيرة (LLMs) ذات الأغراض العامة تقوم على الاحتمالية (مثلاً، Claude وGemini وChatGPT)، تتخلّى عن الحتمية والامتثال والاتساق. وبهذا، تغفل عن جوانب مهمّة جداً من جودة الترجمة في الممارسة العملية.
اختبارات جودة الترجمة لا تنظر في طريقة تحقيق الجودة
من المهمّ أن أذكر أيضاً أنّ الاختبارات القياسية لجودة الترجمة لا تهتم بطريقة تحقيق الأداء الجيد، وقابلية توسيعه.
تُظهر الاختبارات العمياء التي أجرتها DeepL بمشاركة خبراء بشريين أنّ أحدث نماذج اللغة الكبيرة (LLMs) ذات الأغراض العامة، قادرة على توفير جودة ترجمة تنافسية في أزواج لغوية محددة وعند ضبطها على إعدادات استدلالية عالية. ولكنّها تنجز ذلك باستخدام نماذج أكبر ومساحات مهام وقدرات استيعاب أوسع.
هذا يعني أنها تستخدم عدداً كبيراً من الرموز (بتكاليف غير متوقعة) وتستغرق وقتاً أطول بكثير (أبطأ بحوالى 4 إلى 29 مرّة)، ما يؤثّر بشكل كبير على عملك إذا كانت الترجمة المستندة إلى الذكاء الاصطناعي منشورة في المنتجات ومن خلال واجهة API. والأهم أنّه يصعب توقّع الترجمات التي ستختارها هذه النماذج. لكل مهمة، تنجز الترجمة من الصفر، وبالتالي، قد لا تكرّر المصطلحات والعبارات التي تستخدمها.
إذا كانت الترجمة تجري على نطاق مؤسسي، يُعتبر الاتساق الجانب الأهم من حيث جودة الترجمة. غير أنّ نتائج اختبارات الجودة لا تطلعك على أي معلومات عن هذه الناحية.
نعمل على تطوير رؤية شاملة للجودة تمنح العملاء كامل التحكم
لكل الأسباب المذكورة أعلاه، تُعدّ الاختبارات الآلية محدودة للغاية في تقييم جودة الترجمة. لكنّ ذلك لا يعني أنّها ليست أداة مفيدة للتحكّم في جودة ترجماتك. قد تحمل، في الواقع، قيمة كبيرة، إذا غيّرت دورها الأساسي.
في DeepL، طوّرنا نموذج تقييم جودة الترجمة (TQE) يعتمد على ذكاء اصطناعي مصمم خصيصاً لهذا الغرض. فلا يكتفي بمنح الترجمة ”درجة“ تقيّم جودتها، بل يحدّد الأخطاء المحتملة وجوانب تحسين الترجمة ويشرك الخبراء البشريين من مؤسستك. يدرك هذا النموذج أنّ التقييم البشري هو الأهمّ في نهاية المطاف.
عندما يحلّل نموذج تقييم جودة الترجمة هذا نصاَ ما، يستند إلى كل ميزات التخصيص التي حدّدتها في أدوات DeepL. ولا يحلل جودة الترجمة بمعزل عن السياق. فيتحقق من تطبيق مصطلحات مؤسستك وأسلوبها ونبرتها، في السياق. وهكذا، يقدم رؤية شاملة للجودة تفيدك في الممارسة العملية.
هذه هي النظرة التي يجب مراعاتها في جودة الترجمة (التي لا تزال مهمّة جداً برأيي). الجودة لا تتحقّق من خلال الاختبارات، بل من خلال تحديد الجوانب الأنسب لك من حيث الجودة، والتي تنطبق على المحتوى في الواقع العملي.