غوغل تطور ذكاء اصطناعيا يترجم لغة الإشارة إلى نص لحظيا على هواتف بيكسل
كشفت شركة غوغل ديب مايند عن نموذج جديد للذكاء الاصطناعي يحمل اسم SL2T، اختصارا لـ”Sign Language to Text”، في خطوة تستهدف تحويل لغة الإشارة التي يستخدمها الأشخاص الصم وضعاف السمع إلى نص مكتوب بصورة مباشرة.
وبدأت غوغل طرح التقنية على هواتف Pixel 11 من خلال تطبيقي Gboard وLive Transcribe، مع دعم أولي للغة الإشارة الأمريكية (ASL) وتحويلها إلى الإنجليزية، فيما تخطط الشركة لتوسيع نطاق التقنية لتشمل أجهزة ولغات إشارة إضافية مستقبلا.
وتعتمد التقنية على تحليل مجموعة واسعة من الإشارات البصرية، تشمل حركات اليدين والذراعين والجسم والرأس وتعبيرات الوجه، بهدف فهم المعنى الكامل لما يعبّر عنه المستخدم بدلا من التعامل مع كل حركة باعتبارها كلمة منفصلة.
لغة الإشارة ليست ترجمة حرفية للكلام
تواجه أنظمة ترجمة لغة الإشارة تحديا مختلفا عن أنظمة تحويل الكلام إلى نص، لأن لغات الإشارة ليست مجرد تمثيل حركي للغات المنطوقة، بل هي لغات طبيعية مستقلة لها قواعدها النحوية ومفرداتها وبنيتها الخاصة.
ولهذا السبب، لا يكفي أن يتعرف النظام على حركة اليد ويبحث عن كلمة مقابلة لها، بل يجب أن يفهم السياق والتركيب اللغوي والعلاقات المكانية بين الإشارات، ثم ينقل المعنى إلى لغة مكتوبة.
وتزداد المهمة تعقيدا لأن جزءا من المعنى قد يأتي من عناصر غير يدوية، مثل حركة الرأس والجذع والذراعين وتعبيرات الوجه، وهي إشارات يمكن أن تغير المعنى المقصود بصورة كبيرة.
وترى غوغل ديب مايند أن تتبع هذه العناصر جميعا في الوقت الفعلي وبمعدل إطارات مرتفع يمثل تحديا متقدما في مجال الرؤية الحاسوبية، وهو ما جعل بناء أنظمة قادرة على ترجمة لغة الإشارة أكثر تعقيدا من تطوير أنظمة التعرف على الكلام التقليدية.
كيف يعمل نموذج SL2T؟
يعتمد النظام على كاميرا الهاتف لالتقاط حركات المستخدم، لكنه لا يحتاج إلى إرسال تسجيل الفيديو الخام إلى نظام الترجمة.
فبدلا من ذلك، يستخدم نموذج يعمل على الجهاز بالتعاون مع تقنية MediaPipe Holistic لاستخراج بيانات هندسية تمثل مواقع نقاط مختلفة على جسم المستخدم، ثم تُرسل هذه الإحداثيات إلى الخادم لمعالجة عملية الترجمة.
وتقول غوغل إن هذا التصميم يمكن أن يعزز خصوصية المستخدم، لأن الفيديو الأصلي يمكن التخلص منه مباشرة بعد استخراج البيانات اللازمة، بحيث لا يكون من الضروري إرسال التسجيل المرئي بالكامل إلى الخادم.
بعد ذلك، يعالج النموذج سلسلة الإحداثيات الناتجة عن حركات المستخدم ويحولها مباشرة إلى نص مكتوب.
تجاوز مرحلة «الرموز الشارحة»
من أبرز الاختلافات في منهج SL2T أن النموذج لا يعتمد على مرحلة وسيطة تعرف باسم الرموز الشارحة (Glosses)، وهي طريقة تستخدم على نطاق واسع في أبحاث ترجمة لغات الإشارة.
وترى غوغل أن تجاوز هذه المرحلة يسمح للنظام بالتعامل بصورة أفضل مع الخصائص الغنية للغة الإشارة، خصوصا العلامات غير اليدوية والتراكيب المكانية، بدلا من اختزال اللغة في مجموعة من المفردات أو الرموز المحدودة.
وبذلك يحاول النموذج الانتقال مباشرة من الحركة المرئية إلى المعنى المكتوب، وهو نهج يمكن أن يساعد في التعامل مع الجمل والإشارات التي لا يمكن تفسيرها بمجرد مطابقة حركة واحدة بكلمة واحدة.
أكثر من 100 ألف ساعة من بيانات التدريب
تقول غوغل ديب مايند إن SL2T دُرّب على أكثر من 100 ألف ساعة من البيانات التي تغطي أكثر من 50 لغة إشارة، مع تخصيص نحو ربع هذه البيانات للغة الإشارة الأمريكية.
واعتمد التدريب على بيانات متعددة اللغات واللهجات، إلى جانب مستويات مختلفة من إتقان لغة الإشارة، بهدف مساعدة النموذج على اكتشاف الأنماط المشتركة بين لغات الإشارة المختلفة.
وبحسب غوغل، ساعد هذا النهج النموذج على تحقيق نتائج أفضل في تجاربها مقارنة بنماذج جرى تدريبها على لغة إشارة واحدة فقط.
وفي معيار FLEURS-ASL المخصص لتقييم ترجمة لغة الإشارة الأمريكية إلى الإنجليزية، قالت الشركة إن النموذج سجل 70 نقطة في مقياس BLEURT خلال اختبار “صفر-اللقطة” (Zero-shot)، ووصفت النتيجة بأنها تتفوق بفارق كبير على النتائج المنشورة سابقا.
لكن غوغل تؤكد في الوقت نفسه أن نتائج الاختبارات المعملية لا تكفي وحدها للحكم على قدرة النظام في الاستخدام اليومي، حيث تختلف ظروف التصوير وسرعة الإشارات واللهجات وطريقة التعبير بين المستخدمين.
الإشارة بدلا من الكتابة
تتمثل الفكرة الأساسية للتقنية في منح مستخدمي لغة الإشارة وسيلة جديدة للتفاعل مع الهاتف دون الحاجة إلى الكتابة التقليدية.
فبدلا من فتح لوحة المفاتيح وكتابة رسالة أو طلب بحث، يمكن للمستخدم أداء الإشارة أمام الكاميرا، ليقوم النظام بتحويل ما عبّر عنه إلى نص يمكن استخدامه في التطبيقات المختلفة.
وبحسب غوغل، يمكن الاستفادة من هذه الإمكانية في البحث على الإنترنت وكتابة الرسائل والمستندات، إضافة إلى إمكانية توجيه أسئلة إلى Gemini أو إعطائه أوامر لتنفيذ مهام مختلفة.
أما في تطبيق Live Transcribe، فيمكن استخدام لغة الإشارة للرد أثناء المحادثات، بما يقلل الحاجة إلى الاعتماد على الكتابة المتبادلة بين أطراف الحوار.
وتقول الشركة إن بعض المختبرين وجدوا أن استخدام لغة الإشارة الأمريكية كان في بعض السيناريوهات أسرع وأكثر طبيعية من كتابة الجمل باللغة الإنجليزية.
الدقة لا تزال تمثل تحديا
رغم الإمكانات الكبيرة للنظام، لا تدعي غوغل أن SL2T قادر حاليا على ترجمة كل أشكال لغة الإشارة دون أخطاء.
وتظهر بعض الصعوبات عند التعامل مع الإشارات النادرة، والتهجئة السريعة بالأصابع، وبعض التراكيب اللغوية المعقدة، إضافة إلى إشارات لا يمكن فهم معناها بصورة دقيقة من دون معرفة السياق المحيط بها.
كما ركزت غوغل أثناء تطوير النموذج على تقليل زمن الاستجابة، ومنع النظام من إنتاج نص عندما لا يكون المستخدم يؤدي لغة إشارة، وتحسين أدائه مع الأشخاص الذين يستخدمون اليد اليسرى أو يؤدون الإشارات بيد واحدة.
وتكتسب هذه النقطة أهمية عملية، خصوصا عندما يكون المستخدم ممسكا بالهاتف بيد ويستخدم اليد الأخرى للتعبير بلغة الإشارة.
مجتمع الصم جزء من عملية التطوير
تقول غوغل إن تطوير SL2T لم يعتمد على الجوانب التقنية وحدها، بل جرى بالتعاون مع أفراد ومؤسسات من مجتمع الصم منذ مراحل جمع البيانات والاختبار وحتى تقييم تأثير التقنية.
كما تشارك لجنة استشارية تضم منظمات وخبراء من مجتمع الصم في توجيه عملية التطوير، بهدف جعل الأداة أكثر ارتباطا بالاحتياجات الحقيقية للمستخدمين وعدم الاكتفاء بالنتائج التقنية داخل المختبرات.
ويمثل هذا التعاون عاملا مهما في تطوير تقنيات إمكانية الوصول، لأن نجاح نظام ترجمة لغة الإشارة لا يرتبط بدقة التعرف على الحركات فقط، وإنما بقدرته على التعامل مع التنوع الحقيقي في طرق استخدام اللغة.
خطوة جديدة في أدوات إمكانية الوصول
يأتي SL2T ضمن توجه أوسع لدى غوغل لدمج الذكاء الاصطناعي في تقنيات إمكانية الوصول. وكانت الشركة قد طورت سابقا أدوات مثل Live Transcribe وLive Caption لتحويل الكلام إلى نص وتوفير التسميات التوضيحية بصورة مباشرة.
لكن نموذج SL2T يذهب في الاتجاه المعاكس تقريبا؛ فبدلا من الاستماع إلى الكلام وتحويله إلى كلمات مكتوبة، يحاول الهاتف فهم لغة بصرية كاملة وتحويلها إلى نص مفهوم.
ومع إطلاق الدعم الأولي للغة الإشارة الأمريكية على هواتف Pixel 11، ترى غوغل أن هذه ليست سوى المرحلة الأولى من المشروع، مع خطط لإضافة لغات إشارة أخرى وتوسيع نطاق الأجهزة المدعومة.
وقد يتجه التطوير مستقبلا إلى ما هو أبعد من ترجمة الإشارة إلى النص، مع بحث إمكانات تساعد على توليد لغة الإشارة أيضا، بما يفتح الباب أمام تواصل أكثر سلاسة بين مستخدمي لغة الإشارة والأشخاص الذين لا يجيدونها.
