محمد السيد علي
مخاوف بشأن موثوقية روبوتات الدردشة وعلى رأسها ChatGPT
منذ أن أصبح ChatGPT متاحًا على نطاق واسع للجمهور، أبهر روبوت الدردشة الشهير القائم على الذكاء الاصطناعي الأشخاص الذين جربوه، لقدرته الهائلة على الراد على جميع الاستفسارات، وكتابة المقالات، وحل المسائل الحسابية المُعقّدة، بل وكتابة الشعر والأغاني، بالإضافة إلى إنشاء محادثات دردشة واقعية ومتماسكة.
في المقابل، ولدّت أدوات الذكاء الاصطناعي أيضًا مخاوف من أنها ستهدد البشرية بلا هوادة.
لكن بحثًا جديدًا صدر مؤخرًا، كشف عن تحدٍ أساسي لتطوير الذكاء الاصطناعي، إذ أصبح ChatGPT أسوأ في حل بعض العمليات الحسابية الأساسية، وفق صحيفة “وول ستريت جورنال”.
وقال الباحثون في جامعة ستانفورد وجامعة كاليفورنيا، بيركلي في الولايات المتحدة، إن التدهور هو مثال على ظاهرة يُعرّفها مطورو الذكاء الاصطناعي باسم “الانجراف”، حيث تؤدي محاولات تحسين جزء واحد من نماذج الذكاء الاصطناعي المُعقدة للغاية إلى جعل أداء الأجزاء الأخرى من النماذج أسوأ.
وقال جيمس زو، الأستاذ في جامعة ستانفورد الذي يعمل في مختبر الذكاء الاصطناعي وأحد مؤلفي البحث الجديد: “تغييره في اتجاه واحد يمكن أن يؤدي إلى تفاقمه في اتجاهات أخرى، ويجعل التحسين المستمر لهذا الروبوت أمرًا صعبًا للغاية”.
تقييم منهجي
ظاهريًا، يمكن أن يكون ChatGPT مدهشًا، وملمًا بأي موضوع، وينتج إجبات بقواعد نحوية لا تشوبها شائبة.
وقد أجرى بعض الأشخاص اختبارات ChatGPT المعيارية التي نجح فيها، لكن في أوقات أخرى، فإن برنامج الدردشة الشهير سوف يفشل حتى في الرياضيات الأساسية.
لذلك، أجرى فريق البحث بجامعة ستانفورد بالتعاون مع باحثين من جامعة كاليفورنيا دراستهم لتقييم أداء ChatGPT بشكل منهجي ومتكرر، لمعرفة كيفية أداء النموذج بمرور الوقت في مجموعة من المهام.
حتى الآن، قاموا باختبار نسختين من ChatGPT: هما الإصدار GPT-3.5 المتاح مجانًا عبر الإنترنت لأي شخص، والإصدار GPT-4، المتاح من خلال اشتراك متميز.
تراجع الأداء
وتضمن الاختبار، تقييم أداء روبوت الدردشة في تحديد ما إذا كان رقم معين هو عدد أولي. هذا هو نوع المسائل الحسابية المعقدة للناس ولكنها بسيطة لأجهزة الكمبيوتر.
لتتبع الأداء، قام الباحثون بتغذية ChatGPT بـ1000 رقم مختلف.
وفي مارس الماضي، حدد GPT-4 المتميز بشكل صحيح ما إذا كانت 84 ٪ من الأرقام أولية أم لا. واعتبر الفريق أن هذا الأداء متواضعا جدًا لجهاز كمبيوتر.
وبحلول شهر يونيو الماضي انخفض معدل نجاحه إلى 51٪.
وعبر 8 مهام مختلفة، أصبح GPT-4 أسوأ في 6 منها. تحسن GPT-3.5 على ستة مقاييس، لكنه ظل أسوأ من أخيه المتقدم في معظم المهام.
ويُظهر البحث أن ChatGPT أصبح أسوأ من الناحية التجريبية في وظائف معينة، بما في ذلك حساب أسئلة الرياضيات والإجابة على الأسئلة الطبية وإنشاء التعليمات البرمجية.
ولم يطرح باحثو جامعة ستانفورد، أسئلة الرياضيات الخاصة بـ ChatGPT فقط، بل طرحوا أسئلة رأي أيضًا، لمعرفة ما إذا كان روبوت الدردشة سيستجيب، بالاعتماد على قاعدة بيانات تضم حوالي 1500 سؤال.
وفي مارس الماضي، أجاب الإصدار GPT-4 من روبوت الدردشة على 98٪ من الأسئلة.
وبحلول شهر يونيو، أعطى إجابات لـ 23٪ فقط، وغالبا ما كان يقدم إجابات موجزة للغاية، قائلا إن السؤال غير موضوعي وبصفته ذكاء اصطناعيا ليس لديه أي آراء.
ورداً على أسئلة حول البحث الجديد، قالت شركة OpenAI التي طورت ChatGPT في بيان: “عندما نصدر إصدارات جديدة من النماذج، فإن أولويتنا القصوى هي جعل النماذج الأحدث أكثر ذكاءً في جميع المجالات. نحن نعمل بجد للتأكد من أن الإصدارات الجديدة تؤدي إلى تحسينات عبر مجموعة شاملة من المهام. ونعمل باستمرار على تحسينها”.
مخاوف بشأن الموثوقية
وتثير نتائج الدراسة مخاوف بشأن موثوقية روبوتات الدردشة الذكية وعلى رأسها ChatGPT، فهو ليس روبوت الدردشة الوحيد الذي يعمل بالذكاء الاصطناعي والذي ثبت أنه يعاني من الانجراف.
وتبين أيضًا أن روبوتات المحادثة الأخرى تتراجع في قدرتها على أداء مهام معينة بمرور الوقت.
ويشير هذا إلى أن روبوتات الدردشة بالذكاء الاصطناعي قد لا تكون موثوقة كما كنا نعتقد في السابق.
لذلك من المهم أن تكون على دراية بإمكانية الانجراف عند استخدام روبوتات الدردشة بالذكاء الاصطناعي.
ظاهرة “الانجراف” وأسبابها
واعتبر جيمس زو أن ظاهرة الانجراف غير المتوقعة، معروفة للباحثين الذين يدرسون التعلم الآلي والذكاء الاصطناعي.
وأضاف: “كان لدينا شك في أنه يمكن أن يحدث، لكننا فوجئنا بمدى سرعة حدوث الانجراف”.
والانجراف هي ظاهرة تحدث عندما ينتج نموذج اللغة مثل ChatGPT نصًا لا يتوافق مع السياق الذي تم تدريبه عليه، وهو نوع من التدهور الذي يمكن أن يحدث في نماذج الذكاء الاصطناعي بمرور الوقت.
ويمكن أن يحدث هذا لأسباب عديدة، مثل:
البيانات غير المتوازنة
إذا تم تدريب نموذج اللغة على مجموعة بيانات تحتوي على عدد كبير من النصوص من نوع معين، فقد يكون أكثر عرضة لإنتاج نص من نفس النوع. على سبيل المثال، إذا تم تدريب نموذج اللغة على مجموعة بيانات تحتوي على عدد كبير من النصوص الإخبارية، فقد يكون أكثر عرضة لإنتاج نص إعلامي.
البيانات غير ذات الصلة
إذا تم تدريب نموذج اللغة على مجموعة بيانات تحتوي على نصوص غير ذات صلة بالسياق الذي تم تدريبه عليه، فقد يكون أكثر عرضة لإنتاج نص غير ذي صلة. على سبيل المثال، إذا تم تدريب نموذج اللغة على مجموعة بيانات تحتوي على نصوص إخبارية ونصوص فنية، فقد يكون أكثر عرضة لإنتاج نص فني غير ذي صلة بالسياق الذي تم تدريبه عليه.
البيانات الضارة
إذا تم تدريب نموذج اللغة على مجموعة بيانات تحتوي على نصوص ضارة، فقد يكون أكثر عرضة لإنتاج نص ضار. على سبيل المثال، إذا تم تدريب نموذج اللغة على مجموعة بيانات تحتوي على نصوص عن الكراهية، فقد يكون أكثر عرضة لإنتاج نص عن الكراهية.
يمكن أن يكون الانجراف مشكلة خطيرة، لأنه يمكن أن يؤدي إلى إنتاج نموذج اللغة لنص غير صحيح أو مضلل أو ضار.
وهناك عدد من الطرق لتقليل خطر الانجراف، مثل أن تتضمن مجموعة البيانات التي يتم تدريب نموذج اللغة عليها عددًا متساوًا من النصوص من كل نوع، وأن تتم إزالة أي بيانات من مجموعة البيانات التي لا تتعلق بالسياق الذي تم تدريب نموذج اللغة عليه، وأن يتم تصفية أي بيانات من مجموعة البيانات التي تحتوي على نص ضار.