القاهرة : الأمير كمال فرج.

رغم تدريب برنامج الذكاء الاصطناعي ChatGPT-4 على حوالي 500 مليار كلمة : كل الموسوعة الحرة "ويكيبيديا"، وجميع كتب المجال العام، وكميات ضخمة من المقالات العلمية، والنصوص من العديد من مواقع الويب، إلا أنه يفشل دائما في حل ألغاز لعبة الكلمات المتقاطعة Wordle.

ذكر مايكل جي مادن، من جامعة غالواي في مقال نشره موقع moneycontrol أن "برنامج الدردشة الآلي المعروف باسم ChatGPT، والذي طورته شركة OpenAI، استحوذ على اهتمام الجمهور وخياله. بعض تطبيقات هذه التكنولوجيا مثيرة للإعجاب حقًا، مثل قدرتها على تلخيص الموضوعات المعقدة أو الانخراط في محادثات طويلة".

لذلك ليس من المستغرب أن تسارع شركات الذكاء الاصطناعي الأخرى لإصدار نماذج اللغات الكبيرة الخاصة بها (LLMs) - اسم التكنولوجيا الكامنة في روبوتات المحادثة مثل ChatGPT. سيتم دمج بعض من اللغات الكبيرة LLMs في منتجات أخرى ، مثل محركات البحث.

مع وضع قدراته الرائعة في الاعتبار، قررت اختبار Chatbot على Wordle - لعبة الكلمات المتقاطعة من New York Times - والتي كنت ألعبها منذ بعض الوقت. لدى اللاعبين ستة يذهبون في تخمين كلمة من خمسة أحرف. في كل تخمين، تشير اللعبة إلى الأحرف، إن وجدت ، الموجودة في المواضع الصحيحة في الكلمة.

ولكني اكتشفت أن نموذج لغة كبير مثل ChatGPT-4 يعاني لحل ألغاز الكلمات البسيطة، رغم أن بيانات التدريب تتضمن تقريبًا كل كلمة متاحة له.

أولاً ، اختبرت ChatGPT-4 على ألغاز Wordle حيث كنت أعرف المواقع الصحيحة لحرفين في الكلمة. كان النمط "# E # L #" ، حيث يمثل "#" الأحرف غير المعروفة. كان الجواب كلمة "دقيق".

خمسة من أصل ستة ردود في ChatGPT-4 فشلت في مطابقة النمط. كانت الإجابات: "beryl" و "feral" و "heral" و "merle" و "revel" و "pearl".

مع مجموعات أخرى، وجد روبوت المحادثة أحيانًا حلولًا صالحة. ولكن، بشكل عام فشل. في حالة تطابق الكلمة مع النمط "## OS #" ، وجدت خمسة خيارات صحيحة. ولكن عندما كان النمط "# R # F #" ، اقترح كلمتين بدون الحرف F ، وكلمة - "Traff" - ليست في القواميس.

كتابة قصيدة

برنامج ChatGPT-4 جيد في التعامل مع الأحرف الأولى من الكلمات. طلبت منه أن يكتب قصيدة مكتوب فيها الحرف الافتتاحي لكل سطر "أنا أحب الروبوتات". كانت استجابته جيدة بشكل مدهش.

تتضمن بيانات التدريب الخاصة بـ ChatGPT-4 أعدادًا ضخمة من الكتب المدرسية، والتي غالبًا ما تتضمن مؤشرات أبجدية. كان من الممكن أن يكون هذا كافيًا لـ GPT-4 لتعلم الارتباطات بين الكلمات وحروفها الأولى.

يبدو أيضًا أن الرمز المميز قد تم تعديله للتعرف على طلبات مثل هذه، ويبدو أنه يقسم عبارة مثل "أنا أحب الروبوتات" إلى رموز فردية عندما يقوم المستخدمون بإدخال طلباتهم. ومع ذلك، لم يكن ChatGPT-4 قادرًا على التعامل مع طلبات التعامل مع الأحرف الأخيرة من الكلمات.

يعد ChatGPT-4 سيئًا أيضًا في المتناظرين. عندما طُلب منه إنتاج عبارة متناظرة حول الروبوت ، اقترح "سوت الروبوت ، أوربا" ، والتي لا تتناسب مع تعريف المتماثل وتعتمد على كلمات غامضة.

ومع ذلك، فإن اللغة الكبيرة LLM جيدة نسبيًا في إنشاء برامج كمبيوتر أخرى. وذلك لأن بيانات التدريب الخاصة بها تتضمن العديد من مواقع الويب المخصصة للبرمجة. طلبت من ChatGPT-4 كتابة برنامج لتحديد هويات الحروف المفقودة في Wordle.

البرنامج الأولي الذي أنتجه ChatGPT-4 كان به خطأ فيه. لقد صحح هذا عندما أشرت إليه. عندما قمت بتشغيل البرنامج ، وجد 48 كلمة صالحة تطابق النمط "# E # L #" ، بما في ذلك "يخبر" و "الخلايا" و "مرحبًا". عندما طلبت سابقًا من GPT-4 اقتراح تطابقات لهذا النمط ، وجدت واحدة فقط.

يمكن أن تلعب روبوتات الدردشة بالذكاء الاصطناعي دورًا رئيسيًا في حياتنا. يوفر فهم سبب معاناة ChatGPT-4 مع Wordle رؤى حول كيفية تمثيل اللغات الكبيرة LLM للكلمات والعمل معها - جنبًا إلى جنب مع القيود التي يجلبها ذلك.

وظيفة معقدة

في صميم ChatGPT توجد شبكة عصبية عميقة: وظيفة رياضية معقدة - أو قاعدة - ترسم المدخلات إلى المخرجات. يجب أن تكون المدخلات والمخرجات أرقامًا. نظرًا لأن ChatGPT-4 يعمل مع الكلمات ، فيجب "ترجمتها" إلى أرقام حتى تعمل الشبكة العصبية معها.

يتم تنفيذ الترجمة بواسطة برنامج كمبيوتر يسمى tokenizer، والذي يحتفظ بقائمة ضخمة من الكلمات وتسلسلات الحروف، تسمى "الرموز المميزة". يتم تحديد هذه الرموز بالأرقام. كلمة مثل "صديق" لها معرف رمزي 6756، لذلك يتم تقسيم كلمة مثل "الصداقة" إلى الرمزين "صديق" و "سفينة". يتم تمثيل هذه كمعرفات 6756 و 6729.

لا تتمتع الشبكة العصبية العميقة الموجودة في قلب ChatGPT بإمكانية الوصول إلى الكلمات كنص، لذلك لا يمكنها حقًا التفكير في الأحرف.

عندما يُدخل المستخدم سؤالاً، تُترجم الكلمات إلى أرقام قبل أن يبدأ ChatGPT-4 في معالجة الطلب. لا تستطيع الشبكة العصبية العميقة الوصول إلى الكلمات كنص، لذلك لا يمكنها حقًا التفكير في الأحرف.

الإصلاحات المستقبلية

قد يبدو من المدهش أن نموذج لغة كبير مثل ChatGPT-4 سيكافح لحل ألغاز الكلمات البسيطة أو صياغة متجانسات، نظرًا لأن بيانات التدريب تتضمن تقريبًا كل كلمة متاحة لها.

ومع ذلك، هذا لأنه يجب تشفير جميع مدخلات النص كأرقام والعملية التي تقوم بذلك لا تلتقط بنية الحروف داخل الكلمات. نظرًا لأن الشبكات العصبية تعمل بالأرقام فقط، فلن يتغير شرط تشفير الكلمات كأرقام.

هناك طريقتان يمكن أن تستخدمهما اللغات الكبيرة LLMs في المستقبل للتغلب على هذا. أولاً ، تعرف ChatGPT-4 الحرف الأول من كل كلمة، لذلك يمكن زيادة بيانات التدريب الخاصة بها لتشمل تعيينات لكل موضع حرف داخل كل كلمة في قاموسها.

والثاني هو حل أكثر إثارة وعمومية. يمكن أن تنشئ اللغات الكبيرة LLMs المستقبلية رمزًا لحل مشكلات مثل هذه، كما أوضحت. عرضت ورقة بحثية حديثة فكرة تسمى Toolformer ، حيث يستخدم اللغة الكبيرة LLM أدوات خارجية لتنفيذ المهام حيث يكافحون عادةً ، مثل الحسابات الحسابية.

نحن في الأيام الأولى لهذه التقنيات، ويمكن أن تؤدي مثل هذه الرؤى حول القيود الحالية إلى تقنيات ذكاء اصطناعي أكثر إثارة للإعجاب.