كيف يعمل ChatGPT؟

يتفاعل كل من Google و Wolfram Alpha و ChatGPT مع المستخدمين عبر حقل إدخال نص في سطر واحد ويقدمون نتائج نصية. يعرض محرك بحث Google نتائج البحث ، وقائمة بصفحات الويب والمقالات التي (نأمل) أن توفر معلومات متعلقة باستعلامات البحث. يقدم Wolfram Alpha بشكل عام إجابات رياضية وبيانات متعلقة بتحليل البيانات.

أيضًا:  كيفية استخدام ChatGPT: كل ما تريد معرفته

على النقيض من ذلك ، يوفر ChatGPT إجابة بناءً على السياق والقصد من وراء سؤال المستخدم. لا يمكنك ، على سبيل المثال ، مطالبة Google بكتابة قصة أو مطالبة Wolfram Alpha بكتابة وحدة رمز ، ولكن يمكن لـ ChatGPT القيام بهذه الأنواع من الأشياء.

في الأساس ، تكمن قوة Google في القدرة على إجراء عمليات بحث هائلة في قاعدة البيانات وتقديم سلسلة من التطابقات. تكمن قوة Wolfram Alpha في قدرته على تحليل الأسئلة المتعلقة بالبيانات وإجراء العمليات الحسابية بناءً على تلك الأسئلة. تكمن قوة ChatGPT في القدرة على تحليل الاستعلامات وإنتاج إجابات ونتائج كاملة بناءً على معظم المعلومات النصية التي يمكن الوصول إليها رقميًا في العالم – على الأقل المعلومات التي كانت موجودة في وقت التدريب قبل عام 2021.

في هذه المقالة ، سنلقي نظرة على كيفية قيام ChatGPT بإنتاج تلك الإجابات الكاملة. سنبدأ بإلقاء نظرة على المراحل الرئيسية لعملية ChatGPT ، ثم نغطي بعض مكونات بنية الذكاء الاصطناعي الأساسية التي تجعل كل شيء يعمل. بالإضافة إلى المصادر المذكورة في هذه المقالة (العديد منها عبارة عن أوراق بحث أصلية وراء كل من التقنيات) ، استخدمت ChatGPT نفسها لمساعدتي في إنشاء هذه الخلفية. سألت عليه الكثير من الأسئلة. تمت إعادة صياغة بعض الإجابات في السياق العام لهذه المناقشة.

المرحلتان الرئيسيتان لعملية ChatGPT

دعنا نستخدم Google كقياس مرة أخرى. عندما تطلب من Google البحث عن شيء ما ، فمن المحتمل أنك تعلم أنه لا – في الوقت الذي تسأل فيه – يخرج ويبحث في الويب بالكامل بحثًا عن إجابات. بدلاً من ذلك ، يبحث Google في قاعدة بياناته عن الصفحات التي تطابق هذا الطلب. لدى Google مرحلتان رئيسيتان بشكل فعال: مرحلة العنكبوت وجمع البيانات ، ومرحلة تفاعل / بحث المستخدم.

أيضًا:  أفضل روبوتات محادثة AI: ChatGPT وبدائل ممتعة أخرى يمكنك تجربتها

بشكل تقريبي ، يعمل ChatGPT بنفس الطريقة. تسمى مرحلة جمع البيانات التدريب المسبق ، بينما تسمى مرحلة استجابة المستخدم الاستدلال. السحر وراء الذكاء الاصطناعي التوليدي وسبب انفجاره فجأة هو أن الطريقة التي يعمل بها التدريب المسبق قد أثبتت فجأة أنها قابلة للتطوير بشكل كبير.

التدريب المسبق للذكاء الاصطناعي

بشكل عام (لأن الدخول في التفاصيل سيستغرق مجلدات) ، فإن الذكاء الاصطناعي يتدرب مسبقًا باستخدام نهجين رئيسيين: تحت الإشراف وغير خاضع للإشراف. بالنسبة لمعظم مشاريع الذكاء الاصطناعي حتى المحصول الحالي من أنظمة الذكاء الاصطناعي التوليدية مثل ChatGPT ، تم استخدام النهج الخاضع للإشراف. التدريب المسبق الخاضع للإشراف هو عملية يتم فيها تدريب النموذج على مجموعة بيانات معنونة ، حيث يرتبط كل إدخال بمخرجات مقابلة.

على سبيل المثال ، يمكن تدريب الذكاء الاصطناعي على مجموعة بيانات لمحادثات خدمة العملاء ، حيث يتم تصنيف أسئلة المستخدم وشكاواه بالردود المناسبة من ممثل خدمة العملاء. لتدريب الذكاء الاصطناعي ، أسئلة مثل “كيف يمكنني إعادة تعيين كلمة المرور الخاصة بي؟” سيتم توفيرها كمدخلات للمستخدم ، وإجابات مثل “يمكنك إعادة تعيين كلمة المرور الخاصة بك عن طريق زيارة صفحة إعدادات الحساب على موقعنا الإلكتروني واتباع المطالبات”. سيتم توفيرها كناتج.

في نهج التدريب الخاضع للإشراف ، يتم تدريب النموذج العام على تعلم وظيفة رسم الخرائط التي يمكنها تعيين المدخلات إلى المخرجات بدقة. غالبًا ما تُستخدم هذه العملية في مهام التعلم الخاضعة للإشراف ، مثل التصنيف والانحدار ووضع العلامات على التسلسل. كما قد تتخيل ، هناك حدود لكيفية توسيع هذا النطاق. يجب على المدربين البشريين أن يذهبوا بعيدًا في توقع جميع المدخلات والمخرجات. قد يستغرق التدريب وقتًا طويلاً جدًا ويكون محدودًا في مجال الخبرة.

ولكن كما تعلمنا ، فإن ChatGPT له حدود قليلة جدًا في مجال الخبرة في الموضوع. يمكنك أن تطلب منه كتابة سيرة ذاتية لشخصية Chief Miles O’Brien من Star Trek ، وجعلها تشرح فيزياء الكم ، وتكتب جزءًا من التعليمات البرمجية ، وتكتب جزءًا قصيرًا من الخيال ، وتقارن الأنماط الحاكمة للرؤساء السابقين للولايات المتحدة. تنص على. سيكون من المستحيل توقع جميع الأسئلة التي سيتم طرحها على الإطلاق ، لذلك لا توجد طريقة لتدريب ChatGPT بنموذج خاضع للإشراف. بدلاً من ذلك ، يستخدم ChatGPT تدريبًا مسبقًا غير خاضع للإشراف – وهذا هو تغيير قواعد اللعبة.

التدريب المسبق غير الخاضع للإشراف هو العملية التي يتم من خلالها تدريب النموذج على البيانات حيث لا يوجد مخرجات محددة مرتبطة بكل إدخال. بدلاً من ذلك ، يتم تدريب النموذج على تعلم البنية الأساسية والأنماط في بيانات الإدخال دون أي مهمة محددة في الاعتبار. غالبًا ما تُستخدم هذه العملية في مهام التعلم غير الخاضعة للإشراف ، مثل التجميع واكتشاف الشذوذ وتقليل الأبعاد. في سياق نمذجة اللغة ، يمكن استخدام التدريب المسبق غير الخاضع للإشراف لتدريب نموذج لفهم بناء الجملة ودلالات اللغة الطبيعية ، بحيث يمكنه إنشاء نص متماسك وذات مغزى في سياق محادثة.

إنه هنا حيث تصبح المعرفة اللامحدودة لـ ChatGPT ممكنة. نظرًا لأن المطورين لا يحتاجون إلى معرفة المخرجات التي تأتي من المدخلات ، فكل ما عليهم فعله هو تفريغ المزيد والمزيد من المعلومات في آلية التدريب المسبق لـ ChatGPT ، والتي تسمى نمذجة لغة المحولات الأساسية.

هندسة المحولات

بنية المحولات هي نوع من الشبكات العصبية المستخدمة لمعالجة بيانات اللغة الطبيعية. تحاكي الشبكة العصبية الطريقة التي يعمل بها الدماغ البشري من خلال معالجة المعلومات من خلال طبقات من العقد المترابطة. فكر في شبكة عصبية مثل فريق الهوكي: لكل لاعب دور ، لكنهم يمررون القرص ذهابًا وإيابًا بين لاعبين ذوي أدوار محددة ، وكلهم يعملون معًا لتسجيل الهدف.

تقوم بنية المحولات بمعالجة تسلسل الكلمات باستخدام ” الانتباه الذاتي ” لتقدير أهمية الكلمات المختلفة في تسلسل عند إجراء التنبؤات. يشبه الانتباه الذاتي الطريقة التي قد ينظر بها القارئ إلى جملة أو فقرة سابقة عن السياق المطلوب لفهم كلمة جديدة في كتاب. ينظر المحول إلى جميع الكلمات في تسلسل لفهم السياق والعلاقات بين الكلمات.

يتكون المحول من عدة طبقات ، لكل منها طبقات فرعية متعددة. الطبقتان الفرعيتان الرئيسيتان هما طبقة الانتباه الذاتي وطبقة التغذية الأمامية. تحسب طبقة الانتباه الذاتي أهمية كل كلمة في التسلسل ، بينما تطبق طبقة التغذية الأمامية تحويلات غير خطية على بيانات الإدخال. تساعد هذه الطبقات المحول في تعلم وفهم العلاقات بين الكلمات في تسلسل.

أثناء التدريب ، يتم إعطاء المحول بيانات الإدخال ، مثل جملة ، ويطلب منه إجراء تنبؤ بناءً على هذا الإدخال. يتم تحديث النموذج بناءً على مدى تطابق توقعه مع الناتج الفعلي. من خلال هذه العملية ، يتعلم المحول فهم السياق والعلاقات بين الكلمات في تسلسل ، مما يجعلها أداة قوية لمهام معالجة اللغة الطبيعية مثل ترجمة اللغة وتوليد النص. دعونا نناقش البيانات التي يتم إدخالها في ChatGPT أولاً ، ثم نلقي نظرة على مرحلة تفاعل المستخدم في ChatGPT واللغة الطبيعية.

مجموعات بيانات التدريب الخاصة بـ ChatGPT

مجموعة البيانات المستخدمة لتدريب ChatGPT ضخمة. يعتمد ChatGPT على بنية GPT-3 (المحولات التوليدية 3). الآن ، الاختصار GPT منطقي ، أليس كذلك؟ إنها توليدية ، بمعنى أنها تولد النتائج ، إنها مدربة مسبقًا ، مما يعني أنها تعتمد على كل هذه البيانات التي تستوعبها ، وتستخدم بنية المحولات التي تزن مدخلات النص لفهم السياق.

تم تدريب GPT-3 على مجموعة بيانات تسمى WebText2 ، وهي مكتبة تضم أكثر من 45 تيرابايت من البيانات النصية. عندما يمكنك شراء محرك أقراص ثابتة بسعة 16 تيرابايت بأقل من 300 دولار ، فقد لا يبدو حجم الهيكل الذي يبلغ 45 تيرابايت بهذا الحجم. لكن النص يشغل مساحة تخزين أقل بكثير من الصور أو الفيديو.

سمحت هذه الكمية الهائلة من البيانات لـ ChatGPT بتعلم الأنماط والعلاقات بين الكلمات والعبارات بلغة طبيعية على نطاق غير مسبوق ، وهو أحد الأسباب التي تجعلها فعالة جدًا في إنشاء ردود متماسكة وذات صلة بالسياق لاستفسارات المستخدم.

بينما يعتمد ChatGPT على بنية GPT-3 ، فقد تم ضبطه بدقة على مجموعة بيانات مختلفة وتم تحسينه لحالات استخدام المحادثة. وهذا يسمح لها بتوفير تجربة أكثر تخصيصًا وجاذبية للمستخدمين الذين يتفاعلون معها من خلال واجهة الدردشة.

على سبيل المثال ، أصدرت OpenAI (مطورو ChatGPT) مجموعة بيانات تسمى Persona-Chat مصممة خصيصًا لتدريب نماذج الذكاء الاصطناعي للمحادثة مثل ChatGPT. تتكون مجموعة البيانات هذه من أكثر من 160.000 حوار بين مشاركين بشريين ، مع تخصيص شخصية فريدة لكل مشارك تصف خلفيته واهتماماته وشخصيته. يتيح ذلك لـ ChatGPT معرفة كيفية إنشاء استجابات مخصصة وذات صلة بالسياق المحدد للمحادثة.

بالإضافة إلى Persona-Chat ، هناك العديد من مجموعات بيانات المحادثة الأخرى التي تم استخدامها لضبط ChatGPT. وفيما يلي بعض الأمثلة على ذلك:

• Cornell Movie Dialogs Corpus : مجموعة بيانات تحتوي على محادثات بين الشخصيات في نصوص الفيلم. يتضمن أكثر من 200000 تبادل حواري بين أكثر من 10000 زوج من شخصيات الفيلم ، تغطي مجموعة متنوعة من الموضوعات والأنواع.
• Ubuntu Dialogue Corpus : مجموعة من الحوارات متعددة الأدوار بين المستخدمين الذين يسعون للحصول على الدعم الفني وفريق دعم مجتمع Ubuntu. يحتوي على أكثر من مليون حوار ، مما يجعله أحد أكبر مجموعات البيانات المتاحة للجمهور للبحث في أنظمة الحوار.
• DailyDialog : مجموعة من الحوارات بين البشر في مجموعة متنوعة من المواضيع ، تتراوح من محادثات الحياة اليومية إلى المناقشات حول القضايا الاجتماعية. يتكون كل حوار في مجموعة البيانات من عدة أدوار ، ويتم تسميته بمجموعة من معلومات المشاعر والمشاعر والموضوع.

بالإضافة إلى مجموعات البيانات هذه ، تم تدريب ChatGPT على كمية كبيرة من البيانات غير المنظمة الموجودة على الإنترنت ، بما في ذلك مواقع الويب والكتب ومصادر النصوص الأخرى. سمح ذلك لـ ChatGPT بالتعرف على بنية وأنماط اللغة بمعنى أكثر عمومية ، والتي يمكن بعد ذلك ضبطها لتطبيقات محددة مثل إدارة الحوار أو تحليل المشاعر.

يعد ChatGPT نموذجًا متميزًا تم تدريبه باستخدام نهج مشابه لسلسلة GPT ، ولكن مع بعض الاختلافات في البنية وبيانات التدريب. يحتوي ChatGPT على 1.5 مليار معلمة ، وهو أصغر من 175 مليار معلمة لـ GPT-3. بشكل عام ، تكون بيانات التدريب المستخدمة لضبط ChatGPT ذات طبيعة محادثة بشكل دقيق ومنسقة خصيصًا لتضمين الحوارات بين البشر ، مما يسمح لـ ChatGPT بتعلم كيفية إنشاء استجابات طبيعية وجذابة في تنسيق محادثة.

فكر في تدريب ChatGPT غير الخاضع للإشراف بهذه الطريقة: لقد تم تغذية الكثير من البيانات وتركها لأجهزتها الخاصة للعثور على الأنماط وفهم كل ذلك. هذه هي الآلية التي سمحت لأنظمة الذكاء الاصطناعي التوليدية الجديدة بالتوسع بسرعة. بينما يتم تنفيذ العبء الثقيل للذكاء الاصطناعي التوليدي الخاص بـ ChatGPT عن طريق التدريب المسبق ، يجب أيضًا أن يكون قادرًا على فهم الأسئلة وبناء إجابات من كل تلك البيانات. يتم ذلك من خلال مرحلة الاستدلال التي تتكون من معالجة اللغة الطبيعية وإدارة الحوار.

ماذا عن مشاركة الإنسان في التدريب المسبق؟

على الرغم من قابلية التوسع المتأصلة في التدريب المسبق غير الخاضع للإشراف ، هناك بعض الأدلة على أن المساعدة البشرية ربما تكون قد شاركت في إعداد ChatGPT للاستخدام العام. كان الكشف الكبير في مقال في مجلة تايم الذي ناقش استخدام “ملصقات البيانات” البشرية التي تكسب ما بين 1.32 دولار و 2 دولار في الساعة في كينيا. وفقًا لتقرير TIME ، كان من مسؤولية هؤلاء العمال فحص محتوى الإنترنت المرعب والصريح جنسيًا لوضع علامة عليه لتدريب ChatGPT.

ينص مقال آخر ، نُشر في Martechpost ، نشرة إخبارية للذكاء الاصطناعي ، على أن نموذج اللغة الكبير تم تدريبه باستخدام عملية تسمى التعزيز التعلم من ردود الفعل البشرية (RLHF). وفقًا للمقال ، “تضمنت عملية التدريب نموذجًا أوليًا دقيقًا باستخدام التعلم الخاضع للإشراف ، حيث يلعب المدربون البشريون دور المستخدم ومساعد الذكاء الاصطناعي”.

هناك بعض التفاصيل الدقيقة هنا ، عندما يتعلق الأمر بما تعنيه كلمة “تدريب”. وفقًا لـ ChatGPT نفسها ، “لم تستخدم OpenAI التعلم المعزز مع التغذية المرتدة البشرية لتدريبني. بدلاً من ذلك ، تم تدريبي مسبقًا باستخدام مجموعة من تقنيات التعلم غير الخاضعة للإشراف والإشراف ، مثل نمذجة اللغة والتشفير التلقائي والتنبؤ بالتسلسل. تضمن التدريب معالجة كميات هائلة من البيانات النصية من الإنترنت ، مما سمح لي بتعلم الأنماط والعلاقات بين الكلمات والعبارات “.

تابع الذكاء الاصطناعي ، “ومع ذلك ، بمجرد تدريبي مسبقًا ، يمكن للباحثين والمطورين استخدام التعلم المعزز مع ردود الفعل البشرية لضبط عملي لمهام أو مجالات محددة ، مثل الإجابة على الأسئلة أو إنشاء نص. في هذه الحالات ، يمكن للبشر توفير ردود الفعل في شكل مكافآت أو عقوبات ، والتي يمكن استخدامها لتحديث معلماتي وتحسين أدائي في مهام مماثلة في المستقبل. “

يبدو أن هذا يتناسب مع تقارير Marktechpost و TIME ، حيث أن التدريب الأولي الأولي لم يكن خاضعًا للإشراف ، مما يسمح بتغذية كمية هائلة من البيانات في النظام. ولكن في بناء استجابات الحوار التي تتواصل مع المستخدمين (المزيد حول ذلك أدناه) ، يبدو أن محركات الاستجابة قد تم تدريبها على كل من أنواع الردود ، وتم تدريبها على تصفية المواد غير الملائمة – ويبدو أن هذا التدريب كان بمساعدة بشرية.

لقد تواصلت مع OpenAI (صانع ChatGPT) للتوضيح ، لكن لم أتلق ردًا بعد. إذا عادت الشركة إليّ (خارج ChatGPT نفسها) ، فسوف أقوم بتحديث المقالة بإجابتها.

معالجة اللغة الطبيعية

تركز معالجة اللغة الطبيعية (NLP) على تمكين أجهزة الكمبيوتر من فهم اللغة البشرية وتفسيرها وتوليدها. مع النمو المتسارع للبيانات الرقمية والاستخدام المتزايد لواجهات اللغة الطبيعية ، أصبحت البرمجة اللغوية العصبية (NLP) تقنية مهمة للعديد من الشركات. يمكن استخدام تقنيات البرمجة اللغوية العصبية لمجموعة واسعة من التطبيقات ، بما في ذلك تحليل المشاعر وروبوتات المحادثة والتعرف على الكلام والترجمة. من خلال الاستفادة من البرمجة اللغوية العصبية ، يمكن للشركات أتمتة المهام وتحسين خدمة العملاء واكتساب رؤى قيمة من ملاحظات العملاء ومنشورات الوسائط الاجتماعية.

أحد التحديات الرئيسية في تنفيذ البرمجة اللغوية العصبية هو التعامل مع تعقيد وغموض اللغة البشرية . تحتاج خوارزميات البرمجة اللغوية العصبية إلى التدريب على كميات كبيرة من البيانات من أجل التعرف على الأنماط وتعلم الفروق الدقيقة في اللغة. كما يجب تحسينها وتحديثها باستمرار لمواكبة التغييرات في استخدام اللغة وسياقها.

تعمل التقنية عن طريق تقسيم مدخلات اللغة ، مثل الجمل أو الفقرات ، إلى مكونات أصغر وتحليل معانيها وعلاقاتها لتوليد رؤى أو ردود. تستخدم تقنيات البرمجة اللغوية العصبية مجموعة من التقنيات ، بما في ذلك النمذجة الإحصائية والتعلم الآلي والتعلم العميق ، للتعرف على الأنماط والتعلم من كميات كبيرة من البيانات من أجل تفسير اللغة وتوليدها بدقة.

إدارة الحوار

ربما لاحظت أن ChatGPT يمكنه طرح أسئلة متابعة لتوضيح نيتك أو فهم احتياجاتك بشكل أفضل ، وتقديم ردود مخصصة تأخذ في الاعتبار سجل المحادثة بالكامل. هذه هي الطريقة التي يمكن بها لـ ChatGPT إجراء محادثات متعددة الأدوار مع المستخدمين بطريقة تبدو طبيعية وجذابة. يتضمن استخدام الخوارزميات وتقنيات التعلم الآلي لفهم سياق المحادثة والحفاظ عليها عبر عمليات تبادل متعددة مع المستخدم.

تعد إدارة الحوار جانبًا مهمًا من جوانب معالجة اللغة الطبيعية لأنها تسمح لبرامج الكمبيوتر بالتفاعل مع الأشخاص بطريقة تبدو وكأنها محادثة أكثر من كونها سلسلة من التفاعلات لمرة واحدة. يمكن أن يساعد ذلك في بناء الثقة والمشاركة مع المستخدمين ، ويؤدي في النهاية إلى نتائج أفضل لكل من المستخدم والمؤسسة التي تستخدم البرنامج.

يرغب المسوقون بالطبع في توسيع كيفية بناء الثقة ، ولكن هذا أيضًا مجال قد يكون مخيفًا لأنه أحد الطرق التي قد يتمكن بها الذكاء الاصطناعي من التلاعب بالأشخاص الذين يستخدمونها.

والآن أنت تعلم

على الرغم من أننا ندفع 2500 كلمة ، إلا أن هذه لا تزال نظرة عامة بدائية للغاية لكل ما يجري داخل ChatGPT. بعد قولي هذا ، ربما تفهم الآن المزيد عن سبب انفجار هذه التكنولوجيا خلال الأشهر القليلة الماضية. مفتاح كل ذلك هو أن البيانات نفسها ليست “خاضعة للإشراف” ، وأن الذكاء الاصطناعي قادر على أخذ ما تم تغذيته وفهمه. رائع حقًا.

في الختام ، قمت بإدخال مسودة من هذه المقالة بأكملها إلى ChatGPT وطلبت من منظمة العفو الدولية وصف المقالة في جملة واحدة. ها أنت ذا:

ChatGPT هو مثل Google وابن عم Wolfram Alpha الذكي الذي يمكنه القيام بأشياء لا يستطيعان القيام بها ، مثل كتابة القصص ووحدات التعليمات البرمجية.

ماذا تعتقد؟ هل تستخدم ChatGPT؟ ما هي الأسئلة التي لا تزال لديك حول كيفية عملها؟ شارك معنا في التعليقات أدناه.