قدرة النماذج الكبيرة على معالجة النصوص الطويلة تتطور مجددًا: من 4000 إلى 400000 توكن

تعمل النماذج الكبيرة على تعزيز قدرتها على معالجة النصوص الطويلة بسرعة مذهلة. يبدو أن النصوص الطويلة أصبحت معيارًا جديدًا لمصنعي النماذج الكبيرة.

وفقًا للإحصاءات، هناك حاليًا العديد من شركات النماذج الكبرى ومراكز البحث في الداخل والخارج التي تعتبر توسيع طول السياق اتجاهًا رئيسيًا للتحديث. هذه الشركات في الغالب هي المفضلة في سوق رأس المال، وقد حصلت على استثمارات ضخمة.

تسعى شركات النماذج الكبيرة إلى التغلب على تقنية النصوص الطويلة، ماذا يعني توسيع طول السياق بمقدار 100 مرة؟

على السطح، يعني ذلك أن طول النص القابل للإدخال قد زاد بشكل كبير، وقد تحسنت قدرة النموذج على القراءة بشكل ملحوظ. من القدرة على قراءة مقال قصير فقط في البداية، إلى القدرة الآن على قراءة رواية كاملة.

من منظور أعمق، فإن تقنية النصوص الطويلة تدفع تطبيق النماذج الكبيرة في مجالات متخصصة مثل المالية والقانون والبحث العلمي. هذه المجالات لديها حاجة ملحة لمعالجة الوثائق الطويلة، وتلخيص المحتوى، وفهم القراءة.

ومع ذلك، فإن طول النص ليس كلما زاد كلما كان أفضل. تظهر الدراسات أن دعم النموذج لإدخال سياق أطول لا يعني بالضرورة تحقيق نتائج أفضل، بل الأمر يعتمد على كيفية استخدام النموذج لمحتوى السياق.

حتى الآن، لم تصل الأبحاث المحلية والدولية حول طول النص إلى الحد الأقصى. قد تكون 400,000 توكن مجرد بداية.

لماذا "أقوم بتدوير" النصوص الطويلة؟

أشار مؤسس إحدى شركات النماذج الكبيرة إلى أن الحد من طول المدخلات هو السبب وراء العديد من التحديات التي تواجه تطبيقات النماذج الكبيرة. وهذا هو السبب وراء تركيز العديد من الشركات حاليًا على تكنولوجيا النصوص الطويلة.

تكنولوجيا النص الطويل يمكن أن تحل بعض المشكلات المبكرة للنماذج الكبيرة، وتعزز بعض الوظائف، كما أنها تعتبر تقنية رئيسية لدفع تطبيقات الصناعة إلى الأمام. وهذا يدل على أن تطوير النماذج الكبيرة العامة دخل مرحلة جديدة - من LLM إلى عصر Long LLM.

ستجلب تقنية النصوص الطويلة العديد من ميزات الترقية للنماذج الكبيرة:

• استخراج المعلومات الرئيسية، والتلخيص، والتحليل للنصوص الطويلة جدًا
• تحويل النص مباشرة إلى كود، لتحقيق إعادة إنتاج الأطروحة إلى كود
• إجراء تمثيل الأدوار في سيناريوهات الحوار الطويلة لتحقيق محادثات مخصصة

توضح هذه الوظائف أن روبوتات المحادثة تتجه نحو التخصص والتخصيص والتعمق، ومن المتوقع أن تصبح أداة جديدة لدفع تطبيقات الصناعة.

ومع ذلك، لا يزال هناك مجال لتحسين المحادثات الطويلة. على سبيل المثال، بعض المنتجات لا تدعم الاتصال بالإنترنت للحصول على أحدث المعلومات، ولا يمكن التوقف عن التعديل أثناء عملية التوليد، حتى مع وجود معلومات خلفية، قد تحدث أخطاء.

معضلة "مثلث الاستحالة" للنصوص الطويلة

تواجه تقنية النص الطويل معضلة "مثلث الاستحالة" المتعلقة بطول النص والانتباه والقدرة الحاسوبية:

• كلما كان النص أطول، كان من الصعب جمع الانتباه الكافي
• تحت قيود الانتباه، من الصعب قراءة المعلومات المعقدة بشكل كامل في النصوص القصيرة
• معالجة النصوص الطويلة تتطلب قوة حسابية كبيرة، مما يزيد من التكاليف

هذا يرجع أساسًا إلى هيكل Transformer الذي تتبناه معظم النماذج. حيث إن آلية الانتباه الذاتي فيه تجعل كمية الحسابات تنمو بشكل مربع مع طول السياق.

هناك ثلاث حلول رئيسية حالياً:

1. استخدام أدوات خارجية لمساعدة في معالجة النصوص الطويلة
2. تحسين حساب آلية الانتباه الذاتي
3. استخدام أساليب تحسين النماذج

لا يزال من المستحيل حل "مثلث المستحيل" للنصوص الطويلة بشكل كامل. يحتاج موردو النماذج الكبيرة إلى إيجاد نقطة توازن بين طول النص والانتباه والقدرة الحاسوبية، بحيث يمكنهم معالجة معلومات كافية مع مراعاة كفاءة الحساب وقيود التكلفة.