منذ فترة شاهدت خط أنابيب استرجاع يُسقط الوثيقة الوحيدة التي كانت تهم. كانت مذكرة تسعير مدفونة في مجموعة من 40 وثيقة، احتلّت بصمت المرتبة الحادية والخمسين بينما كنا نُعيد أعلى 50 نتيجة. لخّص الوكيل الـ49 الأخرى وأرسل رقماً واثقاً إلى عميل. رقم خاطئ. لم يكن الحل نافذة سياق أكبر. كان الحل إصلاح المُرتّب.
أحتفظ بهذه القصة في جيبي كلما أثار أحدهم حماسه تجاه نموذج LLM بسياق 12 مليون رمز، لأن الترويج دائماً هو "ضع كل شيء في الموجّه وسيختفي المشكل." لا يختفي. دعني أشرح لماذا، وما الذي يأتي فعلاً.
أولاً، التنبيه الصادق. لا يوجد نموذج بـ12 مليون رمز مُطلق وقت كتابة هذه السطور. تقف الحدود الأمامية عند مليون رمز — يعمل Claude Opus 4.8 وFable 5 كلاهما بنافذة سياق مليون رمز، وسلسلة Gemini طويلة السياق في نفس النطاق. كل ما يلي تحليل، وليس معياراً أجريته أنا. أُفضّل التفكير في الفيزياء بدلاً من ترديد كلمات مؤتمر.
لماذا يحتاج نموذج LLM بسياق 12 مليون رمز إلى انتباه شبه تربيعي
هذا هو الجدار. يتدرّج الانتباه المعياري مع مربّع طول التسلسل. اضرب مدخلك في اثني عشر ويرتفع تكلفة الانتباه باثني عشر مربّعاً — أي 144 ضعفاً من الحوسبة والذاكرة لمصفوفة الانتباه. لا يمكنك تجاوز ذلك بمزيد من H100. الطريق الوحيد هو تغيير الرياضيات.
هذا هو جوهر خط البحث شبه التربيعي. نماذج فضاء الحالة مثل Mamba، وبدائل الانتباه الخطي والمتفرق، والتكرارات على نمط RWKV، والتصاميم الهجينة التي تُلحق طبقات انتباه حقيقية قليلة بعمود فقري خطي في معظمه. يُفيد بحث Mamba بتدرّج خطي في طول التسلسل وإنتاجية استدلال أعلى بنحو 5 أضعاف مقارنة بالمحوّلات المقارنة، مع ثبات الجودة في التسلسلات ذات الطول المليوني.
لكن الورقة ذاتها صريحة بشأن المشكلة. يلاحظ المؤلفون أن هذه المعماريات "لم تؤدِّ بالقدر نفسه الذي أدّاه الانتباه في طرائق مهمة كاللغة." هذه الفجوة هي كل اللعبة. الانتباه الخطي رخيص لأنه يُكثّف الماضي في حالة ثابتة الحجم، والتكثيف يعني النسيان. السؤال الوحيد المهم هو: هل ينسى ما كنت تحتاجه؟ الهجينة هي الرهان الذكي هنا — احتفظ بطبقات انتباه كاملة قليلة للدقة، وشغّل البقية شبه تربيعياً للحجم الكبير. تخسر الضمان بأن كل رمز يرى كل رمز آخر. عند 12 مليون رمز لم يكن بإمكانك تحمّل هذا الضمان أصلاً.
نمط الفشل الذي لا أحد يُسعّره: تعفّن السياق
لا نستطيع استثمار نوافذ المليون رمز التي لدينا بالكامل. هذا هو الجزء الذي يجعلني متشككاً في إطار "مزيد من السياق يصلح كل شيء."
بحث Chroma حول تعفّن السياق اختبر مجموعة واسعة من النماذج الحدودية ووجد أن الدقة تتراجع مع نمو المدخل، حتى حين تكون النافذة بعيدة عن الامتلاء. أضف رموزاً، اخسر دقة. إنها مشكلة تخفيف الانتباه، لا مشكلة سعة.
العرَض الكلاسيكي هو "ضائع في المنتصف." أظهر Liu وآخرون (2023) أن النماذج تنتبه جيداً لبداية المدخل الطويل ونهايته وبشكل سيئ لما هو مدفون في الوسط، مع انخفاض حاد في الدقة حين يقع الحقيقة المعنية في المكان الخطأ. تخيّل الآن ذلك عند 12 مليون رمز على عمود فقري شبه تربيعي فاقد للبيانات بالتصميم أصلاً. أنت تُراكم النسيان المعماري فوق التخفيف الموضعي.
والاسترجاع ليس استدلالاً — هذا هو الفخ الذي يقع فيه الناس. يمكن للنموذج أن يفوز في اختبار الإبرة في كومة القش، بإيجاد جملة مزروعة في 10 ملايين رمز، ويفشل كلياً في تركيب استنتاج من أربعين حقيقة مبعثرة عبر كومة القش ذاتها. إيجاد حقيقة هو بحث. الاستدلال عبر حقائق كثيرة شيء مختلف وأصعب، والتقييمات الأصعب لسياق طويل مثل NoLiMa، التي تتجاوز مطابقة الكلمات المفتاحية الحرفية، تواصل كشف هذه الفجوة. الفوز في اختبار إبرة بـ12 مليون رمز لا يُخبرك تقريباً بشيء عن قدرة النموذج على التفكير في كومة القش.
جدول زمني واقعي لنموذج LLM بسياق 12 مليون رمز
سألتزم بنطاق، مع التحفّظ بأنني أخطأت في توقعات الجدول الزمني من قبل.
12 إلى 24 شهراً: سياق 12 مليون على مستوى البحث والعرض التوضيحي، معظمه معماريات هجينة، مع تحفظات. استدعاء إبرة قوي، استدلال متقاطع بين الوثائق متذبذب. النوع الذي يؤدي جيداً في المعايير ويخيّب الآمال داخل حلقة وكيلك.
24 إلى 48 شهراً: وصول إنتاجي حيث جودة الاستدلال في العمق جيدة بما يكفي للثقة بها في العمل الحقيقي، وزمن الاستجابة للإدخال المسبق محتمل، والسعر ليست سخيفة. تلك الجملة الأخيرة تحمل معظم الثقل.
الاقتصاد قاسٍ حتى لو نجحت المعمارية. الإدخال المسبق بـ12 مليون رمز هو جدار من الحوسبة قبل أن يُصدر النموذج رمزاً واحداً في المخرج. ثوانٍ إلى دقائق من التأخير، وفاتورة مقابلة. اليوم يُدار Opus 4.8 بـ5 دولارات لكل مليون رمز مدخل. إدخال مسبق بارد بـ12 مليون يكلّف 60 دولاراً في المدخل فقط، في كل مرة، ما لم يُنقذك التخزين المؤقت. يتوقف تخزين الموجّه عن كونه ميزة مرحّباً بها ويصبح حاملاً للحمل. المشكلة أن التخزين المؤقت يُفيد فقط حين يكون بادئتك مستقراً، وفي حلقة الوكيل كثيراً ما لا يكون كذلك.
كيف تُعدّ سير عمل وكيلك
لا تنتظر الـ12 مليون. ابنِ كما لو كانت قادمة وكما لو أنها لن تُنقذك.
توقف عن معاملة نافذة السياق كدرج نفايات. الغريزة ستكون أن تفرغ قاعدة شيفرتك بالكامل، وكل وثيقة، وكامل سجل المحادثة، وتتركها للنموذج ليُرتّب. هكذا تُطلق تعفّن السياق. الفرق التي ستفوز بالنوافذ الكبيرة هي التي انضبطت مع الصغيرة.
بعض الأشياء التي تستحق الفعل الآن. ابنِ استرجاعاً تثق به فعلاً، لكي يرى النموذج الـ50 ألف رمز الصحيحة بدلاً من الـ12 مليون الخاطئة — ونعم، هذا يعني اصطياد الحالة التي يحتل فيها المستند المهم المرتبة الحادية والخمسين. عامل الذاكرة كمستودع صريح يقرأه الوكيل ويكتب فيه، ملفات أو قاعدة بيانات أو ملاحظات منظّمة، لا "قم بالتمرير للأعلى في النص." احذف نتائج الأدوات القديمة ولخّص المهام الفرعية المنجزة لإبقاء مجموعة العمل نحيلة. كل واحدة من هذه المهارات تنتقل معك. لا شيء منها يصبح متقادماً حين تتوسع النافذة.
إن كان وكيلك يعمل فقط لأنك تستطيع حشو كل شيء في موجّه واحد، فنافذة بـ12 مليون رمز لا تُصلح تصميمك. إنها تتيح لك الفشل على نطاق أوسع بتكلفة أعلى.
هل السياق هو عنق الزجاجة؟
لا. وهذا هو الموقف الذي سأدافع عنه.
طول السياق الخام هو رقم على صفحة المواصفات. سهل التسويق، سهل المقارنة باختبار الإبرة، سهل الخلط بينه وبين التقدم. عنق الزجاجة الحقيقي للعمل الوكالي الذي يقوم به معظمكم هو الاسترجاع والذاكرة وتصميم الوكيل. السؤال لم يكن قط "هل يستطيع النموذج استيعاب 12 مليون رمز." إنه "هل يستطيع إيجاد الرموز الصحيحة وتقييمها والاستدلال عليها" — وكومة قش أكبر تجعل ذلك أصعب بالتحديد.
أعطني نموذجاً بـ200 ألف رمز مع استرجاع جراحي على نموذج بـ12 مليون يتعفّن في الوسط. كل يوم في الأسبوع. نموذج LLM بسياق 12 مليون رمز، حين يُطلق، سيكون أداة حقيقية لعدد قليل من المشكلات الحقيقية: تحليل المستودع بالكامل، الوكلاء ذوو الأفق الطويل الذين يحتاجون فعلاً إلى السجل. بالنسبة لمعظم ما تبنيه، ستكون طريقة أغلى ثمناً لارتكاب الخطأ ذاته الذي ارتكبه خط أنابيبي — إرسال الرقم الخاطئ بثقة لأن الصحيح لم يصل قط إلى انتباه النموذج.
السياق ليس الجزء الصعب. تحديد ما يدخل فيه هو العمل كله.