
تدريب إضافي لنموذج LLM بحجم 0.8B من أجل RAG بـ20 لغة: الدقة من 74% إلى 94%، و7 ثوانٍ لكل سؤال على CPU
أردت نموذجًا متعدد اللغات لـRAG يعمل على المعالج CPU. تعطيه نصًا وتسأله، فيجيب من داخل النص. وإذا لم تكن الإجابة موجودة فيه، فلا يختلقها بل يرفض قائلاً: «لا توجد إجابة». لذلك جرّبت بناء نموذج كهذا عبر تدريب إضافي لـQwen3.5 بحجم 0.8B (800 مليون معلَمة). والهدف هو 20 لغة.
الخلاصة أولًا.
- ارتفعت الدقة من 73.8% إلى 93.8%. اقتربت بفارق نقطة واحدة فقط من Qwen3-4B غير المدرَّب إضافيًا (94.7%)، رغم أنه أكبر بخمسة أضعاف
- أكثر ما تحسن هو مشكلة «الاختلاق». كان نموذج 0.8B الأصلي يجيب بشيء ما في قرابة 40% من الحالات عندما يُعطى نصًا طويلًا لا يحتوي على إجابة
- 7 ثوانٍ لكل سؤال على CPU. من قراءة نص بنحو 2,500 رمز إلى تقديم الإجابة. أما 4B فيستغرق 60 ثانية
- لم أتجاوز 95%. حتى بعد تغيير معدل التعلّم وعدد الدورات وكمية البيانات، توقفت النتيجة عند 94%. يبدو أن هذا حد حجم 0.8B
ما الذي قِسته
أنشأت مسائل من ويكيبيديا بـ20 لغة (منها اليابانية والإنجليزية والصينية والكرواتية والهندية). ولكل سؤال، أقدّم أربعة أنواع من النصوص وأطلب الإجابة.
- فقرة: فقرة قصيرة تتضمن الإجابة
- سياق طويل: نص من عدة آلاف من الرموز، أُدمجت فيه الفقرة الحاوية للإجابة ضمن مقالات غير ذات صلة
- بلا إجابة (قصير وطويل): نص لا يحتوي على الإجابة. وتُعد الإجابة صحيحة إذا رفض النموذج وقال «لا توجد إجابة»
أسمي متوسط هذه الأنواع الأربعة «معدل الدقة». أنشأ Qwen3-32B الأسئلة وقيّمها. وللتأكد من أن التقييم ليس منحازًا إلى Qwen، أعدت التقييم باستخدام gpt-oss-120b من عائلة مختلفة، فكان الفارق ضمن 0.5 نقطة.
وتحققت أيضًا من خلال مسائل بأنماط مختلفة.
- XQuAD: نسخة بـ8 لغات من أسئلة كتبها بشر
- hr0: اختبار كرواتي أنشأته سابقًا باستخدام نموذج آخر
إذ لا يمكن التمييز بين «التعوّد على ذلك النمط فقط» وبين التحسن الحقيقي إذا اقتصرنا على مسائل مُنشأة بالطريقة نفسها التي أنشأت بها بيانات التدريب.
نموذج 0.8B الأصلي يختلق عندما لا توجد إجابة
عند قياس Qwen3.5-0.8B قبل التدريب الإضافي، كانت النتيجة كما يلي (متوسط 20 لغة).
| فقرة | سياق طويل | بلا إجابة قصير | بلا إجابة طويل |
|---|---|---|---|
| 68.9 | 71.0 | 87.9 | 63.2 |
عند إعطائه نصًا طويلًا بلا إجابة، كان يجيب بشيء ما في قرابة 40% من الحالات. وفي الهندية، لم يحرز سوى 15 نقطة. وهذا مشكلة في RAG.
ما الذي جرّبته
أجريت التدريب على RTX PRO 6000 (96GB) مستأجر من vast.ai.
1. LoRA على بيانات RAG بـ20 لغة
تتكون بيانات التدريب من 20 لغة × 500 سؤال. أنشأت أمثلة تضم الأنواع الأربعة من النصوص، ليصبح الإجمالي 18,025 مثالًا. كانت الإجابة الصحيحة جملة واحدة، وعندما لا توجد إجابة استخدمت العبارة المقررة لـ«لا توجد إجابة» في تلك اللغة.
دورة واحدة باستخدام LoRA (الرتبة 64)، واستغرقت 1.7 ساعة.
| فقرة | سياق طويل | بلا إجابة قصير | بلا إجابة طويل | |
|---|---|---|---|---|
| 0.8B الأصلي | 68.9 | 71.0 | 87.9 | 63.2 |
| بعد LoRA | 91.7 | 89.0 | 98.4 | 93.4 |
بهذا وحده ارتفعت النتائج دفعة واحدة. ارتفع «بلا إجابة طويل» من 63 إلى 93، أي إن الاختلاق صُحّح تقريبًا.
وبالمناسبة، عندما جرّبت مسبقًا نموذج 2B، تحسنت اللغات العشرون جميعها حتى مع التدريب على ثلاث لغات فقط (الكرواتية والألمانية والتركية). يبدو أن ضعف النموذج الأصلي لم يكن في المعرفة أو الفهم القرائي، بل في عادة «الإجابة أو الرفض وفقًا للتعليمات».
2. مع الأسئلة المكتوبة بشريًا، يرفض بسرعة
عند الاختبار على XQuAD، الذي يضم أسئلة كتبها بشر، كثرت الحالات التي يرفض فيها النموذج قائلاً «لا توجد إجابة» رغم وجودها.
على سبيل المثال، حتى عند سؤاله: «ما الاسم الآخر للدوّار؟»، لا تذكر الفقرة سوى «قرص دوّار». في مثل هذه المسائل التي تختلف فيها الصياغة بين السؤال والفقرة، يرفض النموذج الإجابة.
كان السبب في بيانات التدريب. فقد كان Qwen3-32B الذي أنشأ الأسئلة يميل إلى استخدام صياغة الفقرة نفسها في السؤال. لذا يبدو أن النموذج تعلّم أن «يرفض إذا لم يجد الكلمات نفسها».
لذلك طلبت من gpt-oss-120b إنشاء 400 سؤال لكل لغة ببيانات مختلفة الطابع، وأضفتها.
- أسئلة تعيد صياغة ما ورد في الفقرة
- مقتطفات متقطعة تشبه نتائج البحث
- مقالات مربكة ذات صلة بالموضوع لكنها لا تحتوي على الإجابة
- سياقات طويلة من 1K إلى 8K رمز
بهذا ارتفعت نتيجة الفقرات في XQuAD من 79.6 إلى 83.6، والسياق الطويل من 75.5 إلى 79.2. وكان هذا تقريبًا الشيء الوحيد الذي أثّر هذه المرة.
ومن هذه المرحلة فصاعدًا، استخدمت تدريب جميع المعلَمات بدل LoRA. وبالبيانات نفسها، كانت النتائج متقاربة جدًا في الحالتين.
3. ما لم ينجح
| ما الذي جُرّب | النتيجة |
|---|---|
| مضاعفة معدل التعلّم 3 مرات (1e-5 → 3e-5) | ساءت خسارة التحقق بوضوح، فتوقفت |
| التدريب لدورتين | انخفضت خسارة التحقق، لكن الدقة بقيت نفسها. وانخفضت XQuAD قليلًا |
| مضاعفة البيانات مختلفة الطابع | +0.1 في المسائل الخاصة بي. وانخفضت XQuAD وhr0 |
| إضافة أسئلة كتبها بشر (SQuAD وTyDi QA) | نتيجة عكسية. انخفضت «بلا إجابة طويل» في XQuAD من 99.8 إلى 91.2 |
توقعت أن تساعد الأسئلة البشرية، لكن حدث العكس. فـXQuAD مبني من فقرات SQuAD. لذا يبدو أن النموذج تعلّم أن «الفقرة الشبيهة بـSQuAD تعني وجود إجابة». البيانات القريبة جدًا من التقييم خطرة.
4. التكميم إلى Q4 يكلّف نقطة واحدة
بما أن النموذج سيعمل على CPU، حوّلته إلى GGUF في llama.cpp وكمّمته.
في 2B، لم ينخفض الأداء تقريبًا حتى مع Q4_K_M. أما 0.8B فانخفض بنحو نقطة واحدة. كلما صغر النموذج، أصبح أضعف أمام التكميم. وعند استخدام Q6_K أو Q8_0 عاد الأداء، وبلغ 95.4 في المسائل الكرواتية.
النتائج
قارنت النسخة النهائية من 0.8B بالنموذج الأصلي وبنماذج أكبر. جميع النتائج هي متوسط الأنواع الأربعة، واستخدمت 0.8B و2B بصيغة مناسبة للـCPU (Q4_K_M).
| النموذج | الحجم | مسائل 20 لغة | XQuAD (أسئلة كتبها بشر) | hr0 |
|---|---|---|---|---|
| Qwen3.5-0.8B (الأصلي) | — | 73.8 | 74.8 | 72.7 |
| 0.8B (تدريب إضافي) | 0.67GB | 93.8 | 89.9 | 90.0 |
| 2B (تدريب إضافي بالطريقة نفسها) | 1.56GB | 96.4 | 92.4 | 93.5 |
| Qwen3-4B-Instruct-2507 (بلا تدريب إضافي) | 2.3GB | 94.7 | 94.0 | 91.2 |
- ارتفع 0.8B بمقدار 20 نقطة، وبقيت نقطة واحدة للوصول إلى 4B. أما 2B فيتجاوز 4B
- في الأسئلة المكتوبة بشريًا (XQuAD)، ما زال متأخرًا عن 4B بأربع نقاط. لم تُعالج بالكامل نقطة الضعف أمام الأسئلة ذات الصياغات المختلفة
- 64% من المسائل التي أخطأ فيها 0.8B يجيب عنها 2B إجابة صحيحة. أما الباقي فأظنه حدًا لحجم النموذج. إذا كانت الدقة أولوية، فاختر 2B
السرعة (CPU حاسوب محمول)
قست الأداء باستخدام 8 خيوط على i7-11800H. ولأن هذا حاسوب محمول ينخفض فيه التردد إلى نحو النصف عند التشغيل الطويل، فهذه أرقام بطيئة نسبيًا.
| قراءة النص (4K رمز) | التوليد | سؤال واحد بسياق طويل | |
|---|---|---|---|
| 0.8B | 314 tok/s | 53 tok/s | نحو 7 ثوانٍ |
| 2B | 97 tok/s | 21 tok/s | نحو 25 ثانية |
| 4B | 42 tok/s | 11 tok/s | نحو 60 ثانية |
أما الفقرة وحدها، فتستغرق أقل من ثانية.
التكلفة
بلغت التكلفة الإجمالية نحو 75 دولارًا على vast.ai. ويشمل ذلك تدريب 2B وإنشاء بيانات التقييم.
الخلاصة
- حتى 0.8B يمكن أن يصل إلى دقة تقارب 94% إذا دُرّب إضافيًا لـRAG. وبالأخص، يكاد يختفي الاختلاق عند غياب الإجابة
- ما أفاد هو زيادة «تنوع» بيانات التدريب. أما الكمية وعدد الدورات ومعدل التعلّم فلم تُجدِ
- للدقة اختر 2B، وللسرعة اختر 0.8B. وأرى أن كليهما عملي أكثر من 4B غير المدرّب إضافيًا



