Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models - Commits · deepseek-ai/Engram
ديب سيك تستكشف ذاكرة شرطية أكثر كفاءة للنماذج اللغوية
يعرض مستودع DeepSeek Engram فكرة "الذاكرة الشرطية عبر البحث القابل للتوسع" كاتجاه جديد لإدخال الندرة في نماذج اللغة الكبيرة. يركز العمل على تمكين النماذج من استدعاء ذاكرة خارجية أو انتقائية بكفاءة بدل الاعتماد على تفعيل كامل المعلمات في كل مرة.
ملخص الذكاء الاصطناعي
- يعرض مستودع DeepSeek Engram فكرة "الذاكرة الشرطية عبر البحث القابل للتوسع" كاتجاه جديد لإدخال الندرة في نماذج اللغة الكبيرة. يركز العمل على تمكين النماذج من استدعاء ذاكرة خارجية أو انتقائية بكفاءة بدل الاعتماد على تفعيل كامل المعلمات في كل مرة.
- إذا أثبت هذا النهج فعاليته، فقد يفتح مساراً لتقليل تكلفة تشغيل نماذج الذكاء الاصطناعي الكبيرة مع الحفاظ على قدراتها أو تحسينها عبر تفعيل موارد الذاكرة عند الحاجة فقط.
- Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models - Commits · deepseek-ai/Engram