تحقق من الأجهزة المحلية قبل تشغيل النماذج باستخدام llmfit
تحقق من توافق LLM لنظامك قبل تنزيل النماذج الكبيرة: يقوم llmfit بفحص وحدة المعالجة المركزية وذاكرة النظام العشوائية وذاكرة الفيديو لوحدة معالجة الرسوميات لإنتاج درجات توافق لكل نموذج. تم تطويره بواسطة AlexsJones لمستخدمي أدوات المرافق، حيث يدمج الأداة واجهة مستخدم تفاعلية وأداة سطر أوامر آلية لمطابقة الأجهزة المحلية مع مئات النماذج والمزودين. يسلط الضوء على المخاطر المحتملة لنفاد الذاكرة، ويقدم وضع التخطيط لتوقعات الترقية، ويناسب المطورين وهواة الذكاء الاصطناعي الذين يقومون بتنفيذ الاستدلال على الأجهزة المكتبية.
ما الذي تقيسه الأداة وكيف توصي باختيار النموذج
llmfit تفحص وحدة المعالجة المركزية، وذاكرة النظام العشوائية، وذاكرة الفيديو لوحدة معالجة الرسوميات وتقارن هذه القراءات بقاعدة بيانات النماذج، مما ينتج عنه درجة متعددة الأبعاد تشمل الجودة، والسرعة، وملاءمة الذاكرة، وقدرة السياق. تتكامل الأداة مع بيئات التشغيل المحلية مثل Ollama وllama.cpp وMLX وLM Studio، وتتيح لك واجهة المستخدم النصية تصفية وتصفح النماذج المتوافقة قبل بدء تحميلها إلى بيئة التشغيل المختارة.
كيف تتصرف أثناء التحليل وتأثير النظام
يعمل الماسح كأداة طرفية ويكتشف إعدادات متعددة لوحدات معالجة الرسوميات، ويجمع ذاكرة الفيديو NVIDIA عبر nvidia-smi ويدعم AMD وIntel Arc وذاكرة Apple الموحدة. الغرض من التصميم هو استشاري: يتنبأ بخطر نفاد الذاكرة بدلاً من تشغيل النماذج محليًا، لذا فإن تأثير وقت التشغيل الخاص بالأداة محدود بالاستفسارات عن الأجهزة والبحث في قاعدة البيانات بدلاً من الأحمال الاستنتاجية الممتدة.
السلامة والدقة وتقديرات الذاكرة المدركة لـ MoE
تعمل llmfit في وضع القراءة فقط عند اكتشاف الأجهزة وتستخدم تقدير الذاكرة المدركة لـ MoE لأخذ المعلمات النشطة وتحميل الخبراء في الاعتبار، مما ينتج عنه متطلبات أكثر دقة لذاكرة الفيديو مقارنةً بالحاسبات العامة. تقدم الأداة وضع التخطيط لتقدير المواصفات المطلوبة لنموذج مختار وطول السياق، مما يدعم قرارات الترقية الأكثر أمانًا ويتجنب تحميل نماذج كبيرة غير ضرورية.
مناسب لمشغلي الاستدلال المحليين الذين يحتاجون إلى قرارات مستنيرة بشأن الأجهزة
استخدم llmfit إذا كنت تقوم بتشغيل استدلال محلي وتريد تجنب التنزيلات الضائعة وفشل OOM: إنه يوفر درجات توافق ملموسة، ويحفز التنزيلات إلى بيئات التشغيل المحلية، وتوقعات الأجهزة. المساومة الرئيسية هي أنه أداة استشارية وتخطيط بدلاً من بيئة تنفيذ النموذج، لذا لا تزال بحاجة إلى بيئة التشغيل المختارة لأداء الاستدلال والتحقق على الأجهزة الفعلية.
