إنتاج تطبيق LLM RAG في جانغو – الجزء الأول: الكرفس | بواسطة ون يانغ

أتمتة مهمة Pinecone Daily Upsert مع مراقبة الكرفس والركود

لقد مر وقت طويل منذ آخر منشور لي في LLM وأنا متحمس لمشاركة أن النموذج الأولي الخاص بي قد تم إنتاجه بنجاح كأول برنامج دردشة آلي يعمل بنظام LLM من Outside، وهو Scout. إذا كنت عضوًا في Outside+، فيمكنك التحقق من ذلك على https://scout.outsideonline.com/.

بدأت هذه الرحلة كمشروع فضولي لعطلة نهاية الأسبوع في مارس 2023. خطرت لي فكرة إنشاء برنامج دردشة آلي للأسئلة والأجوبة باستخدام LLMs من OpenAI ومحتوى Outside كقاعدة معرفية. لاحقًا، قمت بمشاركة النموذج الأولي الخاص بي في يوم عرض المنتج الداخلي الخاص بنا، وقد شعرت بسعادة غامرة بسبب الاهتمام الذي نجح في إثارته. سرعان ما أصبح الكشفية مشروعًا رسميًا. في 28 نوفمبر 2023، أطلقنا Scout لعدد محدود من أعضاء Outside+. سريعًا حتى اليوم، 12 أبريل 2024، استخدم بالفعل أكثر من 28.3 ألف مستخدم فريد أداة الذكاء الاصطناعي للرفيق الخارجي هذه.

لا يمكنني أن أكون أكثر امتنانًا لهذه التجربة المذهلة وكنت أخطط لكتابة سلسلة قصيرة لمشاركة بعض الأفكار من وراء الكواليس حول ما يلزم لإضفاء الحيوية على التطبيقات التي تدعم LLM & RAG. لقد خططت حتى الآن لتغطية الأجزاء الثلاثة التالية:

• 🦦 الجزء الأول: أتمتة عمليات التقطيع اليومية لكوز الصنوبر من خلال مراقبة الكرفس والركود
• 🦦 الجزء الثاني: إنشاء LLM Websocket API في Django باستخدام اختبار Postman
• 🦦 الجزء 3: مراقبة تطبيقات LLM باستخدام Datadog: الاختبارات التركيبية وOpenAI وتتبع استخدام Pinecone

ستتعمق هذه المشاركة في الجزء الأول، حيث تقوم بإعداد المهام المجدولة باستخدام Celery Beat لإدراج التضمينات تلقائيًا في قاعدة بيانات متجهات Pinecone. وسنقوم بإعداد تحديثات بطيئة لتسهيل المراقبة. هيا بنا نبدأ!

عادةً ما يكون لدى LLMs تاريخ قطع بيانات التدريب، حيث تم قطع gpt-4-turbo الحالي في 2023 ديسمبر (حتى يوم كتابتي -2024-أبريل). الوعد باستخدام RAG هو أنه يمكننا تزويد LLMs بمزيد من البيانات الجديدة والخاصة بالمجال لتقليل الهلوسة وتحسين تجربة المستخدم. وهكذا السؤال: كيف يمكننا أن نحافظ على قاعدة المعرفة حديثة ومحدثة؟ الجواب هو – باستخدام كرفس و فوز الكرفس لجدولة مهمة دورية (يومية أو أسبوعية) لتضمين المنشورات الجديدة…