تصميم الخرق. دليل الاسترجاع المعزز… | بواسطة ميخائيل أوليزاك

جيناي

دليل لاختيارات تصميم الجيل المعزز للاسترجاع.

يعد بناء أنظمة توليد الاسترجاع المعزز، أو RAGs، أمرًا سهلاً. باستخدام أدوات مثل LamaIndex أو LangChain، يمكنك تشغيل نموذج اللغة الكبير المستند إلى RAG في وقت قصير. بالتأكيد، هناك حاجة إلى بعض الجهد الهندسي لضمان كفاءة النظام وقابليته للقياس بشكل جيد، ولكن من حيث المبدأ، مبنى RAG هو الجزء السهل. ما هو أكثر صعوبة هو تصميم بشكل جيد.

بعد أن قمت مؤخرًا بهذه العملية بنفسي، اكتشفت عدد خيارات التصميم الكبيرة والصغيرة التي يجب اتخاذها لنظام توليد الاسترجاع المعزز. من المحتمل أن يؤثر كل واحد منهم على أداء وسلوك وتكلفة LLM المستندة إلى RAG، أحيانًا بطرق غير واضحة.

دون مزيد من اللغط، اسمحوا لي أن أقدم هذه القائمة – التي ليست شاملة بأي حال من الأحوال ولكن نأمل أن تكون مفيدة – لخيارات تصميم RAG. دعها توجه جهود التصميم الخاصة بك.

يتيح جيل الاسترجاع المعزز لروبوت الدردشة إمكانية الوصول إلى بعض البيانات الخارجية حتى يتمكن من الإجابة على أسئلة المستخدمين بناءً على هذه البيانات بدلاً من المعرفة العامة أو الهلوسة التي يحلم بها.

على هذا النحو، يمكن أن تصبح أنظمة RAG معقدة: نحتاج إلى الحصول على البيانات، وتحليلها إلى تنسيق صديق لروبوتات الدردشة، وإتاحتها وقابلة للبحث فيها لـ LLM، وأخيرًا التأكد من أن chatbot يقوم بالاستخدام الصحيح للبيانات التي كانت موجودة. نظرا للوصول إلى.

أحب أن أفكر في أنظمة RAG من حيث المكونات المصنوعة منها. هناك خمس قطع رئيسية للغز:

• الفهرسة: تضمين البيانات الخارجية في تمثيل المتجهات.
• تخزين: استمرار التضمينات المفهرسة في قاعدة البيانات.
• استرجاع: العثور على القطع ذات الصلة في البيانات المخزنة.
• توليف: توليد إجابات لاستفسارات المستخدم.
• تقييم: تحديد مدى جودة نظام RAG.

وفي بقية هذه المقالة، سنتناول مكونات RAG الخمسة واحدًا تلو الآخر، ونناقش خيارات التصميم، وآثارها والمقايضات، وبعض الموارد المفيدة التي تساعد على اتخاذ القرار.