NeMo Guardrails، مجموعة أدوات الأمان النهائية مفتوحة المصدر LLM | بواسطة وينكي جلانتز

استكشاف حالات الاستخدام العملي لـ NeMo Guardrails

فيما يتعلق بموضوع أمان LLM، قمنا باستكشاف أفضل 10 تطبيقات OWASP لتطبيقات LLM وLlama Guard وLighthouz AI حتى الآن من زوايا مختلفة. اليوم، سنستكشف NeMo Guardrails، وهي مجموعة أدوات مفتوحة المصدر طورتها NVIDIA لإضافة حواجز حماية قابلة للبرمجة بسهولة إلى أنظمة المحادثة القائمة على LLM.

كيف تختلف حواجز NeMo Guardrails عن Llama Guard التي تناولناها في مقال سابق؟ دعونا نضعهم جنبًا إلى جنب ونقارن ميزاتهم.

كما نرى، تختلف Llama Guard وNeMo Guardrails بشكل أساسي:

• Llama Guard هو نموذج لغة كبير، تم تحسينه من Llama 2، ونموذج حماية المدخلات والمخرجات. يأتي مع ست فئات غير آمنة، ويمكن للمطورين تخصيص هذه الفئات عن طريق إضافة فئات غير آمنة إضافية لتناسب حالات الاستخدام الخاصة بهم للإشراف على المدخلات والمخرجات.
• NeMo Guardrails عبارة عن مجموعة أدوات أمنية أكثر شمولاً لـ LLM، حيث تقدم مجموعة أوسع من حواجز الحماية القابلة للبرمجة للتحكم في مدخلات ومخرجات LLM وتوجيهها، بما في ذلك الإشراف على المحتوى، وتوجيه الموضوع، الذي يوجه المحادثات نحو موضوعات محددة، ومنع الهلوسة، مما يقلل من توليد الحقائق الواقعية. محتوى غير صحيح أو لا معنى له، وتشكيل الاستجابة.

دعنا نتعمق في تفاصيل التنفيذ حول كيفية إضافة NeMo Guardrails إلى خط أنابيب RAG الذي تم إنشاؤه باستخدامه RecursiveRetrieverSmallToBigPack، حزمة استرجاع متقدمة من LlamaIndex. كيف تعمل هذه الحزمة؟ فهو يأخذ وثيقتنا ويقسمها، بدءًا من الأقسام الأكبر (الأجزاء الأصلية) وتقطيعها إلى أجزاء أصغر (الأجزاء الفرعية). فهو يربط كل قطعة فرعية بوالديها…