RAGAS (Retrieval-Augmented Generation Assessment)
RAG (Axtarışla Gücləndirilmiş Nəsil) sistemlərinin performansını, cavabların dəqiqliyini, kontekstə uyğunluğunu və hallüsinasiya dərəcəsini qiymətləndirmək üçün istifadə olunan açıq mənbəli çərçivədir (framework).
Ətraflı İzah
RAG sistemləri xarici məlumat bazalarından məlumat gətirərək LLM-lərin daha dəqiq cavab verməsini təmin edir. Lakin bu sistemlərin keyfiyyətini ölçmək çətindir. RAGAS, 'sadiqlik' (faithfulness), 'cavabın uyğunluğu' (answer relevance) və 'kontekst geri çağırılması' (context recall) kimi metriklər vasitəsilə RAG boru kəmərinin hər bir mərhələsini avtomatik qiymətləndirir.
Bu çərçivə tərtibatçılara imkan verir ki, sistemin istifadəçilərə yalan və ya əlaqəsiz məlumat verməsinin qarşısını alsınlar. RAGAS tətbiq edilmədikdə, süni intellekt tətbiqlərinin etibarlılığı sual altında qalır.
Süni intellekt startapları üçün RAGAS, məhsulun keyfiyyətini sənaye standartlarına uyğunlaşdırmaq üçün əvəzedilməz bir alətdir.
Bir hüquq startapı qanunvericilik sənədlərini təhlil edən RAG əsaslı süni intellekt köməkçisi hazırlayır. RAGAS çərçivəsindən istifadə edərək, sistemin verdiyi cavabların həqiqətən rəsmi qanun mətnlərinə əsaslandığını (sadiqlik) və istifadəçinin sualına tam cavab verdiyini (cavabın uyğunluğu) 0 ilə 1 arasında ballarla qiymətləndirirlər. Əgər sadiqlik balı 0.8-dən aşağı düşərsə, sistem avtomatik xəbərdarlıq verir.