Retrieval Latency (RL)
RAG (Retrieval-Augmented Generation) sistemlərində istifadəçinin sorğusuna cavab hazırlamaq üçün xarici məlumat mənbəyindən (vektor bazasından) məlumatın gətirilməsinə sərf olunan vaxt.
RL = Məlumatın Gətirilməsinin Bitmə Vaxtı - Sorğunun Göndərilmə Vaxtı (Milisaniyə ilə)Ətraflı İzah
LLM-lərin real vaxt məlumatları ilə işləməsini təmin edən RAG sistemlərində sürət ən kritik istifadəçi təcrübəsi göstəricisidir. RL, ümumi cavab müddətinin (end-to-end latency) ən böyük komponentlərindən biridir.
Aşağı retrieval latency əldə etmək üçün vektor indekslərinin optimallaşdırılması, daha sürətli verilənlər bazası provayderlərinin seçilməsi və şəbəkə gecikmələrinin azaldılması lazımdır.
Bir AI müştəri xidmətləri botu istifadəçinin sualına cavab vermək üçün daxili sənədlər bazasında axtarış edir. Sorğu saat 12:00:00.100-də göndərilir və müvafiq sənəd parçaları saat 12:00:00.250-də əldə edilir. RL = 250ms - 100ms = 150 milisaniyə.