CWLR (Context Window Leakage Rate)
Böyük dil modellərində (LLM) daxil edilən geniş kontekst pəncərəsi daxilindəki vacib məlumatların model tərəfindən unudulması və ya nəzərə alınmaması dərəcəsi.
CWLR = (İtirilmiş və ya Nəzərə Alınmamış Faktların Sayı / Ümumi Daxil Edilmiş Faktların Sayı) * 100Ətraflı İzah
LLM-lərin kontekst pəncərələri böyüdükcə (məsələn, 1 milyon token), modelin mətnin ortasında yerləşən məlumatları 'unutması' (needle in a haystack problemi) baş verir. CWLR bu səmərəsizliyi ölçür.
Yüksək CWLR göstəricisi modelin böyük həcmli sənədlərlə işləyərkən kritik detalları qaçırdığını göstərir. Bu, xüsusilə hüquq, maliyyə və tibb kimi sahələrdə fəaliyyət göstərən AI tətbiqləri üçün ciddi risklər yaradır.
Bu metriki azaltmaq üçün RAG (Retrieval-Augmented Generation) sistemləri optimallaşdırılır və ya daha təkmil diqqət (attention) mexanizmlərinə malik modellər seçilir.
Bir hüquqi sənəd analizində LLM-ə 100 fərqli fakt daxil edilib. Model cavab generasiya edərkən bu faktlardan 15-ni tamamilə nəzərə almayıb və ya səhv şərh edib. Hesablama: CWLR = (15 / 100) * 100 = 15%.