CWU (Context Window Utilization)
Böyük dil modellərində (LLM) verilən sorğunun modelin maksimum yaddaş tutumundan (kontekst pəncərəsindən) nə dərəcədə səmərəli istifadə etdiyini göstərən metrikdir.
CWU = (İstifadə Olunan Token Sayı / Maksimum Kontekst Token Tutumu) * 100Ətraflı İzah
Context Window Utilization (CWU) generativ süni intellekt tətbiqləri hazırlayan mühəndislər üçün vacib bir performans və xərc göstəricisidir. Hər bir LLM-in (məsələn, GPT-4, Claude 3) bir sorğuda qəbul edə biləcəyi maksimum mətn həcmi (token limiti) var. CWU bu limitin nə qədərinin real olaraq istifadə edildiyini göstərir.
CWU-nun həddindən artıq yüksək olması (100%-ə yaxın) həm maliyyə xərclərini artırır (çünki API ödənişləri token sayına görə hesablanır), həm də modelin cavab vermə sürətini (latency) azaldır. Digər tərəfdən, çox aşağı CWU modelin kifayət qədər kontekstual məlumat almadığını və səhv (hallucinatory) cavablar verə biləcəyini göstərir.
CWU-nun optimallaşdırılması prompt mühəndisliyi və RAG (Retrieval-Augmented Generation) sistemlərinin səmərəli qurulması vasitəsilə həyata keçirilir.
Bir hüquq startapı müqavilələri analiz etmək üçün 128,000 token limitli (Maksimum Kontekst) bir LLM API-dan istifadə edir. Bir müqavilə analizi zamanı göndərilən sənəd və sistem təlimatları ümumilikdə 32,000 token tutur (İstifadə Olunan Token). Hesablama: CWU = (32,000 / 128,000) * 100 = 25%. Bu optimal göstəricidir, həm xərc balanslaşdırılıb, həm də model sürətli işləyir.