Context Window Cost Efficiency (CWCE)
LLM (Böyük Dil Modeli) tətbiqlərində istifadə olunan kontekst pəncərəsinin ölçüsü ilə alınan cavabın keyfiyyəti və xərci arasındakı balansı ölçən metrik.
CWCE = (Cavabın Keyfiyyət Skoru [1-10] / Giriş Tokenlərinin Sayı) * 1000Ətraflı İzah
Müasir LLM-lər (məsələn, GPT-4, Claude 3) çox böyük kontekst pəncərələrinə malikdirlər, yəni eyni anda yüzlərlə səhifəlik mətni oxuya bilirlər. Lakin hər bir daxil edilən söz (token) pul deməkdir. Context Window Cost Efficiency (CWCE) daxil edilən böyük həcmli məlumatın alınan cavabın keyfiyyətinə nə dərəcədə dəyər qatdığını ölçür.
Çox vaxt tətbiqlər modelə lazımsız və artıq məlumatlar göndərir, bu isə həm maliyyə xərclərini artırır, həm də modelin diqqətini yayındıraraq cavab keyfiyyətini aşağı salır. CWCE mühəndislərə optimal prompt ölçüsünü və RAG (Retrieval-Augmented Generation) sistemlərində hansı məlumatların göndərilməli olduğunu təyin etməyə kömək edir.
Yüksək CWCE göstəricisi, minimal token istifadəsi ilə maksimum dəqiq və faydalı cavab alındığını göstərir. Bu, AI startaplarının marjalılığını artırmaq üçün ən kritik texniki-iqtisadi göstəricilərdən biridir.
Bir AI sənəd analiz tətbiqi modelə 50,000 tokenlik sənəd göndərir və alınan cavabın keyfiyyəti 8 bal (10 üzərindən) qiymətləndirilir. Hesablama: CWCE = (8 / 50,000) * 1000 = 0.16. Mühəndislər sənədi öncədən təmizləyib yalnız vacib hissələri (5,000 token) göndərirlər və keyfiyyət yenə 8 bal qalır. Yeni Hesablama: CWCE = (8 / 5,000) * 1000 = 1.6. Səmərəlilik 10 dəfə artdı.