Model Quantization Efficiency (MQE)
Süni intellekt modellərinin ölçüsünü və hesablama tələblərini azaltmaq üçün tətbiq edilən kvantlaşdırma (quantization) prosesinin səmərəlilik dərəcəsi.
MQE = ((Orijinal Model Ölçüsü - Kvantlaşdırılmış Model Ölçüsü) / Orijinal Model Ölçüsü) * 100Ətraflı İzah
Böyük Dil Modelləri (LLM) və digər neyron şəbəkələri çox böyük yaddaş və hesablama gücü tələb edir. Model kvantlaşdırılması, modelin çəkilərini (weights) yüksək dəqiqlikli formatlardan (məs: FP32) daha aşağı dəqiqlikli formatlara (məs: INT8) keçirərək modelin ölçüsünü kiçildir.
MQE bu kiçilmənin dərəcəsini ölçür. Bu proses modelin mobil cihazlarda və ya daha ucuz serverlərdə sürətli işləməsini təmin edir, lakin eyni zamanda modelin dəqiqliyinin qorunması da nəzarətdə saxlanmalıdır.
70 milyard parametrlik bir LLM modelinin orijinal ölçüsü 140 GB-dır. Kvantlaşdırma tətbiq edildikdən sonra modelin ölçüsü 35 GB-a endirilir. MQE = ((140 - 35) / 140) * 100 = 75%. Bu, modelin yaddaş tələbinin 75% azaldığını göstərir.