Model Distillation Efficiency (MDE)
Böyük dil modelinin (LLM) daha kiçik, daha sürətli və daha ucuz bir modelə sıxışdırılması (distillasiyası) zamanı performansın və dəqiqliyin nə dərəcədə qorunduğunu ölçən metrik.
MDE = (Kiçik Modelin Dəqiqliyi / Böyük Modelin Dəqiqliyi) * (Böyük Modelin İnfrastruktur Xərci / Kiçik Modelin İnfrastruktur Xərci)Ətraflı İzah
Süni intellekt və maşın öyrənməsi sahəsində böyük modellərin (məsələn, GPT-4) işlədilməsi olduqca baha başa gəlir. Şirkətlər bu xərcləri azaltmaq üçün böyük modellərin biliklərini daha kiçik modellərə (məsələn, Llama-3-8B) köçürürlər. Model Distillation Efficiency (MDE) bu prosesin həm maliyyə, həm də texniki cəhətdən nə dərəcədə səmərəli olduğunu göstərir.
Yüksək MDE göstəricisi o deməkdir ki, siz modelin ölçüsünü və xərclərini kəskin şəkildə azaltsanız da, onun intellektual qabiliyyətini və cavab keyfiyyətini demək olar ki, qorumusunuz. Bu metrik xüsusilə mobil cihazlarda və ya lokal serverlərdə işləyən AI tətbiqləri hazırlayan startaplar üçün həyati əhəmiyyət kəsb edir.
Mühəndislər bu metrikdən istifadə edərək modelin sıxışdırılma limitlərini təyin edir və lazımsız resurs xərclərinin qarşısını alırlar. MDE-nin optimallaşdırılması istifadəçi təcrübəsini (cavab sürətini) artırarkən, bulud infrastrukturu xərclərini minimuma endirir.
Bir startap müştəri xidmətləri botu üçün böyük modeldən (Dəqiqlik: 95%, Aylıq server xərci: 5000$) istifadə edir. Onlar bu modeli distillə edərək kiçik modelə keçirlər (Dəqiqlik: 90%, Aylıq server xərci: 500$). Hesablama: MDE = (90 / 95) * (5000 / 500) = 0.947 * 10 = 9.47. Bu nəticə göstərir ki, distillasiya prosesi xərcləri 10 dəfə azaltdığı halda, performansı demək olar ki, qoruyub və yüksək səmərəlilik (9.47 əmsalı) əldə edilib.