LLM Fine-Tuning Cost (LLM İncə Tənzimləmə Xərci)
Mövcud bir böyük dil modelinin (LLM) xüsusi bir sahəyə və ya korporativ məlumatlara uyğunlaşdırılması (fine-tuning) üçün tələb olunan hesablama gücü, infrastruktur və mühəndislik xərclərinin cəmidir.
Fine-Tuning Cost = (GPU Saatı * GPU-nun Saatlıq İcarə Qiyməti) + Data Hazırlığı Xərcləri + Mühəndislik ƏməyiƏtraflı İzah
Açıq mənbəli modelləri (məsələn, Llama-3) şirkətin daxili sənədləri ilə öyrətmək üçün fine-tuning lazımdır. Lakin bu proses ciddi maliyyə resursları tələb edir. GPU (qrafik prosessor) icarəsi bu xərclərin ən böyük hissəsini təşkil edir.
Startaplar üçün bu xərcləri düzgün hesablamaq vacibdir, əks halda layihə yarımçıq qala bilər. LoRA (Low-Rank Adaptation) kimi yeni texnikalar bu xərcləri kəskin şəkildə azaltmağa kömək edir.
Fine-tuning xərcləri həm də məlumatların təmizlənməsi və etiketlənməsi (data labeling) prosesini də əhatə edir.
Bir tibb startapı Llama-3 modelini tibbi diaqnozlar üzrə incə tənzimləmək istəyir. Bunun üçün onlara 100 saatlıq A100 GPU gücü lazımdır. A100 GPU-nun saatlıq icarəsi 3 USD-dir. Məlumatların hazırlanması üçün 1,500 USD xərclənib. Fine-Tuning Cost = (100 * 3) + 1,500 = 1,800 USD (mühəndislik xərcləri xaric).