Ni nini GPU Training Cost Calculator?
▾
Kikokotoo cha Gharama ya Mafunzo ya GPU hukadiria gharama ya kukokotoa wingu kwa mafunzo au kurekebisha miundo ya AI kwenye NVIDIA GPU ikijumuisha A100 (80GB), H100, A10G na L4 kwenye watoa huduma wakuu wa mtandao. AWS inatoa hali za A100 kwa $1.10 hadi $3.00 kwa kila saa ya GPU (p4d), H100 kwa $2.50 hadi $8.00 (p5), huku GCP na Azure zikitoa bei zinazolingana. Watoa huduma za wingu maalum za GPU kama vile Lambda Labs, CoreWeave, na RunPod mara nyingi hutoa punguzo la asilimia 30 hadi 50 kwa kutumia viboreshaji. Kikokotoo hiki ni muhimu kwa uendeshaji wa mafunzo ya wahandisi wa ML, timu za watafiti kukokotoa bajeti kwa ajili ya majaribio, na timu za fedha zinazotabiri gharama za miundombinu ya AI. Kufunza muundo wa kigezo cha 7B kuanzia mwanzo kunahitaji takriban saa 500 hadi 1,000 za A100 za GPU zinazogharimu $1,500 hadi $3,000, huku urekebishaji mzuri wa muundo huo unahitaji saa 10 hadi 50 pekee za GPU zinazogharimu $30 hadi $150. Kuelewa viwango hivi vya gharama husaidia timu kupanga majaribio kwa ufanisi na kuepuka matumizi mabaya kwenye rasilimali zilizotolewa kupita kiasi. Zaidi ya kukokotoa mbichi ya GPU, kikokotoo pia kinaonyesha gharama za uhifadhi wa data ya mafunzo na vituo vya ukaguzi, gharama za mtandao kwa mafunzo yanayosambazwa kwa GPU nyingi, na gharama ya uendeshaji wa mafunzo uliofeli au mdogo ambao unahitaji kuanzishwa upya. Takwimu za tasnia zinaonyesha kuwa asilimia 20 hadi 40 ya bajeti ya jumla ya mafunzo hutumiwa na majaribio ambayo hayatoi miundo inayoweza kutumika, na kuifanya iwe muhimu kwa bajeti ya kurudia na kutofaulu pamoja na uendeshaji uliopangwa wa mafunzo.
Calkulon makes complex calculations simple — built for students and everyday problem-solvers.
Fomula
▾
Gharama ya Mafunzo = Idadi ya GPU x Kiwango cha Saa cha GPU x Saa za Mafunzo + Gharama ya Hifadhi + Gharama ya Mtandao. Kwa mfano, kurekebisha Llama 3 8B kwenye GPU 4 za A100 kwa $2.50/saa kwa saa 8: Gharama ya GPU = 4 x $2.50 x 8 = $80.00. Na $10 katika hifadhi, jumla = $90.00.Maelezo ya kigezo
▾
| Ishara | Jina | Kitengo | Maelezo |
|---|---|---|---|
| G | Idadi ya GPU | GPUs | Hesabu ya vichapuzi vya GPU vilivyotengwa kwa ajili ya kazi ya mafunzo, kubainishwa na ukubwa wa kielelezo, mahitaji ya kumbukumbu, na mkakati wa usambamba unaohitajika. |
| R | Kiwango cha Saa cha GPU | USD per GPU per hour | Gharama ya kukodisha kwa kila GPU kwa saa, inatofautiana kulingana na aina ya GPU, mtoa huduma wa mtandaoni, na kiwango cha bei kutoka $0.50 kwa A10G hadi $8.00 kwa H100 unapohitaji. |
| T | Muda wa Mafunzo | hours | Jumla ya muda wa saa-ukuta kwa utekelezaji wa mafunzo, ambayo inategemea saizi ya seti ya data, usanifu wa muundo, saizi ya bechi na matokeo ya GPU. |
| S | Gharama ya Uhifadhi | USD | Gharama ya kuhifadhi data ya mafunzo, vielelezo vya ukaguzi na vizalia vya programu wakati na baada ya mafunzo, kwa kawaida $5 hadi $200 kulingana na ukubwa wa kielelezo. |
| N_overhead | Uwiano wa Juu ya Mtandao | ratio (0 to 0.15) | Sehemu ya gharama ya ziada ya uunganishaji wa mitandao baina ya nodi katika mafunzo yanayosambazwa, kwa kawaida asilimia 5 hadi 15 ya gharama ya kukokotoa GPU kwa usanidi wa nodi nyingi. |
| F | Kushindwa Kuzidisha | multiplier (1.5 to 3.0) | Kizidishi cha bajeti ili kutoa hesabu ya majaribio ambayo hayajafaulu, urekebishaji wa vigezo vingi, na mafunzo huanza tena, kwa kawaida mara 2 hadi 3 ya gharama ya uendeshaji mmoja. |
Jinsi ya GPU Training Cost Calculator
▾
- 1Chagua aina yako ya GPU kulingana na ukubwa wa kielelezo na mahitaji ya mafunzo. NVIDIA A10G (24GB VRAM) hushughulikia miundo hadi vigezo vya 7B kwa makisio na urekebishaji mzuri wa miundo midogo. A100 80GB ndio kazi bora ya mafunzo na urekebishaji mzuri wa mifano kutoka kwa vigezo vya 7B hadi 70B. H100 inatoa mara 2 hadi 3 ya upitishaji wa mafunzo ya A100 na inapendekezwa kwa mafunzo ya kiwango kikubwa ambapo muda wa kukamilisha ni muhimu. L4 ni chaguo la gharama nafuu kwa uelekezaji na urekebishaji mdogo mdogo.
- 2Bainisha idadi ya GPU zinazohitajika. Kigezo cha 7B kinafaa kwenye A100 80GB moja kwa urekebishaji mzuri. Muundo wa 13B unahitaji 2 A100s. Muundo wa 70B unahitaji 8 A100 au 4 H100 zenye usawa wa tensor. Kwa mafunzo kamili ya awali ya mifano kubwa, makundi ya nodi mbalimbali ya GPU 32 hadi 512 ni ya kawaida. Idadi ya GPU huzidisha moja kwa moja gharama ya kila saa na matokeo ya mafunzo ya kila saa.
- 3Kadiria muda wa mafunzo kulingana na saizi yako ya data, usanifu wa muundo na ukubwa wa kundi. Kurekebisha vizuri muundo wa 7B kwenye mifano 10,000 kwa kawaida huchukua saa 2 hadi 8 kwenye A100 moja. Kufunza muundo wa 7B kuanzia mwanzo kwenye tokeni trilioni 1 kunahitaji takriban saa 20,000 hadi 30,000 za A100 za GPU. Kikokotoo hutumia alama za kawaida za upitishaji (tokeni kwa sekunde kwa kila GPU) kukadiria muda wa mafunzo kutoka kwa saizi yako ya data na vigezo vya muundo.
- 4Chagua mtoa huduma wako wa wingu na kiwango cha bei. Matukio unapohitajika hutoa ubadilikaji wa juu zaidi lakini bei za juu zaidi. Matukio yaliyohifadhiwa (ahadi za mwaka 1 hadi 3) huokoa asilimia 30 hadi 60. Matukio ya doa au yanayowezekana huokoa asilimia 50 hadi 80 lakini yanaweza kukatizwa. Kwa mafunzo yanayoendeshwa chini ya saa 8, matukio ya doa kwa kawaida huwa salama. Kwa uendeshaji wa mafunzo wa siku nyingi, bei inayohitajika au iliyohifadhiwa huepuka hatari na uendeshaji wa sehemu ya ukaguzi-rejesha kutokana na kukatizwa.
- 5Ongeza gharama za kuhifadhi kwa data ya mafunzo, vituo vya ukaguzi vya modeli na vizalia vya matokeo. Sehemu ya ukaguzi ya kigezo cha 70B ni takriban GB 140. Kuhifadhi vituo vya ukaguzi kila hatua 1,000 kwa muda mrefu wa mafunzo kunaweza kukusanya hifadhi ya terabaiti. Hifadhi ya wingu inagharimu $0.02 hadi $0.08 kwa GB kwa mwezi. Hifadhi ya utendaji wa juu ya NVMe iliyoambatanishwa na hali za GPU inagharimu zaidi lakini ni muhimu kwa kasi ya mafunzo. Bajeti ya $50 hadi $200 katika hifadhi kwa miradi ya kawaida ya kurekebisha.
- 6Sababu katika gharama za mitandao kwa GPU nyingi na mafunzo ya nodi nyingi. Mafunzo yaliyosambazwa yanahitaji miunganisho ya kipimo data cha juu (InfiniBand au NVLink). Watoa huduma za wingu kwa kawaida hujumuisha mawasiliano ya GPU ya ndani ya nodi katika bei ya mfano lakini wanaweza kutoza kwa mitandao baina ya nodi. Kwa mafunzo ya nodi nyingi, gharama za mtandao huongeza asilimia 5 hadi 15 juu ya gharama za kukokotoa za GPU.
- 7Hesabu jumla ya bajeti ya mafunzo ikijumuisha majaribio yaliyofeli. Tarajia kukimbia kwa mafunzo 3 hadi 5 ili kufikia vigezo bora zaidi, na kukimbia mapema mara nyingi hukomeshwa baada ya kukamilika kwa asilimia 10 hadi 20 wakati mikondo ya upotezaji inaonyesha muunganisho duni. Bajeti ya mara 2 hadi 3 ya gharama ya utekelezaji mmoja uliofaulu ili kuhesabu majaribio, urekebishaji wa vigezo vya ziada, na kukosekana kwa utulivu wa mara kwa mara wa mafunzo ambayo yanahitaji kuanzishwa upya.
Mifano Iliyotatuliwa
▾
Kurekebisha vizuri muundo wa 8B kwenye A100 moja kwa saa 6 kwa viwango vya Lambda Labs kuna bei nafuu. Gharama ya GPU ya $15 pamoja na hifadhi ya $5 hufanya uundaji wa muundo maalum kufikiwa na wasanidi programu binafsi na timu ndogo.
Kufunza muundo wa kigezo cha 70B kunahitaji GPU 8 za H100 zinazofanya kazi kwa siku 3. Gharama ya GPU ni $2,592 pamoja na $100 katika hifadhi ya vituo vya ukaguzi na data ya mafunzo. Kwa bei ya CoreWeave, hii ni nafuu kwa asilimia 40 kuliko matukio sawa ya AWS, inayoonyesha thamani ya watoa huduma maalum wa wingu wa GPU.
Mazoezi ya mapema ya muundo mkubwa wa lugha kwenye 64 H100 kwa mwezi mmoja hugharimu takriban $161,280 katika komputa ya GPU, $16,128 katika uendeshaji wa mtandao (asilimia 10), na $2,000 katika hifadhi ya utendaji wa juu. Hii inaonyesha kwa nini mashirika yanayofadhiliwa vyema pekee ndiyo yanaweza kutoa mafunzo kwa miundo ya msingi kuanzia mwanzo.
Kwa kutumia matukio ya mara moja kwenye RunPod kwa $0.80 kwa A100 GPU-saa (punguzo la asilimia 70 dhidi ya unapohitaji), urekebishaji mzuri wa saa 12 kwenye GPU 2 hugharimu $19.20 pamoja na $3 katika hifadhi. Matukio ya doa hufanya kazi vizuri kwa urekebishaji mzuri kwa sababu sehemu ya ukaguzi-resume inaweza kushughulikia kukatizwa kwa uendeshaji mdogo.
Matumizi ya vitendo
▾
Maabara za utafiti wa AI hutumia nguzo za H100 kwa miundo ya msingi ya mafunzo ya awali. Timu ya watafiti inayofunza muundo wa kigezo cha 7B kwenye tokeni trilioni 1 hutumia GPU 64 H100 kwa takriban siku 10. Kwa bei iliyohifadhiwa ya $3.50 kwa kila saa ya GPU, hii inagharimu takriban $53,760 pamoja na $5,000 katika kuhifadhi na mitandao. Muundo unaotokana unaweza kusawazishwa na kutumwa kwa programu mahususi, na kupunguza gharama ya mafunzo ya awali katika visa vingi vya utumiaji wa mkondo wa chini.
Huanzisha modeli za chanzo huria kwenye data ya wamiliki ili kuunda bidhaa tofauti za AI. Uanzishaji wa teknolojia ya kisheria huboresha Llama 3 70B kwenye hati 50,000 za kisheria kwa kutumia GPU 8 za A100 kwa saa 48 kwenye Lambda Labs kwa $2.50 kwa kila saa ya GPU, ikitumia $960. Muundo ulioboreshwa huishinda GPT-4o kwenye kazi zao mahususi za uchanganuzi wa kisheria huku ukitumia sehemu ya gharama ya makisio kwa vile wao huipangisha yenyewe.
Timu za Enterprise ML hufunza maono maalum ya kompyuta na miundo ya NLP kwa programu za ndani. Kampuni ya utengenezaji hufunza muundo wa kutambua kasoro kwenye 4 A10G GPU kwa saa 20 kwenye AWS, ikitumia takriban $88. Mtindo huo uliofunzwa umetumwa kwa vituo 15 vya ukaguzi wa kiwanda, na kuchukua nafasi ya mchakato wa ukaguzi wa mikono ambao hapo awali ulihitaji mafundi 30 wa kudhibiti ubora na kuokoa zaidi ya dola milioni 1 kwa mwaka katika gharama za wafanyikazi.
Vikundi vya utafiti wa kielimu hutumia matukio ya spoti ya GPU kutoa mafunzo kwa miundo ya majaribio kuhusu bajeti finyu. Maabara ya utafiti ya chuo kikuu hufunza vibadala vya usanifu mpya kwa kutumia matukio ya RunPod spot A100 kwa $0.80 kwa kila saa ya GPU. Bajeti yao ya kila mwezi ya kukokotoa ya $500 inaweza kutumia takriban saa 625 za GPU, zinazotosha kutoa mafunzo na kutathmini vibadala vya miundo 20 hadi 30. Ushughulikiaji wa kuanza tena kwa sehemu ya ukaguzi huhakikisha kuwa ukatizaji wa doa huongeza juu kidogo.
Hali maalum
▾
Kwa mafunzo yanayohitaji zaidi ya GPU 8 kwenye nodi nyingi, topolojia ya mtandao inakuwa sababu muhimu ya gharama.
Mafunzo ya nodi nyingi yenye Ethernet ya kawaida (Gbps 25) yanaweza kutumia asilimia 30 hadi 50 ya jumla ya muda katika mawasiliano, hivyo kupoteza kwa ufanisi kompyuta ya GPU. Kuboresha hadi InfiniBand (Gbps 400) miunganisho huondoa tatizo hili lakini hugharimu $500 hadi $1,000 kwa mwezi kwa kila nodi katika miundombinu ya ziada. Muda wa mapumziko kwa InfiniBand kwa kawaida huwa zaidi ya GPU 16, ambapo kasi ya mafunzo kutoka kwa mawasiliano bora huhalalisha malipo ya mtandao.
Wakati wa mafunzo kwa usahihi mchanganyiko (FP16 au BF16 na uzani wa FP32), GPU
Wakati wa mafunzo kwa usahihi mchanganyiko (FP16 au BF16 yenye uzani mkuu wa FP32), utumiaji wa GPU na upitishaji bora unaweza kutofautiana kwa mara 1.5 hadi 2 ikilinganishwa na mafunzo kamili ya FP32. Mifumo mingi ya kisasa ya mafunzo ni chaguo-msingi kwa usahihi mseto, lakini mizunguko ya mafunzo iliyosanidiwa kimakosa ambayo inarudi kwa FP32 inaweza kupunguza gharama kwa nusu na maradufu. Thibitisha kila wakati mafunzo yako yanaendeshwa kwa usahihi mchanganyiko kwa kufuatilia utumiaji wa kumbukumbu ya GPU na vipimo vya ishara kwa sekunde.
Kwa mashirika yenye mahitaji endelevu ya GPU (zaidi ya miezi 6), ununuzi
Kwa mashirika yenye mahitaji endelevu ya GPU (zaidi ya miezi 6), ununuzi wa maunzi ndani ya majengo unaweza kuwa nafuu mara 3 hadi 5 kuliko kukodisha kwa wingu juu ya mzunguko wa maisha wa maunzi. NVIDIA A100 80GB inagharimu takriban $15,000 kununua. Katika maisha ya manufaa ya miaka 3, hii itapunguza hadi $0.57 kwa kila saa ya GPU (ikichukuliwa 24/7), ikilinganishwa na $1.50 hadi $3.00 kwa saa katika wingu. Hata hivyo, usanidi wa ndani ya majengo unahitaji gharama za kituo cha data, kupoeza, nishati ($0.10 hadi $0.20 kwa kWh ikiongeza takriban $0.20 kwa kila saa ya GPU), na wafanyakazi wa uendeshaji.
Ulinganisho wa Bei ya Cloud GPU (2025)
▾
| GPU | VRAM | AWS Inapohitajika | Lambda Labs | CoreWeave | Nafasi ya RunPod |
|---|---|---|---|---|---|
| NVIDIA A10G | GB 24 | $1.00/saa | N/A | $0.60/saa | $0.28/saa |
| NVIDIA A100 40GB | GB 40 | $2.10/saa | $1.10/saa | $1.25/saa | $0.69/saa |
| NVIDIA A100 80GB | GB 80 | $3.00/saa | $1.50/saa | $1.75/saa | $0.80/saa |
| NVIDIA H100 80GB | GB 80 | $8.00/saa | $2.49/saa | $2.35/saa | $1.99/saa |
| NVIDIA L4 | GB 24 | $0.80/saa | N/A | $0.40/saa | $0.20/saa |
| NVIDIA L40S | GB 48 | $1.80/saa | N/A | $1.00/saa | $0.54/saa |
Maswali yanayoulizwa mara kwa mara
▾
Je, ni GPU gani nitumie kusawazisha vizuri?
Kwa mifano hadi vigezo 7B, A100 80GB moja inatosha na ina gharama nafuu kwa $1.50 hadi $3.00 kwa saa. Kwa miundo ya 13B hadi 34B, tumia A100s 2 hadi 4. Kwa mifano ya 70B, tumia 4 hadi 8 A100 au 2 hadi 4 H100s. H100 ina kasi mara 2 hadi 3 kwa kila GPU lakini pia ni ghali zaidi, kwa hivyo ni ya gharama nafuu zaidi wakati muda wa mafunzo ni kipaumbele. A10G (24GB) hufanya kazi kwa miundo ya kusawazisha hadi 7B kwa kutumia mbinu kama vile LoRA na QLoRA.
Je, ninakadiriaje muda wa mafunzo kutoka kwa saizi ya hifadhidata?
Fomula isiyo sahihi: Saa za Mafunzo = (Tokeni za Data x Epochs) / (Tokeni kwa Sekunde kwa kila GPU x Idadi ya GPU x 3600). A100 huchakata takriban tokeni 3,000 hadi 5,000 kwa sekunde kwa muundo wa 7B wakati wa kusawazisha. Kwa hivyo seti ya data ya tokeni milioni 10 zaidi ya nyakati 3 kwenye A100 moja: 30M / (4000 x 1 x 3600) = takriban saa 2.1. Kwa mafunzo ya awali, uboreshaji hutofautiana zaidi kulingana na usanifu wa muundo na mipangilio ya uboreshaji.
Je, bei ya sehemu moja ina thamani ya hatari ya kukatizwa?
Kwa uendeshaji mzuri wa chini ya saa 8, matukio ya doa huokoa asilimia 50 hadi 80 na kukatizwa ni nadra (kwa kawaida ni chini ya asilimia 5 kwa saa). Kwa mafunzo ya muda mrefu, uwezekano wa kukatiza huongezeka. Tekeleza uhifadhi wa sehemu ya ukaguzi kila baada ya dakika 30 hadi 60 na uanze upya mantiki kiotomatiki. Uokoaji wa gharama unaotarajiwa kutoka kwa bei ya mahali karibu kila wakati huzidi kiwango cha juu cha kuanza tena mara kwa mara, haswa kwa mizigo ya kazi ambayo huokoa vituo vya ukaguzi mara kwa mara.
Je, watoa huduma maalum wa GPU dhidi ya AWS wana nafuu gani?
Watoa huduma maalum kama vile Lambda Labs, CoreWeave na RunPod kwa kawaida hutoa bei ya chini kwa asilimia 30 hadi 60 kuliko AWS, GCP na Azure kwa maunzi sawa ya GPU. Matukio ya A100 80GB yanagharimu $1.10 hadi $1.50 kwa saa kwenye Lambda Labs dhidi ya $2.50 hadi $3.00 kwenye AWS. Biashara ni kanda chache za kimataifa, timu ndogo za usaidizi, na zana zilizojumuishwa kidogo. Kwa GPU safi ya kukokotoa mzigo wa kazi bila tegemezi changamano za huduma ya wingu, watoa huduma maalum hutoa thamani ya lazima.
Ninaweza kutumia GPU za watumiaji kama RTX 4090 kwa mafunzo?
GPU za watumiaji kama vile RTX 4090 (24GB VRAM) zinaweza kushughulikia urekebishaji mzuri wa miundo hadi vigezo 7B kwa kutumia mbinu za kuhifadhi kumbukumbu kama vile QLoRA. Kwa usanidi wa maabara ya nyumbani, $1,600 RTX 4090 iliyopunguzwa kwa muda wa miaka 2 ya matumizi inagharimu takriban $0.09 kwa kila saa ya GPU, ambayo ni nafuu mara 10 hadi 30 kuliko kukodisha kwa wingu. Hata hivyo, GPU za watumiaji hazina VRAM ya 80GB na miunganisho ya kipimo data cha juu kinachohitajika kwa miundo mikubwa na mafunzo yanayosambazwa ya GPU nyingi.
Ninahitaji VRAM ngapi kwa saizi tofauti za mfano?
Mwongozo mbaya: Muundo wa 7B unahitaji takriban 14GB VRAM kwa makisio na 28GB kwa usanifu kamili (inafaa kwenye A100 80GB moja). 13B inahitaji 26GB kwa makisio na 52GB kwa kusawazisha vyema (A100 mbili). 70B inahitaji 140GB kwa makisio (A100 mbili) na 280GB kwa urekebishaji mzuri kamili (A100s nne). Kutumia LoRA au QLoRA hupunguza urekebishaji mzuri wa VRAM kwa asilimia 60 hadi 80, hivyo kuruhusu muundo wa 7B kusawazishwa vyema kwenye GPU moja ya 24GB.
Makosa ya Kawaida ya Kuepuka
▾
- !Kuchagua GPU Kulingana na Bei Bila Kuzingatia Upitishaji:
- !Kutoweka Bajeti kwa Majaribio Yanayoshindwa:
- !Kuacha Matukio ya GPU Kuendesha Baada ya Mafunzo Kukamilika:
Kidokezo cha Pro
Anza kila wakati na modeli ndogo zaidi inayoweza kutumika na seti ya data ya majaribio yako ya awali, kisha ongeza tu baada ya kuthibitisha mbinu yako. Mbinu ya kawaida ya kupingana ni kutumia $500 kwenye mafunzo ya H100 kabla ya kuthibitisha kwamba bomba la mafunzo, uchakataji wa awali wa data, na mfumo wa tathmini zote zinafanya kazi ipasavyo. Fanya jaribio la moshi la dakika 10 kwenye kitengo kidogo cha data kabla ya kujitolea kwa mafunzo kamili. Uwekezaji huu wa $2 unaweza kuzuia mamia ya dola katika kukokotoa upotevu kutoka kwa hitilafu za bomba.
Je, ulijua?
Mafunzo ya GPT-4 yanaripotiwa kugharimu zaidi ya $100 milioni kwa kukokotoa pekee, kwa kutumia takriban 25,000 A100 GPU kwa siku 90 hadi 100. Kwa bei ya sasa ya H100, mafunzo sawa yanaweza kukamilishwa kinadharia kwa $30 hadi $40 milioni kutokana na uboreshaji wa matokeo ya mara 2 hadi 3, ingawa gharama halisi ya miundo ya mipaka ya mafunzo inaendelea kupanda kadiri ukubwa wa miundo na mizani ya seti ya data inavyoongezeka.
Regional Guides
▾
North America▾
Europe▾
Asia-Pacific▾
Marejeo
Pata Vidokezo vya Hisabati vya Wiki
Jiunge na watumiaji 12,000+ wanaopata vidokezo vya kikokotoo kila wiki.