1.1GB itu hanya size modelnya mas, untuk kalkulasi minimum memory yang dibutuhkan untuk load model ke memory/vram, sederhananya × 1.2 Tapi itu hanya kalkulasi model loadingnya, untuk jalanin modelnya perlu alokasi kv cache, yang bisa diit

1.*Kalkulasi minimum memory untuk load model:*

- Size model = 1.2 GB

- Minimum memory = 1.2 GB × 1.2 = 1.44 GB

2.*Kalkulasi untuk kv cache:*

- Misalkan kita punya:

- N layers = 24 (contoh)

- N dimension = 2048 (contoh)

- Sequence length = 512 (contoh)

Maka, rumusnya:

\[

\text{kv cache} = N \text{ layers} \times N \text{ dimension} \times 2 \times \text{sequence length}

\]

\[

= 24 \times 2048 \times 2 \times 512

\]

\[

= 24 \times 2048 \times 1024

\]

\[

= 50,331,648 \text{ bytes} \approx 48 MB

\]

Jadi, total memory yang dibutuhkan untuk load model dan kv cache adalah:

- Total = 1.44 GB + 48 MB (0.048 GB) = 1.488 GB

Kalau ada yang mau ditanya lagi, silakan ya, Kak! ????

Baca Artikel Lainnya :

1. iya logx jaringan arbitrum
2. 3zFWS3aAGcuQ6jnM3TScYj73gPzhoF6tCyuyZjMrpump eliza os
3. Threads Golf Club Sesi 2 Thursday, January 23 · 1:00 – 2:00pm Time zone: Asia/Jakarta Google Meet joining info Video call link: https://meet.google.com/amp-mmwr-fjo
4. https://linktr.ee/InspektoratDaerahKabLumajang
5. Makasih banget...????????????