Google-dan istehlakçı dizüstü kompüterlərində işləyə bilən yeni açıq model: Gemma 4 12B

Nisan ayında Apache 2.0 lisenziyası ilə diqqət çəkən açıq model ailəsi Gemma 4-ü təqdim edən Google, indi də Gemma 4 12B ilə qarşımızdadır. Bu model, mobil cihazlar üçün optimallaşdırılmış E2B və E4B variantları ilə daha ciddi işlər üçün nəzərdə tutulmuş 26B Mixture of Experts və 31B Dense modelləri arasında bir boşluğu doldurur.

Gemma 4 12B, mobil versiyalardan daha güclü bir performans təqdim edir və yerli olaraq işlətmək üçün 20 min dollarlıq bir süni intellekt sürətləndiricisinə ehtiyac duymur. 16 GB sistem RAM-i və ya VRAM-i olan bir kompüterdə işləyə bilən bu model, Gemma 4 26B MoE-nin toplam yaddaş izinin təxminən yarısına ehtiyac duyur.

Google-ın açıqlamasına görə, Gemma 4 12B, şirkətin yerli cihazlarda ajansal multimodal intellekti işlətmək üçün ən yeni modelidir. Bu model, Gemma ailəsində yerli səs girişi dəstəyi təqdim edən ilk orta ölçülü seçimdir.

Modelin yeniliklərindən biri Multi-Token Prediction (MTP) dəstəyidir. Gemma 4 12B, yeni hazırlanmış MTP taslaklayıcıları ilə gəlir və bu, modelin bir neçə mümkün tokeni öncədən tahmin etməsini təmin edir, beləliklə gecikməni azaldır.

Gemma 4 12B, multimodalite üçün yeni bir yanaşma ilə gəlir. Şirkət, modelə görmə üçün optimallaşdırılmış bir gömme modulu əlavə etdiyini bildirir, bu da görsel məlumatların uyğun uzamsal fərqliliklə LLM-ə ötürülməsini təmin edir.

Səs tərəfdə isə, Google ənənəvi bir səs kodlama prosesi istifadə etmir. Bunun əvəzinə, inkişaf etdiricilər, xam səs siqnalını metin müəyyən ediciləri üçün istifadə olunan vektorlarla eyni sahəyə yansıtmağın bir yolunu inkişaf etdiriblər.

Gemma 4 12B, orta ölçülü bir model olaraq istehlakçı dizüstü kompüterlərində işləyə bilmək və səs və görüntü girdilərini ayrı kodlayıcılara ehtiyac olmadan birbaşa LLM omurgasına ötürmək qabiliyyəti ilə fərqlənir.

Gemma 4 modelləri, inkişaf etdirici icmasının marağı ilə 150 milyon yükləməni keçib. Yeni modeli sınamaq istəyən inkişaf etdiricilər, LM Studio, Ollama, Google AI Edge Gallery, Google AI Edge Eloquent və LiteRT-LM CLI vasitəsilə Gemma 4 12B-yə daxil ola bilərlər.