Google DeepMind 正式发布 Gemma 4，这是一个包含四个型号的多模态开源模型家族。
四款模型分别为：E2B（2.3B 有效参数）、E4B（4.5B 有效参数）、31B（密集模型）以及 26B A4B（MoE 架构，4B 激活参数）。其中，31B 和 26B A4B 均支持 256K 上下文窗口，并可在单张 H100 GPU 上运行。
从架构上看，Gemma 4（31B）与 Gemma 3（27B）相比变化不大。它延续了独特的 Pre-norm 与 Post-norm 混合设置，以及 5:1 的混合注意力机制（5 层滑动窗口局部注意力 + 1 层全局注意力）。注意力机制仍为经典的分组查询注意力（GQA）。词汇表大小保持在 262K，而上下文长度则从 128K 提升至 256K。
本次发布的主要技术亮点包括：
- 256K 上下文窗口：这是目前开源模型中最大的上下文窗口之一。它允许用户一次性输入整个代码仓库或超长文档，使本地运行的模型能够进行真正的代码分析与长文档处理，而非仅处理片段。
- 原生多模态能力：视觉与音频处理成为标准配置，E2B 和 E4B 小模型甚至支持本地音频处理。这为设备端进行 OCR、图表理解或语音交互等场景提供了实用支持。
- 原生工具调用：模型支持函数调用、结构化 JSON 输出和原生系统指令。这标志着其具备了真正的智能体能力，不仅能进行对话，还能操作工具与调用 API。
这是 Gemma 系列首次实现真正意义上的多模态，支持文本、图像、视频处理，小模型（E2B、E4B）还额外支持音频。
尽管模型参数量看似不大，但其实际性能表现突出。31B 版本在 Arena 排行榜上已位列全球开源模型第三，26B MoE 版本排名第六。更值得注意的是，这些“小”模型在某些任务上的表现可以超越参数量大 20 倍的竞争对手。
在 GPQA Diamond 科学推理基准测试中，Gemma 4 31B 取得了 85.7% 的得分，仅比 Qwen3.5 27B 低 0.1 个百分点。
有趣的是，Gemma 4 仅使用了约 120 万输出 token 就达到了这一性能，而 Qwen 则使用了 150 万，显示出更高的训练效率。
硬件适配方面较为扎实。31B 模型的 bfloat16 权重可放入单张 80GB H100 GPU，量化版本也能在消费级 GPU 上运行。E2B 和 E4B 经过专门优化，据 Google 称已可在 Pixel 手机和 Jetson 设备上离线运行，且延迟极低，为端侧应用提供了更优选择。
生态支持迅速跟进。Transformers、llama.cpp、MLX、transformers.js、Mistral.rs 等主流框架均已第一时间支持 Gemma 4。Hugging Face 的 TRL 也已更新，专门适配了 Gemma 4 的多模态工具调用功能。通过 vLLM，用户可用一条 Docker 命令快速启动服务：
bash
docker run --gpus all
-v ~/.cache/huggingface:/root/.cache/huggingface
--env "HF_TOKEN=$HF_TOKEN"
-p 8000:8000
--ipc=host
vllm/vllm-openai:gemma4
--model google/gemma-4-31B-it
此次发布的另一个重要变化是许可证采用了限制更少的 Apache 2.0，这意味着企业可以更放心地将其用于商业用途。
模型权重现已上传至 Hugging Face。
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：https://www.itsolotime.com/archives/28458
