Gemma：谷歌基于 Gemini 技术的开源模型

Gábor Bíró • 2024年2月26日
4 阅读时间

谷歌发布了名为 Gemma 的全新人工智能开源模型系列。Gemma 模型基于与谷歌旗舰模型 Gemini 相同的研究和技术构建，为希望直接使用 AI 模型的开发者和研究人员提供了一种最先进且易于使用的替代方案。

Gemma：谷歌基于 Gemini 技术的开源模型
来源: 作者原创

Gemma 模型的主要特点

  • 模型变体：Gemma 模型提供两种尺寸：Gemma 2B 和 Gemma 7B，均提供预训练和指令微调版本。这些模型设计轻巧，可以在开发者的笔记本电脑或台式电脑上运行，从而可用于广泛的应用，并显著降低了与大型模型相比的入门门槛。

术语“2B”和“7B”表示模型的大小，具体来说是它包含的参数数量。“B”代表十亿，因此“7B”模型大约有 70 亿个参数，而“2B”模型大约有 20 亿个参数。这些参数是模型中的权重，在训练过程中进行优化，并决定模型如何执行诸如语言处理或图像生成之类的任务。通常，参数数量越高，在各种任务中的性能越好，但也需要更多的计算资源。

  • 跨平台和框架兼容性：Gemma 模型支持多框架工具（如 JAX、PyTorch、通过 Keras 3.0 的 TensorFlow），并兼容各种设备，包括笔记本电脑、台式电脑、物联网设备、移动设备和云平台。它们针对 NVIDIA GPU 和 Google Cloud TPU 上的性能进行了优化，确保了广泛的可用性以及同等规模级别中行业领先的性能。
  • 负责任的 AI 工具包：与 Gemma 模型一起，谷歌还发布了负责任的生成式 AI 工具包。该工具包为开发者创建更安全的 AI 应用提供指导和工具，帮助过滤有害的输入/输出，并鼓励负责任的使用和创新，这与谷歌的 AI 原则相一致。
  • 开源模型理念：与一些传统的开源模型不同，Gemma 模型的使用条款允许负责任的商业使用和分发。虽然提供了广泛的访问权限，但这种方法使用的是自定义许可证，而不是标准的 OSI 批准的许可证（如 Apache 2.0）。谷歌旨在在开放访问的好处与减轻滥用风险的需求之间取得平衡，从而在 AI 社区内促进负责任的创新。

术语“最先进的”表示特定领域当前可用的最先进的技术、方法或产品，代表迄今为止实现的最高发展水平。

应用和可访问性

Gemma 模型专为各种基于语言的任务而设计，例如文本生成、摘要、问答和驱动聊天机器人。它们特别适合寻求在更小、更具成本效益的模型中获得高性能的开发者，这些模型可以针对特定需求进行微调。谷歌声称，Gemma 模型尽管尺寸相对较小，但在关键基准测试中显著优于某些更大的模型，同时需要的资源更少。

开发者和研究人员可以通过 Kaggle、Hugging Face、NVIDIA NeMo 和 Google 的 Vertex AI 等平台访问 Gemma 模型。谷歌在 Kaggle 上免费提供 Gemma 访问权限，为 Colab 笔记本电脑提供免费层级，为首次使用 Google Cloud 的用户提供 300 美元的信用额度，研究人员可能有资格获得高达 50 万美元的 Google Cloud 信用额度。

Gemma 和 Gemini 模型对比

  1. 可访问性和用途：

    • Gemini：主要供最终用户通过 Web/移动应用、API 和 Google Vertex AI 访问，用于闭源模型。针对易用性进行了优化，无需直接的模型操作。
    • Gemma：专为开发者、研究人员和企业设计，用于实验、微调和集成到应用中；在特定条款下公开访问，可供下载和修改。

  2. 模型大小和功能：

    • Gemini：一系列更大、功能强大的闭源 AI 模型（Ultra、Pro、Flash），适用于复杂的通用任务，直接与 GPT-4 等模型竞争。
    • Gemma：轻量级开源模型（2B 和 7B 参数），针对聊天机器人、摘要或 RAG 等特定任务进行了优化，在关键基准测试中同等规模级别中表现出色。

  3. 部署和兼容性：

    • Gemini：通常通过 API 访问，最终用户无需本地部署；后端在谷歌的专用数据中心硬件上运行。
    • Gemma：有可能在笔记本电脑、工作站上运行，或轻松部署在 Google Cloud 上（例如 Vertex AI、Google Kubernetes Engine）；针对包括 NVIDIA GPU 和 Google Cloud TPU 在内的各种硬件进行了优化。

  4. 许可和理念：

    • Gemini：闭源模型，通过 API 和 Google 产品限制访问。
    • Gemma：“开源模型”，其使用条款允许负责任的商业使用和分发，强调在开放访问和降低风险之间取得平衡，而不是完全宽松的开源许可证。

  5. 用例：

    • Gemini：最适合最高性能需求、通过 API 易于使用、复杂推理、多轮对话、通用知识任务，而无需自定义基础设施。
    • Gemma：非常适合需要模型定制/微调、更低成本、更低延迟、设备上或本地部署需求（由于隐私或离线要求）、研究和教育的任务。

谷歌的战略转向

Gemma 的发布标志着谷歌在 AI 领域向拥抱开源模型迈出了重要的战略转向。此举被广泛视为对开发者和研究社区对可访问、高质量 AI 模型日益增长的需求的回应，部分原因是 Meta (Llama) 和 Mistral AI 等竞争对手的开源模型的成功。这是谷歌在更广泛的 AI 生态系统中促进创新、协作和捕获开发者思维份额的一种方式。通过将 Gemma 作为开源模型提供，谷歌旨在赋能开发者和研究人员在其技术基础上进行构建，同时坚持其对负责任的 AI 开发的承诺。

Gábor Bíró • 2024年2月26日