Google发布了其首个从头使用差分隐私方法训练的语言模型VaultGemma，拥有10亿参数。该模型在序列层级提供了隐私保护，实测显示在50 Token前缀检测下未出现训练样本复制现象。Google已将权重发布至Hugging Face和Kaggle。同时，Google还发表了差分隐私语言模型的扩展定律研究，指出差分隐私会扰动传统的规模定律，并提出了在差分隐私条件下维持学习稳定性的优化配置，包括使用较小的模型、放大的批次和适度的迭代次数。为解决DP-SGD的实务挑战，研究团队采用了Poisson取样和Scalable DP-SGD技术。
🔒 **VaultGemma的隐私保护特性**：Google发布的VaultGemma模型是首个从头采用差分隐私（DP）方法训练的10亿参数语言模型。其核心优势在于提供序列层级的隐私保护，这意味着模型在处理文本数据时，能够更精细地控制单个数据点对模型输出的影响。通过实测，研究人员在以50个Token为前缀进行背诵任务检测时，未观察到模型复制训练样本的现象，这有力地证明了其在保护训练数据隐私方面的有效性。
⚖️ **差分隐私语言模型的扩展定律与优化配置**：Google的研究团队深入探讨了差分隐私对大型语言模型扩展定律的影响，发现在引入DP时，传统的“规模越大、表现越好”的规律会受到干扰。为了在DP条件下维持学习的稳定性和性能，研究团队提出了新的优化配置：倾向于使用较小的模型，并显著放大批次大小（batch size），同时配合适度的迭代次数。这种方法与非DP训练模型追求最大模型和最小批次的最佳化配置截然不同，为DP模型训练提供了新的指导方向。
⚙️ **DP-SGD的实务挑战与Scalable DP-SGD技术**：在实际训练VaultGemma的过程中，研究人员面临着差分隐私随机梯度下降（DP-SGD）的挑战。传统的固定批次采样方式不足以提供最佳隐私保护，因此采用了Poisson取样来增加批次的随机性，但这导致了批次大小不一致和训练顺序不可预测的问题。为解决这些效率和隐私上的冲突，研究团队应用了Scalable DP-SGD技术，通过在批次中添加填充或删除数据，将变长批次转换为固定长度，从而在保证隐私会计严谨性的同时，维持了训练流程的稳定性。
📊 **VaultGemma的性能表现与价值定位**：在性能评估方面，VaultGemma在多个标准基准测试上的表现略低于同等规模的非DP版本的Gemma 3 1B，但其性能与5年前的GPT-2 1.5B相当。这表明，尽管当前DP训练在效能上仍存在一定差距，但VaultGemma在问答、推理、阅读理解等基础任务上展现了可用性。VaultGemma的真正价值在于其提供了一个有理论支持、实测验证且公开可用的基础模型，为研究人员和开发者在权衡隐私保护与模型效能之间提供了宝贵的参考点，而非直接与最先进的非DP模型竞争。
Google釋出VaultGemma，這是一個目前最大擁有10億參數，從頭以差分隱私方法訓練的語言模型。該模型的特色在於提供序列層級的隱私保護，實測顯示，在以50 Token前綴檢測背誦時，未觀察到模型複製訓練樣本。Google同步將權重釋出至Hugging Face與Kaggle，方便研究人員與開發者下載與實驗。
Google在推出VaultGemma的同時，同時發表了一項新的研究成果，稱為差分隱私語言模型的擴展定律。研究指出，當在訓練大型語言模型時引入差分隱私，傳統的規模越大、表現越好的定律會受到擾動。
研究團隊以模型大小、迭代次數與雜訊批次比（Noise-batch Ratio）作為主要變數，建構一套能準確預測訓練損失的模型。實驗結果顯示，要在差分隱私的條件下維持學習穩定度，應採用較小的模型，並搭配大幅放大的批次與適當的迭代次數，而該方法有別於一般非差分隱私訓練模型的最佳化配置。
在訓練過程中，Google團隊必須解決差分隱私SGD（DP-SGD）的實務挑戰。傳統的固定批次方式無法提供最佳的隱私保護，因此研究人員改採Poisson取樣，讓每次抽出的批次更隨機，不過，這種方法會導致批次大小不一致，資料處理順序也變得不可預測，增加了訓練的複雜度。
由於要兼顧效率與隱私，研究團隊引入先前提出的Scalable DP-SGD技術，透過在批次中加入填充或刪減的方式，將不同大小的批次轉換成固定大小，確保隱私會計（Privacy Accounting）仍然嚴謹，並讓訓練流程保持穩定。除此之外，團隊還將預訓練序列長度設為1,024 Token，以便能使用更大的批次規模，並延續Gemma 2所採用的資料混合方式。
效能評估顯示，VaultGemma在HellaSwag、BoolQ、PIQA、SocialIQA、TriviaQA與ARC等標準基準測試上的表現，低於同樣規模的非DP版本Gemma 3 1B（10億），但與5年前的GPT-2 1.5B（15億）相當，也就是說，當前差分隱私訓練在效能上仍存在落差，卻也展現了模型在問答、推理、閱讀理解等基礎任務上的可用性。
在隱私單位的選擇上，VaultGemma採序列層級的差分隱私，對應到異質且長度不一的文件組合。官方也提醒，在一些應用情境中，當資料能直接對應至單一使用者，則以使用者層級的差分隱私會更為合適。
VaultGemma的價值不在於與最新非差分隱私模型競爭，而是提供一個有理論支持、實測驗證且公開可用的基礎，讓開發者在隱私保護與效能之間有更明確的參考點。Google此次釋出的模型卡與技術報告，詳細列出隱私會計方式、訓練架構與效能基準，協助研究人員理解當前隱私與效能的權衡。
