谷歌昨晚發(fā)布了全新開源大模型系列Gemma 2，包括Gemma 2 9B和Gemma 2 27B兩款型號(hào)，旨在滿足研究和開發(fā)人員的廣泛需求。Gemma 2系列憑借其參數(shù)小但性能卓越的特點(diǎn)，受到了業(yè)界的廣泛關(guān)注。特別是27B模型，可在單張谷歌云TPU、英偉達(dá)A100 80GB GPU或英偉達(dá)H100 GPU上，以全精度高效運(yùn)行推理，大幅降低了成本。
Gemma 2在設(shè)計(jì)上進(jìn)行了多項(xiàng)創(chuàng)新，包括局部滑動(dòng)窗口和全局注意力、Logit軟上限、RMSNorm歸一化以及分組查詢注意力等技術(shù)，使得模型在保持高性能的同時(shí)，也能在各種硬件上快速推理。此外，Gemma 2還采用了知識(shí)蒸餾技術(shù)，通過向大模型學(xué)習(xí)，實(shí)現(xiàn)了用較少訓(xùn)練數(shù)據(jù)達(dá)到更好效果的目標(biāo)。
Gemma 2的實(shí)用性也得到了充分體現(xiàn)。它輕量級(jí)且開源，兼容多種主流人工智能框架，包括Keras 3.0、vLLM、Gemma.cpp等。此外，Gemma 2還提供了廣泛的示例和教程，方便用戶探索新功能并構(gòu)建自己的應(yīng)用程序。從下個(gè)月開始，Google Cloud客戶還將在Vertex AI上輕松部署和管理Gemma 2。
在安全性方面，谷歌為Gemma 2提供了「負(fù)責(zé)任的生成式AI工具包」，確保用戶在使用模型時(shí)能夠遵循最佳實(shí)踐，降低潛在風(fēng)險(xiǎn)。