谷歌开源大模型Gemma，同等体积性能最强，简明Colab使用手册

看了下Gemma的文档，最大的亮点就是易用，比如可以在Colab中直接使用。

1. 有两个模型，2B和7B的，在消费级显卡运行没问题。

2. 对于使用者非常友好，比如可以在Colab中直接运行，跟Hugging face之类的集成也很好，估计会很方便使用。

3. 类似大小的模型里面性能领先，比如Gemma宣称比Llama-2的13B性能还要好。

4. 随便商用。

我就看中了可以在colab 上直接用，真的很方便。

试着用他们的文档测试下。

第一步：使用前的必要设置 

 1/ 获取Gemma访问权限

获取Gemma的访问权限，你得先有一个kaggle账号，如果没有可以先注册一个。

然后登陆kaggle点击这个链接获取Gemma的访问权限。

接受必要的条款，并点击accept。  

完了你就发现你成功获得权限了。

2/ 选择合适的Colab运行环境

因为载入模型参数需要足够大的内存，所以你得保证你的Colab可以访问，也就是可以访问T4 GPU。

在打开的页面内选择右边的向下键，然后选择change runtime type。

然后从下拉列表里选择这个。

3/ 生成API key

你得有Kaggle的用户名和API Key来访问Gemma。

在Kaggle的setting->account里面找到API，点击Create New Token。  

然后会自动生成一个Json文件并下载，打开之后是这样的。

第二步：Colab中运行

将json文件中的内容替换掉这个：

https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/get_started.ipynb#scrollTo=DrBoa_Urw9Vx

然后依次运行colab的代码，安装Keras和KerasNLP。  

依次引用安装好的包，选择backend，创建gemma模型。

这是个20亿参数的Gemma模型。  

然后就可以使用Gemma来进行对话了。

使用方法非常的简单，（.genereate）就行，max_length这个参数来控制生成的回答长度。

gemma_lm.generate("What is the meaning of life?", max_length=64)

 回答得还行，非常凑合。