AI与美洲驼(Llama)
Llama 2 是 Meta AI 正式发布的最新一代开源可商用大模型。
下面将带你使用 Google 提供的免费的 Colab 服务,快速部署一个带有图形化聊天界面的 Llama2 ,体验一下开源 GPT 的魅力!
首先,我们先了解一下 Colab 相关知识:
Colab = Colaboratory(即合作实验室),是谷歌提供的一个在线工作平台,用户可以直接通过浏览器执行python代码并与他人分享合作。Colab的主要功能当然不止于此,它还为我们提供免费的GPU。熟悉深度学习的同学们都知道:CPU计算力高但核数量少,善于处理线性序列,而GPU计算力低但核数量多,善于处理并行计算。在深度学习中使用GPU进行计算的速度要远快于CPU,因此有高算力的GPU是深度学习的重要保证。由于不是所有GPU都支持深度计算(大部分的Macbook自带的显卡都不支持),同时显卡配置的高低也决定了计算力的大小,因此Colab最大的优势在于我们可以“借用”谷歌免费提供的GPU来进行深度学习。
综上:Colab = "python版"Google doc + 免费GPU
在 Colab 中,python 代码的执行是基于 .ipynb 文件,也就是 Jupyter Notebook 格式的 python 文件。这种笔记本文件与普通 .py 文件的区别是可以分块执行代码并立刻得到输出,同时也可以很方便地添加注释,这种互动式操作十分适合一些轻量的任务。
接下来开始 Llama 2 部署步骤:
1、打开 Colab 网址
https://colab.research.google.com/
做本实验最重要的一点,能打开这个网址,别告诉我打不开,打不开是功力不够,需要自行回去练功!打开后显示以下界面:
2、登录 Google 账号
没有 google 账号的需要先注册一个,注册过程自行百度。
点击下图中的 登录 按钮,使用 Google 账号登录。
成功登录后的界面如下:
3、新建代码编辑器
点击界面中的 新建笔记本 按钮。
或者点击 文件 菜单下面的 新建笔记本。
点击 新建笔记本 按钮后,界面如下:
4、编辑安装脚本
将以下脚本代码复制到上面的新建的笔记本界面中:
%cd /content
!apt-get -y install -qq aria2
!git clone -b v1.8 https://github.com/camenduru/text-generation-webui
%cd /content/text-generation-webui
!pip install -r requirements.txt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/resolve/main/model-00001-of-00003.safetensors -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o model-00001-of-00003.safetensors
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/resolve/main/model-00002-of-00003.safetensors -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o model-00002-of-00003.safetensors
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/resolve/main/model-00003-of-00003.safetensors -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o model-00003-of-00003.safetensors
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/raw/main/model.safetensors.index.json -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o model.safetensors.index.json
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/raw/main/special_tokens_map.json -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o special_tokens_map.json
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/resolve/main/tokenizer.model -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o tokenizer.model
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/raw/main/tokenizer_config.json -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o tokenizer_config.json
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/raw/main/config.json -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o config.json
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/raw/main/generation_config.json -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o generation_config.json
%cd /content/text-generation-webui
!python server.py --share --chat --load-in-8bit --model /content/text-generation-webui/models/Llama-2-13b-chat-hf
复制成功后如下图:
5、分配资源
点击 连接 按钮,平台会自动分配免费的 GPU 服务器资源。
等待分配完成,可点击 下图中的箭头位置查看分配的服务器资源。
6、点击 代码执行程序 - 全部运行
可执行一键安装脚本。
等待安装完成,显示下图中的提示信息就表示已安装成功。
7、点击上图中提示信息中的链接地址,即可打开图形聊天界面,如下图:
至此,全部安装完成,可以愉快的使用 llama2 大模型聊天了。
看上面我让他写的一个 C++ 的循环结构示例代码
,他还能做很多很多事情,比如帮你写个文案,帮你写个网页等等,发挥你的想像力吧!