手把手教你部署开源可商用GPT - Llama2
AI与美洲驼（Llama）
Llama 2 是 Meta AI 正式发布的最新一代开源可商用大模型。
下面将带你使用 Google 提供的免费的 Colab 服务，快速部署一个带有图形化聊天界面的 Llama2 ，体验一下开源 GPT 的魅力！
首先，我们先了解一下 Colab 相关知识：
Colab = Colaboratory（即合作实验室），是谷歌提供的一个在线工作平台，用户可以直接通过浏览器执行python代码并与他人分享合作。Colab的主要功能当然不止于此，它还为我们提供免费的GPU。熟悉深度学习的同学们都知道：CPU计算力高但核数量少，善于处理线性序列，而GPU计算力低但核数量多，善于处理并行计算。在深度学习中使用GPU进行计算的速度要远快于CPU，因此有高算力的GPU是深度学习的重要保证。由于不是所有GPU都支持深度计算（大部分的Macbook自带的显卡都不支持），同时显卡配置的高低也决定了计算力的大小，因此Colab最大的优势在于我们可以“借用”谷歌免费提供的GPU来进行深度学习。
综上：Colab = "python版"Google doc + 免费GPU
在 Colab 中，python 代码的执行是基于 .ipynb 文件，也就是 Jupyter Notebook 格式的 python 文件。这种笔记本文件与普通 .py 文件的区别是可以分块执行代码并立刻得到输出，同时也可以很方便地添加注释，这种互动式操作十分适合一些轻量的任务。
接下来开始 Llama 2 部署步骤：
1、打开 Colab 网址
https://colab.research.google.com/做本实验最重要的一点，能打开这个网址，别告诉我打不开，打不开是功力不够，需要自行回去练功！打开后显示以下界面:
2、登录 Google 账号
没有 google 账号的需要先注册一个，注册过程自行百度。
点击下图中的 登录 按钮，使用 Google 账号登录。
成功登录后的界面如下：
3、新建代码编辑器
点击界面中的 新建笔记本 按钮。
或者点击 文件 菜单下面的 新建笔记本。
点击 新建笔记本 按钮后，界面如下：
4、编辑安装脚本
将以下脚本代码复制到上面的新建的笔记本界面中：
%cd /content
!apt-get -y install -qq aria2
!git clone -b v1.8 https://github.com/camenduru/text-generation-webui
%cd /content/text-generation-webui
!pip install -r requirements.txt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/resolve/main/model-00001-of-00003.safetensors -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o model-00001-of-00003.safetensors
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/resolve/main/model-00002-of-00003.safetensors -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o model-00002-of-00003.safetensors
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/resolve/main/model-00003-of-00003.safetensors -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o model-00003-of-00003.safetensors
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/raw/main/model.safetensors.index.json -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o model.safetensors.index.json
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/raw/main/special_tokens_map.json -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o special_tokens_map.json
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/resolve/main/tokenizer.model -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o tokenizer.model
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/raw/main/tokenizer_config.json -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o tokenizer_config.json
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/raw/main/config.json -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o config.json
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/4bit/Llama-2-13b-chat-hf/raw/main/generation_config.json -d /content/text-generation-webui/models/Llama-2-13b-chat-hf -o generation_config.json
%cd /content/text-generation-webui
!python server.py --share --chat --load-in-8bit --model /content/text-generation-webui/models/Llama-2-13b-chat-hf复制成功后如下图：
5、分配资源
点击 连接 按钮，平台会自动分配免费的 GPU 服务器资源。
等待分配完成，可点击 下图中的箭头位置查看分配的服务器资源。
6、点击 代码执行程序 - 全部运行
可执行一键安装脚本。
等待安装完成，显示下图中的提示信息就表示已安装成功。
7、点击上图中提示信息中的链接地址，即可打开图形聊天界面，如下图：
至此，全部安装完成，可以愉快的使用 llama2 大模型聊天了。
看上面我让他写的一个 C++ 的循环结构示例代码
，他还能做很多很多事情，比如帮你写个文案，帮你写个网页等等，发挥你的想像力吧！
腾讯云开发者
