【Python系列】如何挂载离线包

在离线环境中解决 tiktoken 无法加载编码文件的问题，可以考虑以下几种方案：

方案 1: 预下载文件并本地加载

1. 在线下载所需的编码文件：在有网络连接的环境下，先运行代码，确保 cl100k_base 或其他所需编码文件已被下载。通常这些文件会缓存到本地。可以通过 tiktoken 的源码，找到缓存文件的路径（通常是 .cache 或其他缓存目录）。
2. 将文件拷贝到离线环境：把下载好的缓存文件复制到离线环境的相同目录结构中，确保离线环境的代码能够读取这些文件。
3. 本地读取文件：在离线环境中，确保代码直接从本地加载这些预缓存的文件，而不是每次都从远程服务器获取。

方案 2: 本地静态文件加载

1. 手动下载和存储文件：可以根据 tiktoken 的加载逻辑，手动下载 cl100k_base 编码的 BPE 文件。这些文件通常托管在 OpenAI 的公共服务器上，比如 openaipublic.blob.core.windows.net。
2. 修改加载路径：在离线环境中，可以修改 tiktoken 的源码，直接从本地目录加载编码文件，而不是访问远程 URL。例如，修改 tiktoken/load.py 文件中的 blobpath，将其指向本地存储的路径。

方案 3: 环境变量配置

部分库允许通过环境变量或配置文件来指定缓存文件的位置。可以检查 tiktoken 是否允许通过设置某些环境变量（如 TIKTOKEN_CACHE_DIR）来指定缓存文件的位置，并在本地提前准备好这些文件。

方案 4: 使用镜像服务器

如果无法连接到原始服务器，但可以在公司内部或局域网中搭建镜像服务器，可以尝试在本地设置一个服务器，缓存 OpenAI 提供的文件，并将代码中的 blobpath 指向该服务器。

方案 5: 替换或降级模型

如果只是需要使用不同的模型或编码器，可以考虑使用不依赖远程资源的替代方案，比如使用 gpt2 编码器，或将模型的版本降级为不需要远程依赖的版本。

通过这些方式，可以在离线环境中加载和使用 tiktoken，避免远程资源无法访问的问题。