OpenVINO与LangChain
原创OpenVINO与LangChain
原创
LangChain
LangChain 是一个用于构建语言模型驱动应用的框架。它旨在通过语言模型（如OpenAI的GPT-4）来增强和简化开发者创建复杂的自然语言处理（NLP）应用的过程。LangChain 提供了模块化的工具和组件，使开发者能够轻松地集成和扩展不同的NLP功能。
以下是LangChain的主要特点和组件：
- 文档处理：LangChain 提供了强大的文档处理工具，支持从多个数据源（如本地文件、API、数据库等）加载和处理文档。这使得开发者可以方便地预处理和管理大量文本数据。
- 链式调用：LangChain 支持链式调用（Chaining），即将多个语言模型调用组合在一起，以实现更复杂的任务。例如，可以先调用一个模型进行文本生成，再调用另一个模型对生成的文本进行情感分析。
- 自定义管道：开发者可以创建和自定义处理管道，定义数据的流动方式和处理步骤。这使得应用能够更加灵活地适应不同的需求和场景。
- 可扩展性：LangChain 设计为高度可扩展，开发者可以方便地集成第三方工具和库，或编写自定义组件来扩展其功能。
- 对话管理：LangChain 提供了对话管理工具，可以处理多轮对话和上下文跟踪。这对于构建智能对话系统（如聊天机器人）非常有用。
- 支持多种语言模型：除了OpenAI的模型，LangChain 还支持其他语言模型和提供了统一的接口，简化了不同模型之间的切换和集成。
- 开源社区：LangChain 是一个开源项目，有活跃的社区支持和丰富的文档资源，开发者可以自由地贡献和使用。
OpenVINO
OpenVINO™是一个用于优化和部署AI推断的开源工具包。OpenVINO™ Runtime可以在各种硬件设备上运行相同优化的模型。加速您的深度学习性能，涵盖语言模型、计算机视觉、自动语音识别等多种用例。
OpenVINO模型可以通过HuggingFacePipeline类在本地运行。要使用OpenVINO部署模型，您可以指定backend="openvino"参数以触发OpenVINO作为后端推断框架。
要使用，请确保已安装带有OpenVINO Accelerator Python包的optimum-intel。
%pip install --upgrade-strategy eager "optimum[openvino,nncf]" --quiet加载模型
模型可以通过使用from_model_id方法指定模型参数进行加载。
如果您有英特尔GPU，可以指定model_kwargs={"device": "GPU"}来在其上运行推断。
from langchain_community.llms.huggingface_pipeline import HuggingFacePipeline
ov_config = {"PERFORMANCE_HINT": "LATENCY", "NUM_STREAMS": "1", "CACHE_DIR": ""}
ov_llm = HuggingFacePipeline.from_model_id(
model_id="gpt2",
task="text-generation",
backend="openvino",
model_kwargs={"device": "CPU", "ov_config": ov_config},
pipeline_kwargs={"max_new_tokens": 10},
)它们也可以通过直接传递现有的optimum-intel管道进行加载。
from optimum.intel.openvino import OVModelForCausalLM
from transformers import AutoTokenizer, pipeline
model_id = "gpt2"
device = "CPU"
tokenizer = AutoTokenizer.from_pretrained(model_id)
ov_model = OVModelForCausalLM.from_pretrained(
model_id, export=True, device=device, ov_config=ov_config
)
ov_pipe = pipeline(
"text-generation", model=ov_model, tokenizer=tokenizer, max_new_tokens=10
)
ov_llm = HuggingFacePipeline(pipeline=ov_pipe)Create Chain
将加载到内存中的模型与提示一起组合，形成一个链。
from langchain_core.prompts import PromptTemplate
template = """Question: {question}
Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
chain = prompt | ov_llm
question = "What is electroencephalography?"
print(chain.invoke({"question": question}))使用本地OpenVINO模型进行推断
可以使用命令行界面将模型导出为OpenVINO IR格式，并从本地文件夹加载模型。
!optimum-cli export openvino --model gpt2 ov_model_dir建议使用 --weight-format 参数对权重进行 8 或 4 位量化，以减少推断延迟和模型占用空间。!optimum-cli export openvino --model gpt2 --weight-format int8 ov_model_dir # for 8-bit quantization!optimum-cli export openvino --model gpt2 --weight-format int4 ov_model_dir # for 4-bit quantization
ov_llm = HuggingFacePipeline.from_model_id(
model_id="ov_model_dir",
task="text-generation",
backend="openvino",
model_kwargs={"device": "CPU", "ov_config": ov_config},
pipeline_kwargs={"max_new_tokens": 10},
)
chain = prompt | ov_llm
question = "What is electroencephalography?"
print(chain.invoke({"question": question}))您可以通过动态量化激活和KV-cache量化来获得额外的推断速度提升。可以通过 ov_config 启用这些选项，如下所示：
ov_config = {
"KV_CACHE_PRECISION": "u8",
"DYNAMIC_QUANTIZATION_GROUP_SIZE": "32",
"PERFORMANCE_HINT": "LATENCY",
"NUM_STREAMS": "1",
"CACHE_DIR": "",
}我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。