LangChain 是一个用于构建语言模型驱动应用的框架。它旨在通过语言模型(如OpenAI的GPT-4)来增强和简化开发者创建复杂的自然语言处理(NLP)应用的过程。LangChain 提供了模块化的工具和组件,使开发者能够轻松地集成和扩展不同的NLP功能。
以下是LangChain的主要特点和组件:
OpenVINO™是一个用于优化和部署AI推断的开源工具包。OpenVINO™ Runtime可以在各种硬件设备上运行相同优化的模型。加速您的深度学习性能,涵盖语言模型、计算机视觉、自动语音识别等多种用例。
OpenVINO模型可以通过HuggingFacePipeline类在本地运行。要使用OpenVINO部署模型,您可以指定backend="openvino"参数以触发OpenVINO作为后端推断框架。
要使用,请确保已安装带有OpenVINO Accelerator Python包的optimum-intel。
%pip install --upgrade-strategy eager "optimum[openvino,nncf]" --quiet
模型可以通过使用from_model_id
方法指定模型参数进行加载。
如果您有英特尔GPU,可以指定model_kwargs={"device": "GPU"}
来在其上运行推断。
from langchain_community.llms.huggingface_pipeline import HuggingFacePipeline
ov_config = {"PERFORMANCE_HINT": "LATENCY", "NUM_STREAMS": "1", "CACHE_DIR": ""}
ov_llm = HuggingFacePipeline.from_model_id(
model_id="gpt2",
task="text-generation",
backend="openvino",
model_kwargs={"device": "CPU", "ov_config": ov_config},
pipeline_kwargs={"max_new_tokens": 10},
)
它们也可以通过直接传递现有的optimum-intel管道进行加载。
from optimum.intel.openvino import OVModelForCausalLM
from transformers import AutoTokenizer, pipeline
model_id = "gpt2"
device = "CPU"
tokenizer = AutoTokenizer.from_pretrained(model_id)
ov_model = OVModelForCausalLM.from_pretrained(
model_id, export=True, device=device, ov_config=ov_config
)
ov_pipe = pipeline(
"text-generation", model=ov_model, tokenizer=tokenizer, max_new_tokens=10
)
ov_llm = HuggingFacePipeline(pipeline=ov_pipe)
将加载到内存中的模型与提示一起组合,形成一个链。
from langchain_core.prompts import PromptTemplate
template = """Question: {question}
Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
chain = prompt | ov_llm
question = "What is electroencephalography?"
print(chain.invoke({"question": question}))
可以使用命令行界面将模型导出为OpenVINO IR格式,并从本地文件夹加载模型。
!optimum-cli export openvino --model gpt2 ov_model_dir
建议使用 --weight-format 参数对权重进行 8 或 4 位量化,以减少推断延迟和模型占用空间。!optimum-cli export openvino --model gpt2 --weight-format int8 ov_model_dir # for 8-bit quantization!optimum-cli export openvino --model gpt2 --weight-format int4 ov_model_dir # for 4-bit quantization
ov_llm = HuggingFacePipeline.from_model_id(
model_id="ov_model_dir",
task="text-generation",
backend="openvino",
model_kwargs={"device": "CPU", "ov_config": ov_config},
pipeline_kwargs={"max_new_tokens": 10},
)
chain = prompt | ov_llm
question = "What is electroencephalography?"
print(chain.invoke({"question": question}))
您可以通过动态量化激活和KV-cache量化来获得额外的推断速度提升。可以通过 ov_config 启用这些选项,如下所示:
ov_config = {
"KV_CACHE_PRECISION": "u8",
"DYNAMIC_QUANTIZATION_GROUP_SIZE": "32",
"PERFORMANCE_HINT": "LATENCY",
"NUM_STREAMS": "1",
"CACHE_DIR": "",
}
我正在参与2024腾讯技术创作特训营最新征文,快来和我瓜分大奖!
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。