首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    使用Llama.cpp在CPU上快速的运行LLM

    大型语言模型(llm)正变得越来越流行,但是它需要很多的资源,尤其时GPU。在这篇文章中,我们将介绍如何使用Python中的llama.cpp库在高性能的cpu上运行llm。...虽然可以在直接在cpu上运行这些llm,但CPU的性能还无法满足现有的需求。而Georgi Gerganov最近的工作使llm在高性能cpu上运行成为可能。...这要归功于他的llama.cpp库,该库为各种llm提供了高速推理。 原始的llama.cpp库侧重于在shell中本地运行模型。...需要注意的重要一点是,在将原始llm转换为GGML格式时,它们就已被量化过了。量化的好处是在不显著降低性能的情况下,减少运行这些大型模型所需的内存。...降低n_batch有助于加速多线程cpu上的文本生成。但是太少可能会导致文本生成明显恶化。 使用LLM生成文本 下面的代码编写了一个简单的包装器函数来使用LLM生成文本。

    1.9K30

    使用 Vagrant 在不同的操作系统上测试你的脚本

    一个简单的命令行界面让你启动、停止、暂停或销毁你的“盒子”。 考虑一下这个简单的例子。 假设你想写 Ansible 或 shell 脚本,在一个新的服务器上安装 Nginx。...你可以用它来启动一个虚拟机,用你的脚本来 配备(provision)它,并证明一切按预期工作。然后,你可以删除这个“盒子”,重新配备它,并重新运行你的脚本来验证它。...不会再有“但它在我的机器上运行良好!”这事了。 开始使用 首先,在你的系统上安装 Vagrant,然后创建一个新的文件夹进行实验。...vagrant halt:关闭当前的“盒子”。 vagrant destroy:销毁当前的“盒子”。通过运行此命令,你将失去存储在“盒子”上的任何数据。...如果你不开发软件,但你喜欢尝试新版本的操作系统,那么没有比这更简单的方法了。今天就试试 Vagrant 吧! 这篇文章最初发表在 作者的个人博客 上,经许可后被改编。

    1K10

    「数据ETL」从数据民工到数据白领蜕变之旅(五)-使用dotNET脚本实现SSIS无限扩展

    今天来到SSIS中,我们可以有另外一层能力,让dotNET和SSIS集成,在SSIS中,提供了VSTA的开放接口(Visual Studio Tools For Application),相对于VSTO...所以我们可以在SSIS环境下使用dotNET语言,这个极大地增强了我们的数据ETL能力,大凡dotNET能够做的部分,SSIS也可以加上这些能力,并且起点是SSIS给我们做好了模板,自动化写了许多设计代码...,给大家带来在SSIS环境下调用百度AI接口,让非结构化的数据转换为可分析的结构化数据供下游Excel、PowerBI等分析工具使用。...因SSIS需要签名的dll类库,在Nuget上的百度AI类库,没有进行签名操作,故不能直接在Nuget上下载。 同样地SSIS对外部dll引用的要求是需要注册到GAC容器中。...使用脚本组件实现百度AI的调用 在本篇的SSIS包任务中,加上了一个脚本组件,从源Excel文件中抽取数据,经过脚本组件的转换,将内容发送到百度AI上,让其帮忙返回结果,最终转换后的结果写入到目标表中。

    2.3K10

    使用GGML和LangChain在CPU上运行量化的llama2

    在本文,我们将紧跟趋势介绍如何在本地CPU推理上运行量化版本的开源Llama 2。 量化快速入门 我们首先简单介绍一下量化的概念: 量化是一种减少用于表示数字或值的比特数的技术。...为了解释这个事情我们首先要了解GGML: GGML库是一个为机器学习设计的张量库,它的目标是使大型模型能够在高性能的消费级硬件上运行。这是通过整数量化支持和内置优化算法实现的。...也就是说,llm的GGML版本(二进制格式的量化模型)可以在cpu上高性能地运行。...从启动应用程序并生成响应的总时间为31秒,这是相当不错的,因为这只是在AMD Ryzen 5600X(中低档的消费级CPU)上本地运行它。...并且在gpu上运行LLM推理(例如,直接在HuggingFace上运行)也需要两位数的时间,所以在CPU上量化运行的结果是非常不错的。

    1.5K20

    iOS开发之使用Storyboard预览UI在不同屏幕上的运行效果

    在公司做项目一直使用Storyboard,虽然有时会遇到团队合作的Storyboard冲突问题,但是对于Storyboard开发效率之高还是比较划算的。...在之前的博客中也提到过,团队合作使用Storyboard时,避免冲突有效的解决方法是负责UI开发的同事最好每人维护一个Storyboard, 公用的组件使用轻量级的xib或者纯代码来实现。...言归正传,接下来就介绍一下如何使用Storyboard来预览UI在不同那个分辨率屏幕上的运行效果,这就很好的避免了每次调整约束都要Run一下才能看到不同平面上运行的效果,今天的博客就来详述一下如何使用Storyboard...来进行Preview运行效果。...一、创建工程添加测试使用的UIImageView     创建一个测试工程,在ViewController上添加4个不同尺寸的UIImageView, 并且添加上不同的约束,最后添加上不同的文艺小清新的图片

    2.3K80

    在Linux上,使用time优雅的统计程序运行时间

    time 在 Linux 下是比较常用的命令,可以帮助我们方便的计算程序的运行时间,对比采用不同方案时程序的运行性能。看似简单的命令,其实蕴藏着很多细节和技巧,来跟着肖邦一起学习吧。...,sleep 命令基本上没有消耗 cpu,程序真实的运行时间就是 2 秒 那我们是不是可以得出如下结论了呢: real >= user + sys 其实这个结论在单个 cpu 情况下,是正确的。...好吧,我也不卖关子了,直接说答案:你运行的可能是假time。你可能有点懵逼,怎么就假的了。 其实在 Linux 系统上,使用 time 时,你可能会遇到三种版本: # 1....GNU time 命令路径是 /usr/bin/time,一般的 Linux 发行版都带有这个命令,它才是我们今天的猪脚。...深刻的理解了这些指标参数,可以帮助你从本质上把握程序的运行情况,甚至可以协助你分析程序的性能瓶颈。 下边我简单解释几个概念,希望能起到抛砖引玉的作用。

    10.8K52

    「数据ETL」从数据民工到数据白领蜕变之旅(七)-将Excel(PowerQuery+VBA)的能力嫁接到SSIS中

    使用场景 在PowerQuery的数据处理中,有相当多的一些功能使用起来非常方便,对应于企业级的SSIS,反而缺少了这些的灵活性,真正要完全使用SSIS来实现,非常繁琐。...技术原理 本篇将使用在SSIS中,使用循环容器遍历文件夹内所有Excel文件,将其文件路径获取到,再使用dotNET脚本打开用于数据转换的Excel模板文件(里面事先存储好PowerQuery的抽取清洗逻辑代码...dotNET与VBA在Excel对象模型上的差别 在dotNET脚本中,引用Excel对象模型,理论上可以替代VBA的脚本,但本轮测试发现,在dotNET上的Excel对象模型,貌似未能有最全的开放给VBA...可能使用Visual Studio2019开发会支持,亲测Visual Studio2017不支持。...具体的M代码如下,定义了一个参数变量filePath,用于在VBA上调用方法来赋值。 因dotNET的接口上缺少此方法,只能在VBA上定义好再调用来赋值。

    4.6K20

    和我从头学SQL Server Integration Services

    我不是程序猿,所以,这里的文章实际上写给和我一样的系统管理员看的,使得在管理数据库的时候,大致可以看出SQL在干什么,能更好的理解和管理。艰涩的东西一概不会、不懂、不知道。...清理和标准化数据 支持BI的解决方案 SSIS的开发工具 包含在SQL Server Data Tools中, 是基于Microsoft Visual Studio 常用于特定于商业智能的项目类型 用于开发...在Stored Packages的MSDB节点下,可以看见刚才生成的SSIS包,在包上点击右键,选择Run Pakcage 运行Execute Package Utility ? ? ? ? ?...编辑一个dts包 在data tools中编辑的ssis项目,生成的工程文件为dtsx结尾的文件,我们可以通过右键再次在data tools中的visual studio将其打开: ? ?...接下来,使用DTUTIL工具导入包。 ? 再次去打开msdb节点,我们发现了用dtutil导出的包,然后依照前文所说的方法运行包,可以观察生成新的文本文件的导出。 ? ?

    3.3K50

    pytest学习和使用3-对比unittest和pytest脚本在pycharm中运行的方式

    一句话来说下,unittest和pytest脚本在pycharm中使用基本是一样的。...基本是两种:第一种:直接运行脚本【运行】-【Run】,选择需要运行的脚本即可图片图片第二种:选择运行框架【文件】-【设置】-【Python Integrated Tools】-【Default test...runner】,选择默认的运行框架即可:比如选择pytest,鼠标放在类或test开头的方法上,并右键,“运行(U)pytest in xx.py”的字样图片图片写一个unittest框架的脚本,在test_a...if __name__ == "__main__": unittest.main()我们先在if __name__ == "__main__":上右键,以pytest运行,发现是可以运行的,如下:...,此时我们把运行默认框架改为unittest,再次运行,发现显示的是“运行(U)unittests in xx.py”的字样图片

    1.3K30

    警务数据仓库的实现

    本文介绍在警务信息数据仓库分析与设计的基础上,应用 Microsoft SQL Server 2008 R2 的集成服务(SQL Server Integration Services,SSIS...Microsoft SQL Server 2008 R2 在 SQL Server 2008 基础上增加了许多新的功能,不仅能为用户的关键商业应用提供可信赖的、高效的、智能的开发平台,支持策略管理和审核...Microsoft Visual Studio(MVS)的【起始页】窗口。...将把包 package.dtsx 部署到 SQL Server 的 SSIS 服务器中,使其能够根据指定的时间节点自动运行这个包,完成从 OLTPHotel 不断抽取数据并追加到数据仓库 HuangDW_Hotel...(1)将 SSIS 包 package.dtsx 另存到 SSIS 服务器,并将其命名为 HDC_ETL_Hotel,使其成为一个 “已存储的包” 对象存储在 SSIS 服务器之中; (2)配置包的运行作业参数

    6400

    「数据ETL」从数据民工到数据白领蜕变之旅(六)-将Python的能力嫁接到SSIS中

    前一篇推文中,给大家演示了在SSIS上使用dotNET脚本,实现一些原生SSIS难以实现的功能,并冠以无限可能的说法。...此篇演示python脚本帮助数据清洗工作,成为SSIS流程中的一部分,同理其他语言其他工具亦可以完成,只要有最终输出即可供SSIS使用。...从实例数据.xlsx中,经过python脚本的运行,生成一个res.csv的文件。...在SSIS上使用python脚本 在控制流任务中,有【执行进程任务】,拉一个任务到右侧,并双击此任务进行详细配置。...最终我们的控制流任务如下,完成我们预期的效果,将python清洗好的数据,交给SSIS的后续步骤来调用。 在SSMS上打开目标表,发现数据已经加载成功。

    3.1K20

    计算机vb语言程序设计_vb语言程序设计基础

    《全国高等院校21世纪新创规划教材·Visual Basic程序设计教程:计算机类》根据初学者的特点,首先让读者熟悉Visual Basic程序设计语言;的环境,在简单的程序设计过程中掌握visual...在此基础;上,掌握程序设计的3种基础结构,主要内容包括:Visual Basic程序设计;基础、窗体设计、常用控件、菜单设计、图形与多媒体、系统环境资源的;应用、文件管理、Visual Basic与数据库等...的基本特点 第三节 Visual Basic 6.0的简介 第四节 制作成安装盘 思考与练习 第二章 可视化编程基础 第一节 Visual Basic 6.0的集成开发环境 第二节 Visual Basic...复选框和单选按钮 第二节 选择控件??...小结与提高 思考与练习 第十四章 VB编程技术实验 实验1 创建一个简单的VB程序 实验2 程序设计基础(一) 实验3 程序设计基础(二) 实验4 基本控件的使用(一) 实验5 基本控件的使用(二)

    1.1K20

    使用AppSync为在Dell PowerFlex上运行的应用程序提供拷贝数据管理

    AppSync for PowerFlex概述 AppSync for PowerFlex提供单一用户界面,可简化、编排和自动化在PowerFlex上部署的所有企业数据库应用程序中生成和使用DevOps...AppSync for PowerFlex提供简单的自动化拷贝创建和使用,消除了手动步骤或自定义脚本。...01 AppSync架构 AppSync的架构包含三个主要组件: ●AppSync server部署在物理或虚拟的Windows服务器上。...02 在AppSync上注册PowerFlex系统 AppSync通过使用API调用与PowerFlex Gateway通信来实现与PowerFlex系统的交互: Step 1 AppSync控制台,选择...AppSync支持三种类型的服务计划: ☆Bronze青铜——您可以使用Bronze服务计划创建应用程序数据的本地拷贝; ☆Silver白银——您可以使用Silver服务计划创建应用程序数据的远程拷贝;

    1.2K20

    0基础都能看懂的 Visual Studio Code(VScode)使用脚本一键配置安装CC++环境、编译运行Windows版本教程(内附脚本、安装包下载链接)

    前言 网上很多配置VScode的C、C++环境的教程,但是很多时候跟着从头到尾做了之后反而还是运行不了,于是笔者在网上翻阅资料后,发现了一个自动配置环境的脚本,亲测有效,大概5分钟就可以配置好环境了。...3、运行脚本进行配置环境 打开名字是AutoVsCenv_WPF.exe的脚本。 然后直接就跟着步骤进行操作即可。如果在安装过程中出现错误,那么把自己的mingw文件夹删掉,重新进行安装即可。...脚本会自动帮我们配置好环境、启动路径、环境路径等等。 到了这一步之后,基本上就已经成功了!等待自动部署好环境,就可以打开VScode进行写代码了!...5、创建文件 在Vscode的左边可以进行创建文件,cpp后缀就是C++,.java就是java了。 6、最后的配置 到这一步,每次运行.c文件之后,都会出现一个.exe。...以后就可以正常的使用Vscode进行编写代码了!

    62710

    SQL Azure与SQL Server两者的对比介绍,看完你就懂了!

    事务复制Transactional Replication 支持 不支持 您可以使用BCP 或 SSIS 来按需获得流入本地 SQL Server的数据。...连接限制Connection Limitations 无 为了给在节点上所有租户提供公平的使用体验,有如下情况的连接可能被关闭:过度资源使用长时间运行查询 (超过 5 mi分钟)在 BEGIN TRAN...和 END TRAN内长时间运行的单个事务 – (超过 5 分钟)空闲连接– (超过 30 分钟) SSIS 可以在本地运行SSIS 无法在SQL Azure内运行SSIS 本地运行 SSIS ,并以...连接限制Connection Limitations 无 为了给在节点上所有租户提供公平的使用体验,有如下情况的连接可能被关闭: 过度资源使用 长时间运行查询 (超过 5 mi分钟) 在 BEGIN TRAN...和 END TRAN内长时间运行的单个事务 – (超过 5 分钟) 空闲连接– (超过 30 分钟) SSIS 可以在本地运行SSIS 无法在SQL Azure内运行SSIS 本地运行 SSIS

    3.2K20

    Visual Studio 2005 IDE 技巧和窍门

    单击每个命令,将其拖动到 Visual Studio 工具栏上。您现在需要在工具栏中右键单击新放置的命令,将这些命令的名称更改为更短的名称。 图 7. 使用“自定义”对话框将宏放置到工具栏上。...这会显示代码段选取器,使用它可以浏览适用于当前编程语言的所有代码段以及选择要插入的代码段。这种插入代码段的方法对于 C# 和 Visual Basic 均有效。...选择(选中)“使用团队设置文件”复选框,指定团队设置文件的路径。 图 12....如果 Visual Studio 在运行时被损坏,且无法从损坏状态进行恢复,您可以使用此参数将 Visual Studio 重置到其使用之初的状态。...在结束运行后,可以重新启动 Visual Studio。此时会再次出现首次启动对话框,就像在计算机上第一次运行 Visual Studio 一样。

    2.2K40
    领券