首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

保护大模型应用安全,现在不需要拿性能做代价了 | 最“in”大模型

基于英特尔® 平台的解决方案:加速 TEE 与 LLM 融合应用 4.1 基于英特尔® SGX/TDX1 的 TEE 解决方案 英特尔自第三代英特尔® 至强® 可扩展处理器开始内置英特尔® 软件防护扩展...另一方面,英特尔® Trust Domain Extension(英特尔® TDX)可将客户机操作系统和虚拟机应用与云端主机、系统管理程序和平台的其他虚拟机隔离开来。...基于英特尔® SGX/TDX 的 TEE 可为大模型提供更安全的运行环境,在数据上传云端前,查询可先通过客户端对传输内容加密,云端只需在英特尔® SGX/TDX 中解密查询问题,然后输入大模型的推理服务中...但是,不同模型、平台和软件栈需要使用不同的优化方案,要在特定平台上实现更理想的性能,需要长时间的性能调优。...作者简介: 英特尔公司 AI 架构师俞巍,英特尔公司平台安全资深架构师李志强,英特尔公司安全软件研发工程师李青青,英特尔公司软件架构师龚奇源,都在从事 AI 和 SGX/TDX 相关工作。

79120

为训练数据建一个TB级计算「飞地」,联邦学习的靠谱实现方式了解一下?

这和你要使用的英特尔处理器的种类及型号有关。...医渡云解决方案使用的是英特尔去年发布的面向单路和双路服务器的第三代至强® 可扩展处理器,它已经全面内置 SGX 技术,可在双路服务器上实现最大容量为 1TB 的保留加密内存区域(Enclave Page...英特尔与中国银联电子商务与电子支付国家工程实验室组成的联合研究团队通过开源的统一大数据分析与 AI 平台——BigDL,验证了基于 TEE 的联邦学习与实时预测方案,有助于解决上述问题。...基于英特尔® SGX 技术的BigDL平台架构 我们重点来看一下安全技术层面。...典型的基于英特尔® SGX-BigDL平台的预测方案 联合团队的验证结果表明,基于英特尔® SGX-BigDL 平台部署的实时计算与预测推理方案,能在更好地保障端到端数据安全的前提下,依旧保持预期的性能

49920
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    大模型时代,那些一起训练AI模型的企业是怎么应对数据顾虑的?

    这和你要使用的英特尔处理器的种类及型号有关。...医渡云解决方案使用的是英特尔去年发布的面向单路和双路服务器的第三代至强® 可扩展处理器,它已经全面内置 SGX 技术,可在双路服务器上实现最大容量为 1TB 的保留加密内存区域(Enclave Page...英特尔与中国银联电子商务与电子支付国家工程实验室组成的联合研究团队通过开源的统一大数据分析与 AI 平台——BigDL,验证了基于 TEE 的联邦学习与实时预测方案,有助于解决上述问题。...基于英特尔® SGX 技术的BigDL平台架构 我们重点来看一下安全技术层面。...典型的基于英特尔® SGX-BigDL平台的预测方案 联合团队的验证结果表明,基于英特尔® SGX-BigDL 平台部署的实时计算与预测推理方案,能在更好地保障端到端数据安全的前提下,依旧保持预期的性能

    63710

    超级账本(hyperledger)介绍_以太坊上的账户类型有哪些

    超级账本(Hyperledger)是Linux基金会于2015年发起的推进区块链数字技术和交易验证的开源项目,目标是让成员共同合作,共建开放平台,满足来自多个不同行业各种用户案例,并简化业务流程。...2016年8月最新加入成员有三星的IT服务子公司Samsung SDS、PC端小型商务财务软件Quickbooks的开发商美国硅谷高科技公司Intuit、中国重型机械制造商三一重工(Sany)。...当完成时,该浏览器有望能为HyperLedger的开发者和非技术用户提供情况信息、交易数据、网络信息(例如节点列表)和链代码或交易群组。...》》组织孵化器项目(Fabric Incubator) DAH和IBM的方案合并,使用区块链技术提供了一个模块化的架构,允许组件如共识和会员服务可以即插即用。...项目包含fabric、fabric-api、fabric-chaintool 》》锯齿湖孵化器项目(Sawtooth Lake Incubator) Sawtooth Lake Incubator是英特尔模块化区块链套件

    82120

    我们可以教机器学习隐私吗?

    那我们是否能够把机器学习当作一种服务(机器学习即服务-MLaaS)来使用并保护我们的隐私呢? ?...注:德克萨斯大学的Tyler Hunt以及其他研究人员近期发布了一篇标题为《Chiron:机器学习即服务与隐私保护》的研究论文,并在论文中阐述了一种能够在使用云MLaaS时保护隐私的系统架构,感兴趣的同学可以阅读了解一下...Chiron使用的是因特尔的软件保护扩展(SGX),这是一种用来增强应用程序代码安全性的架构设计,但仅仅使用SGX还是不够的,Chiron还在Ryoan沙盒中使用了SGX平台,而这是一种分布式的安全保护沙盒...限制因素 SGX本身并不是无懈可击的,因为英特尔的性能监控单元(PMU)允许不受信任的平台深入了解目标系统底层的运行机制以及正在进行的任务。...由于Chiron的实现基于的是英特尔的SGX,所以它不能使用GPU配合工作,因为GPU暂时还不能很好地支持SGX的相关功能。

    83140

    SGX,为数据处理构建硬件级 “安全隔离区” | 至强秘笈

    平安集团旗下的智能科技服务提供商平安科技,就基于英特尔® SGX,以“云-边-终端”服务架构打造了具有数据隐私保护能力的蜂巢平台,可高效解决“云边协同”这一重要趋势与边缘和终端设备对数据和模型仍缺乏有效保护这一现实之间的矛盾...从图二所示的架构可以看到,蜂巢平台利用英特尔® SGX分别在云端和边缘节点的服务器内存中开辟出安全的“飞地”。...与此同时,拥有雄厚技术优势和海量数据积累的互联网和公有云企业自然也不会“落伍”,许多亟待开展数据协同应用、又对数据安全与隐私保护有着严苛需求的大厂,也在加速部署和应用英特尔® SGX技术。...在互联网领域深耕人工智能基础技术,并打造了开源深度学习平台“飞桨”(PaddlePaddle)的百度,就选择英特尔® SGX作为基础,来构建自家的MesaTEE 安全计算平台。...如图三所示,在运行过程中,MesaTEE平台能以Executor插件的形式在飞桨平台上构建基于Graphene-SGX等LibOS组件的英特尔® SGX安全可信环境,并将特定的深度学习任务投递到安全环境中

    67120

    【学习】Intel芯片架构中TEE的实现技术之SGX初探(二)

    图 3: SGX应用执行流程。 认证 在英特尔 SGX 架构中,认证指的是以下流程,即证明在平台上建立了特定安全区。 有两种认证机制: 本地认证 适用于同一平台上两个安全区进行相互认证时。...远程认证 借助远程认证,英特尔 SGX 软件和平台硬件的组合可用于生成评价,评价会被发送至第三方服务器以建立信任。...将该软件信息摘要与来自该硬件的平台唯一非对称秘钥相组合以生成评价,再通过已认证渠道将评价发送至远程服务器。...如果远程服务器确认安全区得到了正确实例化且运行在真正支持英特尔 SGX 的处理器上,远程服务器就会立即信任该安全区并选择通过已认证渠道向其提供机密信息。...如何使用英特尔 Software Guard Extensions 技术后面再介绍!

    2.5K90

    Intel芯片架构中TEE的实现技术之SGX初探

    SGX。...Intel SGX是指 Software Guard Extensions SGX最早在2013年推出,主要是在计算机平台上提供一个可信的空间(TEE),保障用户关键代码和数据的机密性和完整性 。...SGX (Software Guard Extensions)是一项面向应用程序开发人员的英特尔技术。英特尔从第 6代英特尔® 酷睿™ 处理器平台开始引入了英特尔软件防护扩展新指令集,使用特殊指令和软件可将应用程序代码放入一个...英特尔内存保护扩展的两个最重要目的是:以低开销为新编译的代码提供此种能力,以及提供与现有软件组件的兼容性机制。 英特尔® MPX 将在未来的英特尔® 处理器中实现。...最后说下: 近日,百度安全实验室推出一个Intel SGX 可信计算平台的Rust语言开发工具包Rust SGX SDK。说白了,这也是一种具体Intel芯片的TEE SDK!

    2.7K80

    为何云计算巨头都在布局机密计算?

    在实现方式上,微软的机密计算有两种模式:一种是基于虚拟机,另一种则使用英特尔推出的Skylake-SP Xeon处理器中的SGX(“软件防护扩展”)功能。...l 阿里云 在国内,阿里云是亚太区第一个推出基于SGX((Software Guard Extensions )加密计算的云服务商。...2017年,阿里云与英特尔联合发布了基于芯片级的SGX加密计算技术,保障云上客户数据安全。 基于Intel SGX加密计算技术,阿里云为云上客户提供了系统运行时的可信能力。...2018年,基于SGX技术,阿里云又推出了基于SGX技术的区块链服务平台;2019年的云栖大会,阿里云智能也与阿里云数据库团队联合发布了全加密数据库产品。...但并非项目得到该联盟的认可,才可以被认为是机密计算,比如:谷歌的Asylo与Enarx很相似,微软Azure的机密计算服务同时支持英特尔SGX和微软的虚拟安全模式,都可以被纳入机密计算的范畴。

    81520

    数据爆发时代,英特尔携手腾讯构筑全面的数据长城

    跨越数据库的合作,Tendis与傲腾的实践 据英特尔技术专家介绍,英特尔傲腾技术产品在业界有广泛的应用,跨越了不同的行业,涵盖了不同的工作负载,为更多客户带来性能和容量方面的优势。...因此,腾讯云新一代Tendis自研的KV引擎与英特尔傲腾技术进行了紧密融合和应用。而这一切都得益于腾讯和英特尔团队的多轮沟通,最终才确定了一个比较好的解决方案。...而在数字生态大会2021上,腾讯云便基于区块链赋能和SGX技术,推出了数据要素共享平台腾讯云数链通升级版本,新升级的腾讯云数链通在海量数据处理、模型调度、任务调度、便捷化部署、灵活扩展等方面有了全面的提升...基于底层的硬件平台可以让客户业务低成本的接入使用,底层往上是机密计算相关功能,再往上便是相关应用场景。 机密计算是英特尔耕耘十年的一个领域,其在服务器处理器上进行了硬件搭载。...英特尔与腾讯的合作就像为海量数据的流通与使用披上了一层坚甲,让数据的使用者更加安心,让企业也能不必考虑过多的安全难题。 分享 点收藏 点点赞 点在看

    26250

    后 OpenStack 时代,以容器为代表的虚拟化技术将有怎样的演进?| Q推荐

    2010 年,由 NASA 和 Rackspace 联合开发的开源平台 OpenStack 诞生,帮助服务商和企业实现云基础架构服务。...此外,在基于  Kubernetes 的 AI 开发平台建设实践中,使用 CPU 服务器可有效利用空置资源、空闲时间,并通过  Kubernetes 的弹性资源调度分配给其它应用。...CRI-RM 是英特尔初创的一个开源项目,其目的是通过在节点上的动态划分系统资源,配合 Kubernetes 调度器,实现在节点层面上的最优任务编排,把英特尔平台的特性完美的适配到 Kubernetes...要知道,英特尔® SGX 一直是业内机密计算方案的主要推动者。...同时英特尔® SGX 的鉴权能力可在阻断攻击的同时证明自己的运行未被篡改。如果需要实现数据“可用不可见”,英特尔® SGX 也能以“飞地”机制为机密计算中的数据与代码提供安全岛。

    43220

    锯齿湖-最具商用价值的开源区块链项目:超级账本(4)

    Sawtooth Lake(锯齿湖)是由超级账本联盟成员英特尔(Intel)公司发起的分布式账本平台试验项目,最初发布的时候称为intelledger,在进入超级账本项目后,更名为“锯齿湖”,该名称来源于美国爱达荷州锯齿山上著名的高山湖...项目概述 锯齿湖提供了一个构建、部署和运行分布式账本的高度模块化平台,功能上有其独特的地方。...这三种可直接使用的交易家族分别为:注册账本服务(EndPointRegistry)、测试部署账本(IntegerKey)和数字资产买卖交易系统(MarketPlace)。...(4)共识算法 锯齿湖项目使用的共识算法有两种:时间消逝证明(Proof of Elapsed Time,PoET)和法定人数投票(Quorum Voting)。...目前在锯齿湖里面的实现的是飞地模拟环境,并不是一个真正的可信运行环境,因此,暂时不适合在生产环境中使用PoET共识算法。

    83720

    区块链市场火爆 下面是如何学习它的技巧

    与Hyperledger一样,Ethereum是世界领先的区块链平台,它们都是大量分散应用程序(dapp)的基础,从智能合同到加密货币,如Ethereum的Ether。...在Linux基金会的支持下,Hyperledger是一项跨行业合作,旨在推进区块链技术。它的超细分类结构和锯齿模块框架可以作为企业发展分布式账本的基础。...例如,Hyperledger为商务人士提供了入门课程,他们只是想了解如何将技术应用到他们的环境中。这门课程包括了一些技术人员的入门课程,他们希望学习如何开始使用超分类框架构建区块链应用程序。...Toptal是一项服务,它将各种软件开发人员与雇主联系在一起,刚刚推出了一项新的区块链专门服务,用于寻找区块链工程师。...这可能包括对开源区块链(例如比特币)的贡献;使用模块化平台的Hyperledger系列创建业务网络;或者使用稳固性创建公共智能合同。

    1.2K20

    什么是Hyperledger?Linux如何围绕英特尔的区块链项目构建开放平台?

    对于其成员,Hyperledger不仅提供技术知识和软件框架,还提供与行业和开发人员的各种联系。        在Hyperledger历史的早期阶段,必须有所舍弃。...这一决定坚定了Hyperledger的战略目标,即建立区块链技术的工业应用,并将其与通常从基于货币的区块链发展而来的致富计划完全分离。...Hyperledger Sawtooth:这是由英特尔开发的模块化区块链套件,它使用一种称为Proof of Elapsed Time(PoeT)的新共识算法。 2....Sawtooth Lake的主要特征是它支持许可和无权限的应用和部署,并且它使用新开发的PoET的一致性算法。        PoET使用新的安全CPU指令,英特尔构建的新处理器中也常使用这种CPU。...每个节点都可以使用它的CPU - 只要它是一个新的模型,并且可能来自英特尔- 就可以免费参与让领导选择。什么是比特币挖掘,只是Sawtooth Lake软件的非侵入性部分。

    97800

    什么是云管理?

    摘要 云管理工具和技术优势: 云管理平台可为您提供混合云的单一视图,让您能够进行成本监测、工作负载调整、资源自动化。 云编排和自动化工具通过自动化的资源分配,可以帮助您提高效率并部署快速服务。...这些虚拟资源意味着人类接触点变少,而服务部署更加快速有效。 云计算和编排平台也可以通过云容器支持微观服务架构。借助容器技术,开发人员可以使用操作系统级别的虚拟化来交付软件包内软件。...Docker Enterprise 集成了英特尔® 软件防护扩展(英特尔® SGX) (英文),以便在运行容器图像前进行验证。...许多云管理平台包含了工作负载优化工具,可帮助您最有效地使用资源。这就可能涉及向可以满足您的性能和成本要求的集群移动应用程序。...英特尔® AES New Instructions(英特尔® AES-NI) (英文)可加速加密以实现最大的性能,英特尔® 软件防护扩展(英特尔® SGX) (英文)用于保护使用时的数据,英特尔® QuickAssist

    2K20

    英特尔CPU漏洞可致侧信道攻击

    TEE与英特尔的Software Guard Extensions(SGX)一样,指的是安全区域,它是处理器内确保代码和数据机密性和完整性的区域,防止攻击者入侵目标计算机,对敏感软件和数据进行修改。...SGAxe攻击:从SGX Enclaves中提取敏感数据 SGAxe攻击是基于CacheOut攻击来窃取SGX数据,尽管英特尔使用若干微代码和新架构来应对针对SGX的侧信道攻击,但这些措施都没有效果。...该攻击可以从更新的英特尔计算机上恢复SGX加密密钥。...攻击者可使用CacheOut从英特尔生产quoting enclave地址空间中恢复sealing密钥,解密quoting enclave存储,获得机器的EPID认证密钥。...由于机器的生产认证密钥遭到破坏,服务器提供的任何数据都可以由客户不受信任的应用程序读取,客户运行的enclave产生的所有数据均无法得到信任,基于SGX的DRM应用程序全部失效,任何预置的数据都可以被恢复

    82230

    芯片的后半场,“提速”依旧是第一要务,那除此之外呢?

    此外,与前几代相比,第四代英特尔® 至强® 在不增加功耗的情况下提供多达两倍的虚拟无线接入网(vRAN)容量。这使通信服务提供商能够将每瓦性能提高一倍,满足其关键的性能、扩展和能效需求。...英特尔同样关注到了这些挑战,第四代英特尔® 至强® 可扩展处理器内置的加速器可以加速云平台间和云平台内的数据移动,有效保证服务质量、基础设施开销和数据、流程可观察性的运营目标。...同时,在与英特尔其他数据中心技术配合使用时,在微服务方面会有更好的表现。如配置英特尔® 基础设施处理单元(英特尔® IPU),释放出更多 CPU 内核资源,提高应用性能,优化数据中心的整体利用率。...作为为数据中心计算提供应用隔离的芯片厂商,英特尔凭借英特尔® SGX,在私有云、公有云和从云到端的环境中,为使用中的数据提供硬件加密,以实现更小的攻击面,并利用云计算的成本节约优势和可扩展性,轻松完成扩展...不难看出,英特尔将持续与客户及产业伙伴密切合作,基于全新的第四代英特尔® 至强® 可扩展平台,大规模提供差异化解决方案和系统,助力客户解决算力挑战,共同实现可持续发展。

    29320

    英特尔CPU软件防护扩展中的新缺陷

    两个独立的学术研究团队在周三发表了描述英特尔软件卫士扩展(SGX)中缺陷的论文。 ...证明服务使用户可以在启动应用程序之前验证应用程序隔离区的身份。 研究团队表明,最近发现的缺陷可能会阻止新交所实现其目标。 SGAxe:SGX在实践中如何失败描述了长期存储的折衷方案。...他们补充道:“我们还发现,再次应用这些攻击来破坏在英特尔安全的SGX飞地中运行的代码几乎是微不足道的。”...研究人员使用性能计数器构建了一个称为“串扰”的探查器,用于检查执行非核心请求的复杂微代码指令的数量和性质。当与瞬时执行漏洞(如微体系结构数据采样(MDS))结合时,这些操作可以揭示CPU的内部状态。...研究人员写道:“即使是最近的英特尔CPU——包括公共云提供商用来支持SGX飞地的CPU——也容易受到这些攻击。”。

    1K00

    蚂蚁区块链第10课 可信计算分类以及TEE硬件隐私合约链智能合约开发实践

    此架构很利于用户使用目前基于多租户云服务架构下的软件, 因为即使黑客通过云端植入向 PC 控制底层操作系统( OS) , 因为 SGX 只信任自己和 Intel CPU 的属性,也无法操纵底层操作系统对...基于ARM64的服务器产品 ARM TrustZone提供的芯片级隔离的特点: TrustZone提供了与外界完全隔离的运行环境 • 即使外部OS完全被攻破,攻击者也无法读取或篡改安全OS • 安全世界与外部完全独立...使用TrustZone,开发难度相对来说较小。因为其本质为将可信资源与非可信资源在硬件上实现隔离。而SGX不同,开发者需要重构代码。...在蚂蚁区块链平台通用框架下,TEE 合约链利用 TEE 技术将合约引擎和必要的交易处理以及密码学运算单元集成封装在“TEE安全区”内,配合一系列严谨的安全协议流程达到隐私保护的目的。...该架构充分利用蚂蚁区块链平台已有的功能特性,最大限度增加了 TEE 合约链与已有蚂蚁区块链平台的兼容性,方便用户开发使用具有隐私保护能力的区块链应用。

    3.8K10
    领券