首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    每日论文速递 | NLP大佬们联合发文,倡导使用检索增强模型RA-LMs

    摘要:参数化语言模型(LMs)通过在大量网络数据上进行训练,展现出了显著的灵活性和能力。然而,它们仍然面临着诸如幻觉、难以适应新数据分布以及缺乏可验证性等实际挑战。在这篇立场论文中,我们主张将检索增强型LMs作为下一代LMs取代参数化LMs。通过在推理过程中结合大规模数据存储,检索增强型LMs可以更加可靠、适应性强,并且具有可归因性。尽管具有潜力,但检索增强型LMs由于几个障碍尚未被广泛采用:具体来说,当前的检索增强型LMs在超出知识密集型任务(如问答)的文本利用方面遇到困难,检索和LM组件之间的互动有限,缺乏用于扩展的基础设施。为了解决这些问题,我们提出了开发通用检索增强型LMs的路线图。这涉及重新考虑数据存储和检索器,探索具有改进的检索器-LM交互的流水线,并且在高效训练和推理的基础设施上进行重大投资。

    01

    静态代码扫描方法及工具介绍

    静态扫描就是不运行程序,通过扫描源代码的方式检查漏洞,常见的方法也有多种,如把源代码生成 AST(抽象语法树)后对 AST 进行分析,找出用户可控变量的使用过程是否流入到了危险函数,从而定位出漏洞;或者通过正则规则来匹配源代码,根据平常容易产生漏洞的代码定制出规则,把这些规则代入到代码中进行验证来定位漏洞。当然静态扫描由于不运行程序也有好多事情处理不了,如程序通过运算得到的一个结果后,就没办法分析这个结果了,所以需要动态运行程序来解决这个问题,也就是动态扫描,动态扫描可以通过单元测试或人工扫描等方式,下面分别介绍一下 AST 扫描 与 正则匹配两种常见静态扫描方式。

    02

    基于LTE/5G的新型隐蔽通信方案

    这项工作提出了一种新颖的框架,用于识别和利用商业无线技术中易受攻击的 MAC 层程序以进行隐蔽通信。隐蔽通信的示例包括数据泄露、远程命令与控制 (CnC) 活动。在这个框架中,隐蔽通信方案SPARROW使用现有无线网络的广播能力在不连接的情况下秘密地长距离进行消息中继。这使得 SPARROW方案能够绕过所有安全拦截系统,并在最大匿名性、每瓦多英里数和更少硬件方面获得比现有隐蔽技术更大的优势。 SPARROW方案还可以作为远程 M2M 应用的有效解决方案。本文详细介绍了LTE和5G标准中随机接入过程中最近公开的一个漏洞(CVD-2021-0045)。这项工作还针对当前和未来标准中的类似接入过程提出了严格的补救措施,以阻止复杂的 SPARROW 方案,同时对其他用户的影响最小。

    02

    分子动力学模拟之SETTLE约束算法

    在上一篇文章中,我们讨论了在分子动力学里面使用LINCS约束算法及其在具备自动微分能力的Jax框架下的代码实现。约束算法,在分子动力学模拟的过程中时常会使用到,用于固定一些既定的成键关系。例如LINCS算法一般用于固定分子体系中的键长关系,而本文将要提到的SETTLE算法,常用于固定一个构成三角形的体系,最常见的就是水分子体系。对于一个水分子而言,O-H键的键长在模拟的过程中可以固定,H-H的长度,或者我们更常见的作为一个H-O-H的夹角出现的参量,也需要固定。纯粹从计算量来考虑的话,RATTLE约束算法需要迭代计算,LINCS算法需要求矩阵逆(虽然已经给出了截断优化的算法),而SETTLE只涉及到坐标变换,显然SETTLE在约束大规模的水盒子时,性能会更加优秀。

    03

    TMI | Inf-Net:自动COVID-19 肺部CT图像感染区域分割方法

    今天给大家介绍的是阿联酋阿布扎比人工智能研究院范登平教授课题组发表在“IEEE T MED IMAGING”上的一篇文章” Inf-Net: Automatic COVID-19 Lung Infection Segmentation from CT Images”。应对COVID-19的传统医疗策略能力有限,作者提出了一种新的COVID-19肺部感染模型Inf-Net用于自动识别CT胸部切片感染区域,克服了CT图像分割的感染区域特征高变异性、感染和正常组织之间低灰度值对比以及数据匮乏的问题。作者使用平行部分解码器聚合高层次的特征并且产生全局图,用隐式的逆向注意力和显示的边缘注意力建模边界并且增强表示。此外作者创建基于一种随机选择传播策略的半监督分割框架解决了缺失标签的问题,提高了学习能力并且实现了更高的性能。作者通过实验表明Inf-Net优于绝大多数尖端的分割模型并且提高了最先进的水平并且有着良好的使用前景。

    01

    密大暑假篇:初入科研的几点心得——以交叉学科为例

    在四月的时候我和我的小伙伴们还在感慨学校暑假有多长,结果一转眼就到了八月。在这几个月中我们虽然没有课程,但是依然过的十分的忙碌,而原因就是本篇文章的重点:Research Assistant (RA)。我们在上一篇文章中有简单的提到过究竟什么是RA,但是经过了一个暑假的RA之后,猹哥发现依然还是有必要在暑假快要结束的时候思考暑假RA期间的得失与教训,因为很多问题真的是很难发现却又很有必要提出的,同时很多学习或工作期间的优势有可能会变成劣势。所以这一篇文章我们以点带面,希望通过一些很小的细节来引入,来看看初入科研的时候,有哪些东西可能和之前想的不一样了。

    03

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券