定期更新干货算法笔记和世间万物的学习记录～ 本文带你走进命名实体识别（NER）任务，首先介绍了解决NER任务的经典模型结构，然后通过3篇顶会论文介绍当缺少训练样本的时候，如何解决NER任务。...1 什么是NER任务 NER即命名实体识别任务，主要目的是识别出一个句子中的实体词，以及其对应的实体类型。比如下面的例子中，就是不同场景下的NER任务。在不同场景中，需要识别的实体类型也是不同的。...Example-Based Named Entity Recognition（2020）提出一种基于样例的NER解决方法，主要思路是利用一些有标注样本样例，识别出新数据中相关的entity。...例如在下面的例子中，右侧为需要识别的句子，左侧为一些有标注样本，利用左侧的标注信息识别右侧的实体（注意左侧和右侧的实体名称都是不同的）。...entity span的基础上，进一步识别这个entity span具体对应哪个entity。
标题二是聊聊“人工智能与恶意加密流量的对抗”。 这是产品发布的说明吗？ 怎么一种手把手教你做系统的感觉。 好吧，既然要教，那我就学学，人工智能还是很热门的。认真学学也好。先不管你的啥啥产品了。...一直没找到人工智能是怎么跟恶意加密流量对抗的。直到看到最后一段。终于看到“人工智能”这四个字了！ ? 图5 人工智能与恶意加密流量的对抗 看过这段文字之后，终于明白了标题二所要表述的内容。...图6 人工智能可以与恶意加密流量对抗 这是一段即没有量化，又没有逻辑的废话。“人工智能算法赋予机器以专家的智慧”这是要换头吗？...并且模型的拟合度极高，6万多样本仅1次就能达到95%以上的正确率。这样的模型可以用于网络中的加密流量识别。我只能惊叹一下，加密流量的特征好明显啊，用个屁的人工智能。 下面的模型更是雷，如图12所示。...训练所需次数少，可以推断数据的维度非常低，数据样本非常少。 少量的样本数据，低维的特征提取，最终只能出来个玩具模型。 准确率基于的是已提供样本识别率，并非现网流量识别率，这个在文中无从衡量。
例如语音识别，就是在求取合适的变换函数，将输入的一维时序语音信号变换到语义空间；而近来引发全民关注的围棋人工智能AlphaGo则是将输入的二维布局图像变换到决策空间以决定下一步的最优走法；相应的，人脸识别也是在求取合适的变换函数...尤其在大型互联网公司，如何在海量请求中又快又准地识别出恶意攻击请求，成为摆在我们面前的一道难题。...本文将介绍携程信息安全部在web攻击识别方面的机器学习实践之路。 二、恶意攻击检测系统架构介绍 ?...若是机器学习误报，白流量识别为黑，首先想到的是否黑样本不纯，另外就是特征提取有问题。 （3）如果机器学习漏报，那怎么办呢？按图2的流程我们根本不知道我们漏报了哪些。...监督学习的目的是通过学习许多有标签的样本，然后对新的数据做出预测。当然也有人提出过无监督的思路，建立正常流量模型，不符合模型的都识别为恶意，比如使用聚类分析，本文不做进一步讨论。
例如语音识别，就是在求取合适的变换函数，将输入的一维时序语音信号变换到语义空间；而近来引发全民关注的围棋人工智能AlphaGo则是将输入的二维布局图像变换到决策空间以决定下一步的最优走法；相应的，人脸识别也是在求取合适的变换函数...尤其在大型互联网公司，如何在海量请求中又快又准地识别出恶意攻击请求，成为摆在我们面前的一道难题。...若是机器学习误报，白流量识别为黑，首先想到的是否黑样本不纯，另外就是特征提取有问题。 （3）如果机器学习漏报，那怎么办呢？按图2的流程我们根本不知道我们漏报了哪些。...监督学习的目的是通过学习许多有标签的样本，然后对新的数据做出预测。当然也有人提出过无监督的思路，建立正常流量模型，不符合模型的都识别为恶意，比如使用聚类分析，本文不做进一步讨论。...加入多分类，可以识别出不同web攻击的类型，从而更好的和hulk结合。 在其他方面的应用，例如随机域名检测，ugc恶意评论，色情图片识别等等，目前这方面我们也已经陆续展开了实践。
有趣的是，在当时人们都认为该算法将很快导致“强”人工智能的出现。即，智能的思考能力、独立思考并可以解决那些默认编程程式外任务的人工智能。...可随后就是“弱”人工智能的时代，它可以解决一些创造性的任务，比如识别图片、预测天气、玩象棋等。...误解三 机器学习——做一次就够了 恶意软件检测和人脸识别在概念上的区别，脸永远是脸，在这方面永远也不会有什么改变。...因为通过客户端的恶意样本的平均数量要比反病毒实验室收集到的恶意样本数量小得多。客户端会因为没有收集到样本进行学习而丧失应对能力。...问题是大多数同家族的恶意软件都是由一个恶意程序修改而来的。例如 Trojan-Ransom.Win32.Shade 是一个拥有超过三万个恶意样本的家族。
有趣的是，在当时人们都认为该算法将很快导致“强”人工智能的出现。即，智能的思考能力、独立思考并可以解决那些默认编程程式外任务的人工智能。...可随后就是“弱”人工智能的时代，它可以解决一些创造性的任务，比如识别图片、预测天气、玩象棋等。...误解三：机器学习——做一次就够了 恶意软件检测和人脸识别在概念上的区别，脸永远是脸，在这方面永远也不会有什么改变。...因为通过客户端的恶意样本的平均数量要比反病毒实验室收集到的恶意样本数量小得多。客户端会因为没有收集到样本进行学习而丧失应对能力。...问题是大多数同家族的恶意软件都是由一个恶意程序修改而来的。例如 Trojan-Ransom.Win32.Shade 是一个拥有超过三万个恶意样本的家族。
例如语音识别，就是在求取合适的变换函数，将输入的一维时序语音信号变换到语义空间；而近来引发全民关注的围棋人工智能AlphaGo则是将输入的二维布局图像变换到决策空间以决定下一步的最优走法；相应的，人脸识别也是在求取合适的变换函数...尤其在大型互联网公司，如何在海量请求中又快又准地识别出恶意攻击请求，成为摆在我们面前的一道难题。...若是机器学习误报，白流量识别为黑，首先想到的是否黑样本不纯，另外就是特征提取有问题。 如果机器学习漏报，那怎么办呢？按图2的流程我们根本不知道我们漏报了哪些。...监督学习的目的是通过学习许多有标签的样本，然后对新的数据做出预测。当然也有人提出过无监督的思路，建立正常流量模型，不符合模型的都识别为恶意，比如使用聚类分析，本文不做进一步讨论。...加入多分类，可以识别出不同web攻击的类型，从而更好的和hulk结合。 在其他方面的应用，例如随机域名检测，ugc恶意评论，色情图片识别等等，目前这方面我们也已经陆续展开了实践。
Deep Instinct的学习方法将恶意软件样本分解为大量的小“碎片”，恶意软件从而可以进行映射，就像是基因组序列便是由成千上万更小的序列组合构成。...这些被“分解”的样本仍是二进制位字符串，用于训练神经网络进行系统地识别。在进行了数百万次计算之后，神经网络运行于一个GPU集群中，最终得出一个能够指向终点的静态神经网络结果。...Deep Instinct恶意软件识别率远超传统安全公司 Göttingen大学举行的对16000个恶意软件样本进行识别测试中，来自西门子CERT、Bit-Defender、McAfee、Trend（趋势科技...）、AVG、卡巴斯基、Sophos以及其他安全公司平均识别率为61%，而Deep Instinct对于恶意软件的识别率则高达98.86%。...一些恶意软件样本自主突变，而其功能并没有受到影响。PDF恶意软件的识别率是99.7%，可执行文件的检测率为99.2%。
此外还会通过搜集反馈回来的失败样本，以及人工打码的标定数据，来实时训练和更新识别网络，不断迭代训练进行优化，进一步提高神经网络模型的识别能力。...由于恶意用户仅占总体用户的少部分，具有异常样本“量少”和“与正常样本表现不一样”的两个特点，且不依赖概率密度，因此此异常检测模型不会导致高维输入的下溢出问题。...该模型可识别异常用户盗号、LBS/加好友、欺诈等行为。随着样本增加，恶意请求的uin、类型、发生时间通过分析端通过线下人工分析和线上打击，达到良好的检测效果。...在恶意代码识别方面，区别传统的黑白名单库、特征检测、启发式等方法机器学习的安全应用从反病毒的代码分类、恶意文件检测、恶意URL的网页代码识别等 在社工安全防范方面，区别传统的技术与业务经验分析、安全宣传...，因此恶意访问、攻击样本的不充分，导致模型训练后的检测准确率有待提高。
尤其在大型互联网公司，如何在海量请求中又快又准地识别出恶意攻击请求，成为摆在我们面前的一道难题。...本文将介绍携程信息安全部在web攻击识别方面的机器学习实践之路。 二、恶意攻击检测系统nile架构介绍 ?...若是机器学习误报，白流量识别为黑，首先想到的是否黑样本不纯，另外就是特征提取有问题。 3. 如果机器学习漏报，那怎么办呢？按图2的流程我们根本不知道我们漏报了哪些。...监督学习的目的是通过学习许多有标签的样本，然后对新的数据做出预测。当然也有人提出过无监督的思路，建立正常流量模型，不符合模型的都识别为恶意，比如使用聚类分析，本文不做进一步讨论。...加入多分类，可以识别出不同web攻击的类型，从而更好的和hulk结合。 3. 在其他方面的应用，例如随机域名检测，ugc恶意评论，色情图片识别等等，目前这方面我们也已经陆续展开了实践。 4.
没有不提大数据、人工智能的安全公司 前几年的RSA中，安全公司都在提用户行为分析、异常检测，今年大数据+人工智能（以下称“大数据AI”）成为了绝对的热点。...笔者早在出行前就约好了两家大数据AI的公司进行沟通交流，我们看看他们是怎么做的： Data Visor（以下简称DV） DV提供领先的欺诈检测方案，方案主要使用无监督学习来识别恶意账号的攻击，在损害发生前就抓住恶意...为解决此问题，DV将聚簇翻译成人工规则进行识别（比如说如果某一批账号在某一段时间内，在某些IP上操作，那么就是恶意的）。...感知的高可疑样本会送往安全专家进行判定（引擎会挑选具有代表性的样本，这个样本可以代表一类的恶意），判定结果将会送回模型训练器训练有监督分类模型。...大数据AI虽然有很多的难点和问题，但值得做更多的投入 从各公司的介绍来看，AI都对安全有比较可喜的提升（恶意识别能力提升、人工运营成本下降），企业应在大数据AI上投入更多资源。
迁移学习为两类问题提供了解决路径，这也是迁移学习存在的实际价值： 一是在数据样本量小的行业中，人工智能学习、认知的问题。...比方说我们准备新开一个售卖零食的网店，由于没有数据积累，无法从售卖其他商品的网店推荐顾客来购买，这时候如果我们知道顾客买饮料的时候很有可能也会买零食，并且卖饮料的网店已经积累了大量数据，就能够利用这些数据...，结合顾客买饮料和零食的习惯建一个模型。...实现迁移学习的方法 1）样本迁移，就是我们在数据集里面找到跟目标领域相似的数据，把这个数据放大多倍，这个叫做样本迁移，通过样本来达到迁移的目的； 2）特征迁移，可以观察到有些相似的特征，然后利用这些特征...比如在语音识别中，虽然识别普通话有海量数据可供人工智能学习，但是对于方言，其样本数据量就不够。
一份由学术界、社会团体以及行业人士所撰写的报告《人工智能的恶意使用（Malicious Use of Artificial Intelligence）》指出，任何科技都有其双面性，在大力发展AI技术的时候...在这种干扰下，原本精确的人工智能，瞬间就沦为“人工智障”。 试想如果有人恶意制造这样的对抗样本去挑战我们身边的AI系统，结果会有多可怕呢？...犯罪分子也能够随时从面部识别模型中逃脱？ 如果存在别有用心的人，将马路上的交通指示牌替换，明明是右转的标志，自动驾驶系统缺识别为直行，极其容易酿成交通事故。...未来，AI技术或将从恶意软件的自动化攻击，进化为自动化决策，即能够根据被感染系统的参数进行智能调整、自我繁殖，攻击会变得更加静默和危险。...一旦进入到受感染的系统中，恶意软件还能够安全地学习系统的环境知识，比如受感染设备通信的内部设备，使用的端口和协议，以及账户信息等。因此，由智能化带来的威胁程度也将成倍增加。
《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践，并分享各种案例，涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者，更加成体系的分享新知识。...八.总结 前文推荐： [当人工智能遇上安全] 1.人工智能真的安全吗？...浙大团队分享AI对抗样本技术 [当人工智能遇上安全] 2.清华张超老师 GreyOne和Fuzzing漏洞挖掘各阶段进展总结 [当人工智能遇上安全] 3.安全领域中的机器学习及机器学习恶意请求识别案例分享...恶意代码分析是一种解剖恶意代码的艺术，了解恶意代码是如何工作、如何识别，以及如何战胜或消除它。 现阶段，恶意代码呈现变种数量多、传播速度快、影响范围广的特点。...杨轶等通过分析污点传播的过程，识别不同的恶意代码行为间控制指令和数据的依赖关系，从而比较恶意代码的相似性。Imran 等通过隐马尔可夫模型对待测样本的动态行为特征进行描述，并借助机器学习算法实现分类。
摘要 近年来，随着机器学习、深度学习等人工智能技术的迅猛发展，其在图像识别、语音识别和自然语言处理等领域已经得到大规模应用，可以为传统方法很难解决或无法适用的问题提供有效的方案，也已经成为网络安全领域中的热门研究方向...，比如将人工智能应用于恶意加密流量的检测就是一种行之有效的方法。...二、总体架构 该方法从数据包级、流级和主机级三个不同层次分别提取行为特征构建多个模型来提升对黑白样本的识别能力，一部分模型使用多维特征进行综合分析，还有一部分模型使用黑白样本区分度较大且置信度较高的单维特征缓解多维特征中潜在的过拟合和误报问题...作者也尝试了使用流级的包长分布特征进行分类器训练，考虑到恶意流量样本中也包含与正常服务的通信，但又无法识别其中的良性流，所以只将包含一条流的样本拿出来作为训练集，最终将不包含任何恶意流的流量样本分类为正常...除了统计和机器学习方法外，《基于深度学习的物联网恶意软件家族细粒度分类研究》验证了深度学习在流量识别方向也具有很好的应用前景，充分展现了人工智能赋能网络安全领域的可行性。
它识别（不管准确与否）的每一张照片都会被添加到教学数据组，程序因而能够逐渐变得更加“智能”，变得更加善于完成任务。 这实际上就是学习的过程。 1. 数据安全性 恶意软件是一个越来越严峻的问题。...不过，以色列深度学习技术公司Deep Instinct公司指出，各个新恶意软件通常都有跟旧版本一样的代码——只有2%到10%的恶意软件文件出现迭代变化。...也许，你曾碰到过这样的情况：你在网上商店上浏览某件产品，但没有买，而过了几天后，你在浏览各个不同的网站上都会看到那款产品的数字广告。这种个性化营销其实只是冰山一角。...这些推荐技术正变得越来越智能，例如，它们能够判断你可能是买特定商品作为礼物（而非买给自己），又或者识别出有不同电视观看偏好的其他家庭成员。 8....智能汽车 IBM最近对汽车行业的高管的调查结果显示，74%预计智能汽车将会在2025年正式上路行驶。智能汽车将不仅仅整合物联网，还会了解车主和它周围的环境。
，并通过聚类和优化的LCS算法，有效识别恶意流量中的扫描流量特征（包含同质载荷内容），有效提升规则的准确率。...该分类器可基于决策树、循环神经网络等机器学习或深度学习模型构建，以完成在识别恶意流量等文本分类任务。...进一步，根据采样恶意流量载荷，进行字节级别的聚类，以将恶意流量中的扫描流量识别出来：扫描流量指包含同质载荷内容的流量集合，在聚类过程中将形成聚类簇。...在检测模型识别该载荷内容为webshell的情况下，使用LIME算法能够得到模型将该载荷样本识别为恶意webshell的关键词及其贡献程度的置信度值。...评估数据集（评估集）包含当前批次恶意流量载荷样本（采样率βm），以及正常样本（可与感知阶段检测模型使用相同训练数据集，采样率βn-his），以及与当前批次恶意流量在同一时间窗口内的正常样本（采样率βn-cur
尤其在大型互联网公司，如何在海量请求中又快又准地识别出恶意攻击请求，成为摆在我们面前的一道难题。...若是机器学习误报，白流量识别为黑，首先想到的是否黑样本不纯，另外就是特征提取有问题。 3.如果机器学习漏报，那怎么办呢？按图2的流程我们根本不知道我们漏报了哪些。...监督学习的目的是通过学习许多有标签的样本，然后对新的数据做出预测。当然也有人提出过无监督的思路，建立正常流量模型，不符合模型的都识别为恶意，比如使用聚类分析，本文不做进一步讨论。...样本数据清洗： 虽然我们已经明确了如何提取特征，建模貌似也ok了，这时我们问自己一个问题：训练数据覆盖率怎么样，原始训练数据的标签是否准确？如果我们本身的训练样本就不纯净，结果一定也不尽如人意。...2.加入多分类，可以识别出不同web攻击的类型，从而更好的和hulk结合。 3.在其他方面的应用，例如随机域名检测，ugc恶意评论，色情图片识别等等，目前这方面我们也已经陆续展开了实践。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
