定期更新干货算法笔记和世间万物的学习记录～ 本文带你走进命名实体识别（NER）任务，首先介绍了解决NER任务的经典模型结构，然后通过3篇顶会论文介绍当缺少训练样本的时候，如何解决NER任务。...1 什么是NER任务 NER即命名实体识别任务，主要目的是识别出一个句子中的实体词，以及其对应的实体类型。比如下面的例子中，就是不同场景下的NER任务。在不同场景中，需要识别的实体类型也是不同的。...Example-Based Named Entity Recognition（2020）提出一种基于样例的NER解决方法，主要思路是利用一些有标注样本样例，识别出新数据中相关的entity。...例如在下面的例子中，右侧为需要识别的句子，左侧为一些有标注样本，利用左侧的标注信息识别右侧的实体（注意左侧和右侧的实体名称都是不同的）。...entity span的基础上，进一步识别这个entity span具体对应哪个entity。
标题二是聊聊“人工智能与恶意加密流量的对抗”。 这是产品发布的说明吗？ 怎么一种手把手教你做系统的感觉。 好吧，既然要教，那我就学学，人工智能还是很热门的。认真学学也好。先不管你的啥啥产品了。...一直没找到人工智能是怎么跟恶意加密流量对抗的。直到看到最后一段。终于看到“人工智能”这四个字了！ ? 图5 人工智能与恶意加密流量的对抗 看过这段文字之后，终于明白了标题二所要表述的内容。...图6 人工智能可以与恶意加密流量对抗 这是一段即没有量化，又没有逻辑的废话。“人工智能算法赋予机器以专家的智慧”这是要换头吗？...并且模型的拟合度极高，6万多样本仅1次就能达到95%以上的正确率。这样的模型可以用于网络中的加密流量识别。我只能惊叹一下，加密流量的特征好明显啊，用个屁的人工智能。 下面的模型更是雷，如图12所示。...训练所需次数少，可以推断数据的维度非常低，数据样本非常少。 少量的样本数据，低维的特征提取，最终只能出来个玩具模型。 准确率基于的是已提供样本识别率，并非现网流量识别率，这个在文中无从衡量。
自然，互联网上充斥着关于如何使用它来创建恶意软件的理论文章。ChatGPT的潜在恶意软件是什么?...有人推测ChatGPT可以做一些事情，比如创建恶意代码变体，查找恶意软件，并测试新的威胁是否可以使用基于人工智能的技术逃避检测。这还有待观察，但滥用人工智能的可能性肯定在增加。...虽然它为创建恶意软件组件提供了快捷方式，但人工智能生成的组件很容易识别。安全工具可以对它们的模式进行指纹识别——如果ChatGPT数据没有持续更新的话，这一点就更加明显了。...如果他们检测到人工智能创建了一个文件，它可以被标记为反恶意软件检查。更重要的是，安全供应商和网络防御团队也可以使用ChatGPT和其他AI工具——双方都可以使用这项技术。...通过使攻击者更难识别和利用特定的漏洞，MTD可以帮助防止高级AI生成的恶意软件成功危及终端。
创建Zuul网关服务 Spring Cloud对Zuul进行了整合与增强。Zuul作为网关层，自身也是一个微服务，跟其他服务提供者一样都注册在Eureka Server上，可以相互发现。...demo-provider: path: /demo-provider/** serviceId: demo-provider strip-prefix: false 本文给大家讲解的内容是 微服务网关与用户身份识别...，创建Zuul网关服务 下篇文章给大家讲解的是SpringCloudRPC远程调用核心原理：微服务网关与用户身份识别，Zuul过滤器； 觉得文章不错的朋友可以转发此文关注小编； 感谢大家的支持！
《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践，并分享各种案例，涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者，更加成体系的分享新知识。...八.总结 前文推荐： [当人工智能遇上安全] 1.人工智能真的安全吗？...浙大团队分享AI对抗样本技术 [当人工智能遇上安全] 2.清华张超老师 GreyOne和Fuzzing漏洞挖掘各阶段进展总结 [当人工智能遇上安全] 3.安全领域中的机器学习及机器学习恶意请求识别案例分享...实时比对，为每个进程集合创建并维护恶意行为库的匹配上下文。 内置恶意动作发生即可，顺序无关。 扩展恶意动作按顺序判定。 木马行为防御的组织层实现： 相关进程集合（创建关系，释放关系）。...杨轶等通过分析污点传播的过程，识别不同的恶意代码行为间控制指令和数据的依赖关系，从而比较恶意代码的相似性。Imran 等通过隐马尔可夫模型对待测样本的动态行为特征进行描述，并借助机器学习算法实现分类。
有趣的是，在当时人们都认为该算法将很快导致“强”人工智能的出现。即，智能的思考能力、独立思考并可以解决那些默认编程程式外任务的人工智能。...可随后就是“弱”人工智能的时代，它可以解决一些创造性的任务，比如识别图片、预测天气、玩象棋等。...误解三 机器学习——做一次就够了 恶意软件检测和人脸识别在概念上的区别，脸永远是脸，在这方面永远也不会有什么改变。...因为通过客户端的恶意样本的平均数量要比反病毒实验室收集到的恶意样本数量小得多。客户端会因为没有收集到样本进行学习而丧失应对能力。...问题是大多数同家族的恶意软件都是由一个恶意程序修改而来的。例如 Trojan-Ransom.Win32.Shade 是一个拥有超过三万个恶意样本的家族。
有趣的是，在当时人们都认为该算法将很快导致“强”人工智能的出现。即，智能的思考能力、独立思考并可以解决那些默认编程程式外任务的人工智能。...可随后就是“弱”人工智能的时代，它可以解决一些创造性的任务，比如识别图片、预测天气、玩象棋等。...误解三：机器学习——做一次就够了 恶意软件检测和人脸识别在概念上的区别，脸永远是脸，在这方面永远也不会有什么改变。...因为通过客户端的恶意样本的平均数量要比反病毒实验室收集到的恶意样本数量小得多。客户端会因为没有收集到样本进行学习而丧失应对能力。...问题是大多数同家族的恶意软件都是由一个恶意程序修改而来的。例如 Trojan-Ransom.Win32.Shade 是一个拥有超过三万个恶意样本的家族。
Deep Instinct的学习方法将恶意软件样本分解为大量的小“碎片”，恶意软件从而可以进行映射，就像是基因组序列便是由成千上万更小的序列组合构成。...这些被“分解”的样本仍是二进制位字符串，用于训练神经网络进行系统地识别。在进行了数百万次计算之后，神经网络运行于一个GPU集群中，最终得出一个能够指向终点的静态神经网络结果。...Deep Instinct恶意软件识别率远超传统安全公司 Göttingen大学举行的对16000个恶意软件样本进行识别测试中，来自西门子CERT、Bit-Defender、McAfee、Trend（趋势科技...）、AVG、卡巴斯基、Sophos以及其他安全公司平均识别率为61%，而Deep Instinct对于恶意软件的识别率则高达98.86%。...一些恶意软件样本自主突变，而其功能并没有受到影响。PDF恶意软件的识别率是99.7%，可执行文件的检测率为99.2%。
此外还会通过搜集反馈回来的失败样本，以及人工打码的标定数据，来实时训练和更新识别网络，不断迭代训练进行优化，进一步提高神经网络模型的识别能力。...由于恶意用户仅占总体用户的少部分，具有异常样本“量少”和“与正常样本表现不一样”的两个特点，且不依赖概率密度，因此此异常检测模型不会导致高维输入的下溢出问题。...该模型可识别异常用户盗号、LBS/加好友、欺诈等行为。随着样本增加，恶意请求的uin、类型、发生时间通过分析端通过线下人工分析和线上打击，达到良好的检测效果。...在恶意代码识别方面，区别传统的黑白名单库、特征检测、启发式等方法机器学习的安全应用从反病毒的代码分类、恶意文件检测、恶意URL的网页代码识别等 在社工安全防范方面，区别传统的技术与业务经验分析、安全宣传...，因此恶意访问、攻击样本的不充分，导致模型训练后的检测准确率有待提高。
一份由学术界、社会团体以及行业人士所撰写的报告《人工智能的恶意使用（Malicious Use of Artificial Intelligence）》指出，任何科技都有其双面性，在大力发展AI技术的时候...在这种干扰下，原本精确的人工智能，瞬间就沦为“人工智障”。 试想如果有人恶意制造这样的对抗样本去挑战我们身边的AI系统，结果会有多可怕呢？...犯罪分子也能够随时从面部识别模型中逃脱？ 如果存在别有用心的人，将马路上的交通指示牌替换，明明是右转的标志，自动驾驶系统缺识别为直行，极其容易酿成交通事故。...未来，AI技术或将从恶意软件的自动化攻击，进化为自动化决策，即能够根据被感染系统的参数进行智能调整、自我繁殖，攻击会变得更加静默和危险。...一旦进入到受感染的系统中，恶意软件还能够安全地学习系统的环境知识，比如受感染设备通信的内部设备，使用的端口和协议，以及账户信息等。因此，由智能化带来的威胁程度也将成倍增加。
没有不提大数据、人工智能的安全公司 前几年的RSA中，安全公司都在提用户行为分析、异常检测，今年大数据+人工智能（以下称“大数据AI”）成为了绝对的热点。...笔者早在出行前就约好了两家大数据AI的公司进行沟通交流，我们看看他们是怎么做的： Data Visor（以下简称DV） DV提供领先的欺诈检测方案，方案主要使用无监督学习来识别恶意账号的攻击，在损害发生前就抓住恶意...为解决此问题，DV将聚簇翻译成人工规则进行识别（比如说如果某一批账号在某一段时间内，在某些IP上操作，那么就是恶意的）。...感知的高可疑样本会送往安全专家进行判定（引擎会挑选具有代表性的样本，这个样本可以代表一类的恶意），判定结果将会送回模型训练器训练有监督分类模型。...大数据AI虽然有很多的难点和问题，但值得做更多的投入 从各公司的介绍来看，AI都对安全有比较可喜的提升（恶意识别能力提升、人工运营成本下降），企业应在大数据AI上投入更多资源。
摘要 近年来，随着机器学习、深度学习等人工智能技术的迅猛发展，其在图像识别、语音识别和自然语言处理等领域已经得到大规模应用，可以为传统方法很难解决或无法适用的问题提供有效的方案，也已经成为网络安全领域中的热门研究方向...，比如将人工智能应用于恶意加密流量的检测就是一种行之有效的方法。...二、总体架构 该方法从数据包级、流级和主机级三个不同层次分别提取行为特征构建多个模型来提升对黑白样本的识别能力，一部分模型使用多维特征进行综合分析，还有一部分模型使用黑白样本区分度较大且置信度较高的单维特征缓解多维特征中潜在的过拟合和误报问题...作者也尝试了使用流级的包长分布特征进行分类器训练，考虑到恶意流量样本中也包含与正常服务的通信，但又无法识别其中的良性流，所以只将包含一条流的样本拿出来作为训练集，最终将不包含任何恶意流的流量样本分类为正常...除了统计和机器学习方法外，《基于深度学习的物联网恶意软件家族细粒度分类研究》验证了深度学习在流量识别方向也具有很好的应用前景，充分展现了人工智能赋能网络安全领域的可行性。
这是因为总会有新的恶意软件样本，没有被反病毒公司分析过，或者缺乏签名来识别这些新样本。最终，该样本有可能会拒绝在分析人员的动态沙箱（sandbox）中执行。...当前的解决方案以为恶意软件样本创建签名、分类和聚类的形式存在。然而，这些解决方案只能预测样本的类别（例如，良性与恶意，或特定的恶意软件家族）。...此外，由于AE是以无监督的方式训练的，我们不需要数百万标记的样本，公司可以利用自己的恶意软件二进制数据集。 该约束读者需要理解，本文使用恶意样本进行学习和识别。...当给定一个恶意软件样本，Molly的任务是了解该样本在做什么，以便她写一份技术报告并改进公司的检测系统，从而在未来识别该类样本。...与先前识别整个样本为恶意区域的工作相比，我们识别了每个样本中的恶意区域。
如果有人想让ChatGPT写一个恶意代码去攻击别人，结果会怎么样？...如何使用ChatGPT创建勒索软件和钓鱼电子邮件 “我们从一个简单的练习开始，看看 ChatGPT 是否能创建一个可信的钓鱼活动，结果确实如此。...网络犯罪数量的上升使天平失衡 由上面的例子可以看出，从网络安全的角度来看，OpenAI的创造带来的核心挑战是，任何人，无论其技术专长如何，都可以根据需要创建生成恶意软件和勒索软件的代码。...例如，今年早些时候，新加坡政府科技署(Government Technology Agency)的安全研究人员创建了200封钓鱼电子邮件，并将点击率与深度学习模型GPT-3创建的电子邮件进行了比较，发现点击人工智能生成的钓鱼电子邮件的用户比人类用户多...“今天，我们看到有道德的黑客使用现有的人工智能来帮助编写漏洞报告，生成代码样本，并识别大型数据集的趋势。这一切都在说，当今人工智能的最佳应用是帮助人类做更多人类的事情。”
，并通过聚类和优化的LCS算法，有效识别恶意流量中的扫描流量特征（包含同质载荷内容），有效提升规则的准确率。...该分类器可基于决策树、循环神经网络等机器学习或深度学习模型构建，以完成在识别恶意流量等文本分类任务。...进一步，根据采样恶意流量载荷，进行字节级别的聚类，以将恶意流量中的扫描流量识别出来：扫描流量指包含同质载荷内容的流量集合，在聚类过程中将形成聚类簇。...在检测模型识别该载荷内容为webshell的情况下，使用LIME算法能够得到模型将该载荷样本识别为恶意webshell的关键词及其贡献程度的置信度值。...评估数据集（评估集）包含当前批次恶意流量载荷样本（采样率βm），以及正常样本（可与感知阶段检测模型使用相同训练数据集，采样率βn-his），以及与当前批次恶意流量在同一时间窗口内的正常样本（采样率βn-cur
似乎规避样本数据问题的半监督学习更能贴近我们的实际安全场景。 What 半监督学习的安全尝试中我们需要做什么呢？举个例子来说，比如要用半监督学习来做Windows恶意软件的预测和识别。...从解决方案的视角，首先需要做的是Windows恶意软件的预测和识别。细化来说，安全场景是Windows恶意软件的预测和识别，安全数据是少量黑样本和大量未标记样本的情况。...最后需要做的是从数据挖掘视角，结合Windows恶意软件攻击行为模式做数据分析和特征工程来支撑安全算法。 How 半监督学习的安全尝试中我们该怎么做呢？...上面提到的三个what该怎么做呢，针对第一点解决方案，可以使用Windows机器的软硬件配置数据评估机器被恶意软件感染的概率，使用经过沙箱程度模拟运行的Windows二进制可执行程序的动态行为数据识别Windows...又有几种实现方法，比如方式一直接利用标准分类法，将正样本和未标记样本分别看作是positive samples和negative samples，方式二Pu Bagging，利用所有正样本和未标记样本随机组合来创建训练集
《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践，并分享各种案例，涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者，更加成体系的分享新知识。...浙大团队分享AI对抗样本技术 [当人工智能遇上安全] 2.清华张超老师 GreyOne和Fuzzing漏洞挖掘各阶段进展总结 [当人工智能遇上安全] 3.安全领域中的机器学习及机器学习恶意请求识别案例分享...(3)性能评估 下面是衡量机器学习模型的性能指标，首先是一幅混淆矩阵的图表，真实类别中1代表恶意样本，0代表非恶意样本，预测类别也包括1和0，然后结果分为： TP：本身是恶意样本，并且预测识别为恶意样本...FP：本身是恶意样本，然而预测识别为非恶意样本，这是误分类的情况 FN：本身是非恶意样本，然而预测识别为恶意样本，这是误分类的情况 TN：本身是非恶意样本，并且预测识别为非恶意样本 然后是Accuracy...其中，TPRate表示分类器识别出正样本数量占所有正样本数量的比值，FPRate表示负样本数量占所有负样本数量的比值。
回答： 感染型病毒（virus）会将恶意代码插入到正常文件中，如果直接删除，用户文件也会丢失。很显然，针对这类病毒最好的处理方法是：将病毒插入的恶意代码清除，保留原始文件，不给用户造成损失。...4、样本区测试火绒时很多时候都是扫描未发现风险，双击报毒，请问官方人员，这是怎么回事？这不会对电脑产生危险吗？扫描又不报毒。...回答： “火绒安全软件”构建了多重的、立体的防御体系，除了本地扫描引擎以外，还有基于系统监控的动态病毒行为识别等防御措施。...6、火绒是否有计划加入人工智能引擎及云引擎？360的检出率很高是因为360集成了QVM引擎，我在扫描样本时几乎30%的报法都是云QVM的报法，这对查杀防御能力有很大的帮助。...12、火绒怎么在样本区检出率很低呢？而智量的检出率却很亮眼，火绒不是有强大的虚拟沙盒吗？请官方人员做个解释。 回答： 关于检出率这个话题，火绒曾在《感谢您的质疑，容我们解释一二》里作过回答。
深入分析之后，我还专门为该样本编写了Yara检测规则，当时我便意识到，我是不是也可以写一些Yara规则来识别.NET开发的恶意软件或.NET程序集。...，并生成统计数据，然后进行恶意软件家族跟踪和分类的话，该怎么办呢？...GUID频率： Pure* MVID频率： 上述的饼状图能够显示相同Typelib或MVID出现的频率和情况，同时我们也可以利用这些饼状图数据来为每个恶意软件样本集群创建有效的Yara检测规则。...Yara规则后，分类结果输出如下： 我们可以将基于程序集名称、Typelib、MVID等的Yara规则集组合起来，创建具有更高置信度的规则，并将其用于进一步的恶意软件搜索和分类等操作。...，简而言之，就是通过可靠的方法提取两个唯一GUID（Typelib和MVID）来识别恶意软件。
已经有不少朋友从后台咨询我怎么学习恶意样本分析？...那说了这么多，恶意样本分析人员怎么才能在企业安全中体现出自己的价值呢？我就从上面两个方面来给说一下，怎么最大化恶意样本分析人员的价值。...引擎的规则靠谁来提取，其实引擎只是做匹配罢了，没有原始的规则，引擎根本无法匹配的，至于现在说的一些人工智能、机器自动学习，听听就好了、企业安全存在的安全问题应该怎么防御，这些都需要安全研究人员进行安全研究...如果你会恶意样本分析，在企业应急响应中可以充分的体现出自己的价值，应急响应人员可以通过分析病毒样本，可以得出这是什么类型的病毒，这个病毒有什么危害，会不会传播，该怎么清理，以及通过在客户机器上进行样本的回溯和查找...那怎么入门恶意样本分析呢？需要学习哪些知识呢？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
