首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

7.基于机器学习的安全数据集总结

《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践,并分享各种案例,涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者,更加成体系的分享新知识。...内容类型:图像样本 使用范围:图像分类、恶意家族分类 推荐理由:个人感觉这是图像分类实验的基础,恶意样本转换灰度图进行恶意家族分类实验也都可以基于此实验拓展 下载地址:https://github.com...推荐作者文章: 图像分类原理及基于KNN、朴素贝叶斯算法的图像分类案例 MNIST-手写数字 MNIST数据集 是手写体识别数据集,也是入门级的计算机视觉数据集。...内容类型:图像样本 使用范围:图像分类、恶意家族分类 推荐理由:个人感觉这是图像分类实验的基础,恶意样本转换灰度图进行恶意家族分类实验也都可以基于此实验拓展。...发布机构:麻省理工学院 内容类型:图像样本 数据大小:31.2GB 使用范围:图像分类、自然灾害识别 推荐理由:个人感觉该数据集对于对抗样本、AI和安全结合的案例有帮助 下载地址:https://hyper.ai

1.6K20

4.基于机器学习的恶意代码检测技术详解

《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践,并分享各种案例,涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者,更加成体系的分享新知识。....深度学习静态检测举例 6.优缺点 7.静态分析和动态分析对比 三.机器学习算法在工业界的应用 四.总结 前文推荐: [当人工智能遇上安全] 1.人工智能真的安全吗?...浙大团队分享AI对抗样本技术 [当人工智能遇上安全] 2.清华张超老师 GreyOne和Fuzzing漏洞挖掘各阶段进展总结 [当人工智能遇上安全] 3.安全领域中的机器学习及机器学习恶意请求识别案例分享...(3)性能评估 下面是衡量机器学习模型的性能指标,首先是一幅混淆矩阵的图表,真实类别中1代表恶意样本,0代表非恶意样本,预测类别也包括1和0,然后结果分为: TP:本身是恶意样本,并且预测识别恶意样本...FP:本身是恶意样本,然而预测识别为非恶意样本,这是误分类的情况 FN:本身是非恶意样本,然而预测识别恶意样本,这是误分类的情况 TN:本身是非恶意样本,并且预测识别为非恶意样本 然后是Accuracy

1.2K30
您找到你想要的搜索结果了吗?
是的
没有找到

AI被攻击者滥用后,是人工智能还是“人工智障”?

一份由学术界、社会团体以及行业人士所撰写的报告《人工智能恶意使用(Malicious Use of Artificial Intelligence)》指出,任何科技都有其双面性,在大力发展AI技术的时候...在这种干扰下,原本精确的人工智能,瞬间就沦为“人工智障”。 试想如果有人恶意制造这样的对抗样本去挑战我们身边的AI系统,结果会有多可怕呢?...未来,AI技术或将从恶意软件的自动化攻击,进化为自动化决策,即能够根据被感染系统的参数进行智能调整、自我繁殖,攻击会变得更加静默和危险。...一旦进入到受感染的系统中,恶意软件还能够安全地学习系统的环境知识,比如受感染设备通信的内部设备,使用的端口和协议,以及账户信息等。因此,由智能化带来的威胁程度也将成倍增加。...基于现状,企业能做的有两点: 一是密切关注该领域的发展动向,加大AI网络安全的投入力度;二是做好针对此类攻击的风险控制,采用业界推荐的安全最佳实践。

1K10

3.安全领域中的机器学习及机器学习恶意请求识别案例分享

《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践,并分享各种案例,涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者,更加成体系的分享新知识。...5.完整代码 四.总结 前文推荐: [当人工智能遇上安全] 1.人工智能真的安全吗?...浙大团队分享AI对抗样本技术 [当人工智能遇上安全] 2.清华张超老师 GreyOne和Fuzzing漏洞挖掘各阶段进展总结 [当人工智能遇上安全] 3.安全领域中的机器学习及机器学习恶意请求识别案例分享...无法发现未知模式的恶意行为 误报大量测试异常的正常行为 对数据数量与质量有强依赖性 三.逻辑回归识别网站恶意请求 接下来作者复现了Github上exp-db大神的代码,推荐大家阅读之前的参考文献中大神的作品...一步一个脚印前行,接下来希望通过深度学习实现更多的恶意代码识别和对抗样本

1.7K30

机器学习在安全攻防场景的应用与分析

机器学习能够深入挖掘大数据价值,被广泛用于电影推荐、饮食及产品购买推荐等各方面。Amazon、Facebook 与Google等众多公司也已用机器学习来改进其产品及服务。...此外还会通过搜集反馈回来的失败样本,以及人工打码的标定数据,来实时训练和更新识别网络,不断迭代训练进行优化,进一步提高神经网络模型的识别能力。...由于恶意用户仅占总体用户的少部分,具有异常样本“量少”和“与正常样本表现不一样”的两个特点,且不依赖概率密度,因此此异常检测模型不会导致高维输入的下溢出问题。...该模型可识别异常用户盗号、LBS/加好友、欺诈等行为。随着样本增加,恶意请求的uin、类型、发生时间通过分析端通过线下人工分析和线上打击,达到良好的检测效果。...,因此恶意访问、攻击样本的不充分,导致模型训练后的检测准确率有待提高。

8.2K80

京东商城技术架构部 | 我为11.11保驾护航

▲备战中 智能存储部 智能存储部负责京东图片系统和对象存储整体架构与维护,保障11.11大促期间图片展示及整体存储服务稳如泰山!...智能存储部参与前台千人千面项目,提供APP首页首焦广告图智能排版、各推荐位透底图输出等服务,保障11.11大促期间千人千面高效落地! ? 智能存储,坚如磐石, 稳如泰山,无懈可击!...数据库技术部 数据库技术部对数据库系统进行优化和智能化改造,通过智能分析预测技术,在大促前对资源进行合理调度;通过对监控升级,在大促期间应对高峰及时预警;通过接入ContainerFS对备份系统升级,在事后灾备方面做好切换及恢复的准备和方案...,从事前、事中、事后对11.11大促进行全面保障,力争做到防患未然,及时发现,最快处理,确保11.11数据库安全、稳定、高效运行。...对用户社区的评价问答提供最后的防火线,违禁识别占比99%。为前台提供情感理解、语义标签、差异化京豆激励等一系列服务,有效防止问题商品和低质评论进入京东生态,提升用户体验。 ?

12.7K30

在网络安全领域应用机器学习的困难和对策

相比于机器学习、深度学习在人脸识别推荐系统、舆情监督等方面的大规模成功应用,其在网络安全领域表现平平必然存在某些特殊的原因。...对此让我们进一步对比人工智能在其他领域产生错误分类的影响,相比之下可能会更有启发。 电商的推荐系统是运用人工智能最成功的领域之一。推荐系统很容易容忍错误,因为这些错误不会产生直接的负面影响。...攻击者通过产生一些可以绕过人工智能检测系统的对抗样本,这些是可以成功地逃避安全系统检测的对抗样本,实现对系统的恶意攻击,给系统的安全性带来严重威胁。...我们很难限制待检测的恶意软件的大小,没有理由限制待检测的恶意代码样本的行数,没办法限制要检测的网络流量的数据包内容,因此这就给了对抗样本更大的发挥空间。...另一个可能思路,如训练过程中训练数据集单个样本最大为2MB,则可以添加过滤条件模型输入样本最大为2MB。 2. 从模型本身训练其辨别良性、恶意数据的能力。

1.1K20

关于机器学习在网络安全中的五大误解

有趣的是,在当时人们都认为该算法将很快导致“强”人工智能的出现。即,智能的思考能力、独立思考并可以解决那些默认编程程式外任务的人工智能。...可随后就是“弱”人工智能的时代,它可以解决一些创造性的任务,比如识别图片、预测天气、玩象棋等。...误解三:机器学习——做一次就够了 恶意软件检测和人脸识别在概念上的区别,脸永远是脸,在这方面永远也不会有什么改变。...因为通过客户端的恶意样本的平均数量要比反病毒实验室收集到的恶意样本数量小得多。客户端会因为没有收集到样本进行学习而丧失应对能力。...问题是大多数同家族的恶意软件都是由一个恶意程序修改而来的。例如 Trojan-Ransom.Win32.Shade 是一个拥有超过三万个恶意样本的家族。

1.6K50

关于机器学习在网络安全中的五大误解

有趣的是,在当时人们都认为该算法将很快导致“强”人工智能的出现。即,智能的思考能力、独立思考并可以解决那些默认编程程式外任务的人工智能。...可随后就是“弱”人工智能的时代,它可以解决一些创造性的任务,比如识别图片、预测天气、玩象棋等。...误解三 机器学习——做一次就够了 恶意软件检测和人脸识别在概念上的区别,脸永远是脸,在这方面永远也不会有什么改变。...因为通过客户端的恶意样本的平均数量要比反病毒实验室收集到的恶意样本数量小得多。客户端会因为没有收集到样本进行学习而丧失应对能力。...问题是大多数同家族的恶意软件都是由一个恶意程序修改而来的。例如 Trojan-Ransom.Win32.Shade 是一个拥有超过三万个恶意样本的家族。

1.6K20

深度学习:能击败欧洲围棋冠军,还能防恶意软件

Deep Instinct的学习方法将恶意软件样本分解为大量的小“碎片”,恶意软件从而可以进行映射,就像是基因组序列便是由成千上万更小的序列组合构成。...这些被“分解”的样本仍是二进制位字符串,用于训练神经网络进行系统地识别。在进行了数百万次计算之后,神经网络运行于一个GPU集群中,最终得出一个能够指向终点的静态神经网络结果。...Deep Instinct恶意软件识别率远超传统安全公司 Göttingen大学举行的对16000个恶意软件样本进行识别测试中,来自西门子CERT、Bit-Defender、McAfee、Trend(趋势科技...)、AVG、卡巴斯基、Sophos以及其他安全公司平均识别率为61%,而Deep Instinct对于恶意软件的识别率则高达98.86%。...一些恶意软件样本自主突变,而其功能并没有受到影响。PDF恶意软件的识别率是99.7%,可执行文件的检测率为99.2%。

1.2K70

网络安全自学篇(二十二)| 基于机器学习的恶意请求识别及安全领域中的机器学习

该模型可识别异常用户盗号、LBS/加好友、欺诈等行为。随着样本增加,恶意请求的uin、类型、发生时间通过分析端通过线下人工分析和线上打击,达到良好的检测效果。...(1) 基于签名特征码的检测 签名特征码检测方法通过维护一个已知的恶意代码库,将待检测代码样本的特征码与恶意代码库中的特征码进行比对,如果特征码出现匹配,则样本恶意代码。...三.逻辑回归识别网站恶意请求 接下来作者复现了Github上exp-db大神的代码,推荐大家阅读之前的参考文献中大神的作品。...5.完整代码 完整代码如下,并推荐大家去Github学习很多有些的代码,也推荐大家去FreeBuf、安全客、CVE等网站学习。...一步一个脚印前行,接下来希望通过深度学习实现更多的恶意代码识别和对抗样本,准备开启TensorFlow2.0和更多的安全基础系列的学习。

4.1K80

三十三.恶意代码检测(3)基于机器学习的恶意代码检测技术

显然,LBP特征进行了一个降维的操作,左边的图片显示了人脸识别不应该受光照影响,不同光照的图片进行LBP特征提取后,显示结果都一样。 该部分的最后,作者也推荐一些书籍供大家学习。...广泛应用于文本分类、语音识别中,同样适用于恶意代码检测。...(3)性能评估 下面是衡量机器学习模型的性能指标,首先是一幅混淆矩阵的图表,真实类别中1代表恶意样本,0代表非恶意样本,预测类别也包括1和0,然后结果分为: TP:本身是恶意样本,并且预测识别恶意样本...FP:本身是恶意样本,然而预测识别为非恶意样本,这是误分类的情况 FN:本身是非恶意样本,然而预测识别恶意样本,这是误分类的情况 TN:本身是非恶意样本,并且预测识别为非恶意样本 然后是Accuracy...其中,TPRate表示分类器识别出正样本数量占所有正样本数量的比值,FPRate表示负样本数量占所有负样本数量的比值。

2.1K20

京东何晓冬、梅涛入选IEEE Fellow | 强大AI能力落地 助推行业发展

何晓冬博士的主要研究方向为人工智能领域,包括深度学习、自然语言处理、语音识别、计算机视觉、多模态智能及信息检索。...在今年11.11京东全球好物节期间,截至11日24点,超1630万次消费者咨询由智能客服处理,其中90%的问题由智能客服独立解决。对比今年618,日均接待量增长72%。...此外,在何晓冬团队的努力下,京东人工智能平台与研究部11.11期间试点上线AI导购助手Alpha Sales,面向家电销售服务特色场景使用,在大促高流量、高转化率要求下,提升品牌导购员服务效率42.4%...11.11当天京东拍照购订单金额是去年11月11日的7倍;11.11期间,京东拍照购入口日均订单金额是去年同期的5.3倍。...以京东人工智能开放平台NeuHub为例,在今年11.11大促期间,平台上图像审核、情感分析、语音识别等人工智能技术接口实现对集团内部业务支持,累计调用量达到148.7亿次以上。

7.9K20

人工智能网络安全?请再认真点!

一直没找到人工智能是怎么跟恶意加密流量对抗的。直到看到最后一段。终于看到“人工智能”这四个字了! ? 图5 人工智能恶意加密流量的对抗 看过这段文字之后,终于明白了标题二所要表述的内容。...图6 人工智能可以与恶意加密流量对抗 这是一段即没有量化,又没有逻辑的废话。“人工智能算法赋予机器以专家的智慧”这是要换头吗?...并且模型的拟合度极高,6万多样本仅1次就能达到95%以上的正确率。这样的模型可以用于网络中的加密流量识别。我只能惊叹一下,加密流量的特征好明显啊,用个屁的人工智能。 下面的模型更是雷,如图12所示。...训练所需次数少,可以推断数据的维度非常低,数据样本非常少。 少量的样本数据,低维的特征提取,最终只能出来个玩具模型。 准确率基于的是已提供样本识别率,并非现网流量识别率,这个在文中无从衡量。...这样就敢说实现xxx种协议的识别,准确率达到99%。确实有点不合实际。 不服来辨…… 文章到最后也没有对检测引擎的产品给出具体的量化指标,比如:训练样本为多少条,都有哪些类型,各多少条。

1K10

5.基于机器学习算法的主机恶意代码识别研究

《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践,并分享各种案例,涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者,更加成体系的分享新知识。...八.总结 前文推荐: [当人工智能遇上安全] 1.人工智能真的安全吗?...浙大团队分享AI对抗样本技术 [当人工智能遇上安全] 2.清华张超老师 GreyOne和Fuzzing漏洞挖掘各阶段进展总结 [当人工智能遇上安全] 3.安全领域中的机器学习及机器学习恶意请求识别案例分享...恶意代码分析是一种解剖恶意代码的艺术,了解恶意代码是如何工作、如何识别,以及如何战胜或消除它。 现阶段,恶意代码呈现变种数量多、传播速度快、影响范围广的特点。...杨轶等通过分析污点传播的过程,识别不同的恶意代码行为间控制指令和数据的依赖关系,从而比较恶意代码的相似性。Imran 等通过隐马尔可夫模型对待测样本的动态行为特征进行描述,并借助机器学习算法实现分类。

89810

加密恶意流量优秀检测思路分享

摘要 近年来,随着机器学习、深度学习等人工智能技术的迅猛发展,其在图像识别、语音识别和自然语言处理等领域已经得到大规模应用,可以为传统方法很难解决或无法适用的问题提供有效的方案,也已经成为网络安全领域中的热门研究方向...,比如将人工智能应用于恶意加密流量的检测就是一种行之有效的方法。...二、总体架构 该方法从数据包级、流级和主机级三个不同层次分别提取行为特征构建多个模型来提升对黑白样本识别能力,一部分模型使用多维特征进行综合分析,还有一部分模型使用黑白样本区分度较大且置信度较高的单维特征缓解多维特征中潜在的过拟合和误报问题...作者也尝试了使用流级的包长分布特征进行分类器训练,考虑到恶意流量样本中也包含与正常服务的通信,但又无法识别其中的良性流,所以只将包含一条流的样本拿出来作为训练集,最终将不包含任何恶意流的流量样本分类为正常...除了统计和机器学习方法外,《基于深度学习的物联网恶意软件家族细粒度分类研究》验证了深度学习在流量识别方向也具有很好的应用前景,充分展现了人工智能赋能网络安全领域的可行性。

2.8K20

TenSec 再掀 AI 热:腾讯云如何将 AI 应用于安全

通常在异常识别上采用有监督或无监督模型,误杀和漏过都高,输出通常为分类和解释,有变种。垃圾消息和推荐任务通常用会有监督模型,通过标签进行输出。...在入侵、病毒、木马、DDOS 攻击、APK 恶意打包、恶意注册登录等多个纬度,都是攻击的最主要载体之一,单独的机器学习模型无法有效识别恶意帐号,恶意帐号的操控人五花八门,目的各异,无规律和统计特性。...而我们最终是需要通过监控恶意的帐号发现恶意,形成各类恶意的感知和 AI 模型的样本及预测防御能力。...在画像层我们对用户画像、设备指纹、知识图谱构建,在源数据层是终端数据、身份数据、恶意数据等内容,在基础算法层有 OOB、GBDT、boosting(反欺诈),在图像上的 NLP、OCR、人脸,推荐算法上的...对方积累了10000个字符库,超过5000万 样本库,对6个字符以内的验证码可以快速识别

1.3K50

深度 | Ian Goodfellow AIWTB开发者大会演讲:对抗样本与差分隐私

让不同的物体被识别为「飞机」 ? 现代深度网络是非常分段线性的 ? 反应中的接近线性的响应 ? ? 对抗样本不是噪声 ? 让高斯噪声被识别为一架飞机 ?...对抗样本的实际应用 欺骗通过远程托管的 API(MetaMind、亚马逊、谷歌)训练的真实分类器 欺骗恶意软件检测器网络 在物理世界中展示对抗样本,通过一个相机欺骗机器学习系统相信它们 ?...这些对抗样本输入会降低系统性能,即使扰乱微妙地让人类也难以察觉,智能体会在应该往上移动的时候却将球拍向下移动,或者在 Seaquest 中识别敌人的能力受到干扰。 ?...IP:SVM、决策树这样的人工智能方法都有这个问题吗? Ian Goodfellow:是的。实际上,在许多情况下,同样的输入样本会欺骗多种不同的机器学习算法。...IP:如果一些已经工作的人(不是学生)现有学习机器学习,你有什么推荐

1.4K80

AISecOps - XAIGen技术解析:模型知识抽取促进模型可信任

,并通过聚类和优化的LCS算法,有效识别恶意流量中的扫描流量特征(包含同质载荷内容),有效提升规则的准确率。...该分类器可基于决策树、循环神经网络等机器学习或深度学习模型构建,以完成在识别恶意流量等文本分类任务。...进一步,根据采样恶意流量载荷,进行字节级别的聚类,以将恶意流量中的扫描流量识别出来:扫描流量指包含同质载荷内容的流量集合,在聚类过程中将形成聚类簇。...在检测模型识别该载荷内容为webshell的情况下,使用LIME算法能够得到模型将该载荷样本识别恶意webshell的关键词及其贡献程度的置信度值。...评估数据集(评估集)包含当前批次恶意流量载荷样本(采样率βm),以及正常样本(可与感知阶段检测模型使用相同训练数据集,采样率βn-his),以及与当前批次恶意流量在同一时间窗口内的正常样本(采样率βn-cur

1.1K30
领券