定期更新干货算法笔记和世间万物的学习记录～ 本文带你走进命名实体识别（NER）任务，首先介绍了解决NER任务的经典模型结构，然后通过3篇顶会论文介绍当缺少训练样本的时候，如何解决NER任务。...1 什么是NER任务 NER即命名实体识别任务，主要目的是识别出一个句子中的实体词，以及其对应的实体类型。比如下面的例子中，就是不同场景下的NER任务。在不同场景中，需要识别的实体类型也是不同的。...Example-Based Named Entity Recognition（2020）提出一种基于样例的NER解决方法，主要思路是利用一些有标注样本样例，识别出新数据中相关的entity。...例如在下面的例子中，右侧为需要识别的句子，左侧为一些有标注样本，利用左侧的标注信息识别右侧的实体（注意左侧和右侧的实体名称都是不同的）。...entity span的基础上，进一步识别这个entity span具体对应哪个entity。
作者 | 小白 来源 | 小白学视觉 网络安全是现代社会最关心的问题之一，确保只有特定的人才能访问设备变得极其重要，这是我们的智能手机设有两级安全系统的主要原因之一。...基于人脸识别的智能人脸识别技术就是这样一种安全措施，本文我们将研究如何利用VGG-16的深度学习和迁移学习，构建我们自己的人脸识别系统。...如果识别出正确的面部，则授予访问权限并且用户可以继续控制设备。完整代码将在文章末尾提供Github下载链接。 搭建方法 首先，我们将研究如何收集所有者的人脸图像。...2 个完全连接的层与激活一起用作 relu，即在样本通过展平层后的密集架构。...回调函数 在下一个代码块中，我们将查看面部识别任务所需的回调。
标题二是聊聊“人工智能与恶意加密流量的对抗”。 这是产品发布的说明吗？ 怎么一种手把手教你做系统的感觉。 好吧，既然要教，那我就学学，人工智能还是很热门的。认真学学也好。先不管你的啥啥产品了。...一直没找到人工智能是怎么跟恶意加密流量对抗的。直到看到最后一段。终于看到“人工智能”这四个字了！ ? 图5 人工智能与恶意加密流量的对抗 看过这段文字之后，终于明白了标题二所要表述的内容。...图6 人工智能可以与恶意加密流量对抗 这是一段即没有量化，又没有逻辑的废话。“人工智能算法赋予机器以专家的智慧”这是要换头吗？...并且模型的拟合度极高，6万多样本仅1次就能达到95%以上的正确率。这样的模型可以用于网络中的加密流量识别。我只能惊叹一下，加密流量的特征好明显啊，用个屁的人工智能。 下面的模型更是雷，如图12所示。...训练所需次数少，可以推断数据的维度非常低，数据样本非常少。 少量的样本数据，低维的特征提取，最终只能出来个玩具模型。 准确率基于的是已提供样本识别率，并非现网流量识别率，这个在文中无从衡量。
网络安全是现代社会最关心的问题之一，确保只有特定的人才能访问设备变得极其重要，这是我们的智能手机设有两级安全系统的主要原因之一。这是为了确保我们的隐私得到维护，只有真正的所有者才能访问他们的设备。...基于人脸识别的智能人脸识别技术就是这样一种安全措施，本文我们将研究如何利用VGG-16的深度学习和迁移学习，构建我们自己的人脸识别系统。...如果识别出正确的面部，则授予访问权限并且用户可以继续控制设备。完整代码将在文章末尾提供Github下载链接。 搭建方法 首先，我们将研究如何收集所有者的人脸图像。...2 个完全连接的层与激活一起用作 relu，即在样本通过展平层后的密集架构。...回调函数 在下一个代码块中，我们将查看面部识别任务所需的回调。
一、PhotoPrism介绍 PhotoPrism是一个基于Go编写的开源智能相册程序，凭借Go语言本身性能高效的特点，在实际使用中速度与稳定性远超同配置下使用PHP编写的老牌相册管理软件Piwigo。...且PhotoPrism内嵌Google TensorFlow机器学习引擎，实现了类似Google Photo和群晖Moments之类的人脸识别和主题分类的功能。...PhotoPrism支持多维度的照片管理，如基于地图位置、时间、自动识别的标签、人脸等，同时支持webdav服务端，方便各种移动app同步备份。...二、使用腾讯云Lighthouse快速搭建PhotoPrism 2.1 购买和选择镜像 这里选择的是Docker CE 19.03.9镜像，方便使用Docker快速部署 [islmnv4fig.png?
图片1(1).png 本次报告通过营收表现、功能、垂直市场、样本客户等维度调研了亚太地区38家反欺诈供应商的能力，并以营收表现为指标，将亚太地区的企业反欺诈解决方案（EFM）供应商划分为三个梯队，这也是目前全球首份评价亚太地区企业反欺诈市场营收表现的权威报告...，定制化地选择咨询、建模、平台搭建等风控措施，筑牢反欺诈防线。...天御智能风控已经覆盖金融领域超过80%的标杆客户，为银行、证券、保险等客户提供欺诈识别、金融级身份认证、防止恶意营销、预防“羊毛党”等服务；累计帮助银行处理超1亿用户的信贷服务，守护资金安全超10000...在天御智能风控中台混合神经网络算法的帮助下，中国银行搭建的交易风控引擎识别了风险交易超百亿元；华夏银行构建的“小微企业普惠金融”信贷平台，通过天御智能风控中台实现了3分钟放款高效体验。...2018 年，蒙牛开展的FIFA世界杯营销活动中，腾讯安全天御风控系统全程提供精准识别、实时判断和分级处理的营销风控，为蒙牛节约至少10%、约千万量级的营销资金，避免了恶意数据对后续营销效果分析的干扰；
今年上半年，来自清华大学的一个AI研究团队就披露了一项新的研究成果：研究人员通过对抗样本攻击，破解了19款手机的人脸识别解锁系统，简单地说就是把人像照片加上特殊“花纹”即可骗过人脸识别。...1/ 智能分级认证 结合用户行为和设备信息建模，搭建风险感知引擎系统，判断业务流程风险等级，根据风险等级智能选择对应的活体验证模式，如低风险业务流程使用轻量验证；灵活切换验证难度，可有效拦截高风险验证流程...在人脸核身领域，目前黑产的攻击手法日益复杂，已由之前的照片、翻拍攻击变形升级成摄像头劫持、恶意注入等更高级、更难识别的类型。...AI来给你发对象了 | 腾讯云AI「开了一个脑洞」| 当导航念出Rap范儿，有梗有味 | 那些蹭ETC的人，后来都怎么了 | 这届东京奥运会「岂止于野」| 打工人有没有「会议纪要自由」？...| 拆盲盒，领七夕奇妙对象了 | 送Q币 | 那些褪色的票据大家都是怎么保存的？| 《失控玩家》：AI自我觉醒与程序员的浪漫情书 | 点击下图可进入「腾讯云AI体验中心」免费体验
该分类器可基于决策树、循环神经网络等机器学习或深度学习模型构建，以完成在识别恶意流量等文本分类任务。...进一步，根据采样恶意流量载荷，进行字节级别的聚类，以将恶意流量中的扫描流量识别出来：扫描流量指包含同质载荷内容的流量集合，在聚类过程中将形成聚类簇。...在检测模型识别该载荷内容为webshell的情况下，使用LIME算法能够得到模型将该载荷样本识别为恶意webshell的关键词及其贡献程度的置信度值。...评估数据集（评估集）包含当前批次恶意流量载荷样本（采样率βm），以及正常样本（可与感知阶段检测模型使用相同训练数据集，采样率βn-his），以及与当前批次恶意流量在同一时间窗口内的正常样本（采样率βn-cur...XAIGen项目通过数据驱动的方法，尝试搭建数据规律与安全语义转化的桥梁，是实战中可信任、可运营智能模型的重要基础工作之一。
识别，同年，瑞星又尝试了基于决策树的恶意软件识别方案。...2016 年，瑞星根据之前应用机器学习获得的经验，研发了高维度、大规模的基于随机森林的 Windows 恶意软件识别引擎 － RDM+。高维度特征提取自文件结构、内容以及分析，训练样本达数千万。...被老赵扫盲后，突然发现原来搭建一个大数据分析平台其实并不难，难就难在如何和现有的业务相结合，获得现有业务无法获取或很难获取到结论。...现在市面上绝大多数的“大数据”公司，都是通过 Hadoop 、MapReduse、Spark 等工具来搭建个大数据平台，然后利用别人的数据来生成一些“有用”的结论，轻易赚个盆满钵满，和真正的要求相差较远...反病毒行业应把人工病毒处理的方法和经验整理出来，把大量的病毒样本和判断方法导入大数据，通过大数据来分析活跃病毒的行为特征、文件特征、网络特征，获得病毒识别的新方法、新模型。
有趣的是，在当时人们都认为该算法将很快导致“强”人工智能的出现。即，智能的思考能力、独立思考并可以解决那些默认编程程式外任务的人工智能。...可随后就是“弱”人工智能的时代，它可以解决一些创造性的任务，比如识别图片、预测天气、玩象棋等。...误解三 机器学习——做一次就够了 恶意软件检测和人脸识别在概念上的区别，脸永远是脸，在这方面永远也不会有什么改变。...因为通过客户端的恶意样本的平均数量要比反病毒实验室收集到的恶意样本数量小得多。客户端会因为没有收集到样本进行学习而丧失应对能力。...问题是大多数同家族的恶意软件都是由一个恶意程序修改而来的。例如 Trojan-Ransom.Win32.Shade 是一个拥有超过三万个恶意样本的家族。
有趣的是，在当时人们都认为该算法将很快导致“强”人工智能的出现。即，智能的思考能力、独立思考并可以解决那些默认编程程式外任务的人工智能。...可随后就是“弱”人工智能的时代，它可以解决一些创造性的任务，比如识别图片、预测天气、玩象棋等。...误解三：机器学习——做一次就够了 恶意软件检测和人脸识别在概念上的区别，脸永远是脸，在这方面永远也不会有什么改变。...因为通过客户端的恶意样本的平均数量要比反病毒实验室收集到的恶意样本数量小得多。客户端会因为没有收集到样本进行学习而丧失应对能力。...问题是大多数同家族的恶意软件都是由一个恶意程序修改而来的。例如 Trojan-Ransom.Win32.Shade 是一个拥有超过三万个恶意样本的家族。
00 导语 构建恶意域名检测引擎，对海量域名进行自动化检测并识别出恶意域名，让威胁情报的检测和运营变得更智能、更高效，以缓解威胁情报分析师分面对海量威胁数据的分析压力。...其中，恶意域名情报是威胁情报的重要组成部分，包括恶意域名检测（Malicious Domains Detection）[1]、域名生成算法识别（DGA Recognition）[2]等。...本文所述的恶意域名检测引擎 (Malicious Domain Detection Engine, MDDE) ，实现了对恶意域名的自动检测，并为威胁情报智能化检测和运营提高了效率。...4.png 域名字符特征 这一类特征源于DGA的识别，目前，由DGA构造的域名一般为恶意域名。此外，根据具体黑域名特点，构造了如子域名是否为数字这样的特征。...但需要注意的是，即使现有特征数据的多样性在业界无出其右，但对于恶意域名检测这样一个难度较高的机器学习任务而言，依然需要更全备的数据信息和知识，才有可能实现域名检测的真正智能化、自动化。
《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践，并分享各种案例，涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者，更加成体系的分享新知识。...内容类型：图像样本 使用范围：图像分类、恶意家族分类 推荐理由：个人感觉这是图像分类实验的基础，恶意样本转换灰度图进行恶意家族分类实验也都可以基于此实验拓展 下载地址：https://github.com...内容类型：图像样本 使用范围：图像分类、恶意家族分类 推荐理由：个人感觉这是图像分类实验的基础，恶意样本转换灰度图进行恶意家族分类实验也都可以基于此实验拓展。...Keras搭建分类神经网络及MNIST数字图像案例分析 垃圾邮件数据集 SpamBase数据集 入门级垃圾邮件分类训练集，其包含57个属性和4601个实例，该数据集主要用于垃圾邮件的识别分类，其中垃圾邮件的资源均来自于邮件管理员和提交垃圾邮件的个人...发布机构：麻省理工学院 内容类型：图像样本 数据大小：31.2GB 使用范围：图像分类、自然灾害识别 推荐理由：个人感觉该数据集对于对抗样本、AI和安全结合的案例有帮助 下载地址：https://hyper.ai
其次，算法的“黑箱问题”会引发各类AI系统安全风险，比如恶意机器学习的产生。攻击者可以利用AI技术漏洞进行“对抗样本攻击”和“数据污染攻击”等种种手段，使得AI系统出现判断失准等问题。...而对抗样本攻击又是造成当前AI安全风险中的主要手段 。攻击者可以在判断阶段对样本加入少量噪音，诱导算法识别出现误判，影响判断结果。...比如，在人脸检测和识别场景，攻击者只要对面部的某些部位做出一点修改（比如佩带带有对抗样本图案的眼镜），就可以成功逃脱AI系统的识别，从而实现“伪装”和“隐身”。...而目前人脸比对识别被广泛应用在于身份认证、手机解锁、金融远程开户、酒店入住登记等等场景，一旦人脸比对识别被恶意攻破，将会对个人信息安全、财产造成难以估计的损失； 在自动驾驶领域，如果在交通指示牌或其他车辆上贴上或涂上一些小标记...为此，RealSafe提供了完整的AI算法检测和AI安全防火墙的搭建，从而最大限度地保证了监控系统的有效性。
Deep Instinct的学习方法将恶意软件样本分解为大量的小“碎片”，恶意软件从而可以进行映射，就像是基因组序列便是由成千上万更小的序列组合构成。...这些被“分解”的样本仍是二进制位字符串，用于训练神经网络进行系统地识别。在进行了数百万次计算之后，神经网络运行于一个GPU集群中，最终得出一个能够指向终点的静态神经网络结果。...Deep Instinct恶意软件识别率远超传统安全公司 Göttingen大学举行的对16000个恶意软件样本进行识别测试中，来自西门子CERT、Bit-Defender、McAfee、Trend（趋势科技...）、AVG、卡巴斯基、Sophos以及其他安全公司平均识别率为61%，而Deep Instinct对于恶意软件的识别率则高达98.86%。...一些恶意软件样本自主突变，而其功能并没有受到影响。PDF恶意软件的识别率是99.7%，可执行文件的检测率为99.2%。
在AI的浪潮下，在现有的安全系统的基础上，SNG 业务安全中心将机器学习应用到业务安全对抗中，自研建设并搭建了 ——安全 AI 的智能对抗系统。 1....2.2 离线过程 [离线过程流程图] 2.3 样本选择 在现有业务安全的打击模型数据基础上，基于已积累的大量恶意样本库，因此在样本标注环节可以得到较高质量的样本数据。...此外，除了使用已有的恶意数据作为正样本，还使用了无监督聚类方法，通过标识恶意聚类来增加有监督样本的输入，从而扩展更多的恶意覆盖。...纯粹使用已有规则模型的历史恶意数据作为样本数据，会导致训练得到的模型在覆盖面上过窄，不能对新的恶意有强的识别能力。...配置管理 当前已有的配置关系主要包括： （1）样本数据配置表：用于配置原始数据表信息，恶意数据表，正/负样本数据表等； （2）模型-特征选择配置表：模型选择，特征选择集合，模型上线状态； （3
没有不提大数据、人工智能的安全公司 前几年的RSA中，安全公司都在提用户行为分析、异常检测，今年大数据+人工智能（以下称“大数据AI”）成为了绝对的热点。...笔者早在出行前就约好了两家大数据AI的公司进行沟通交流，我们看看他们是怎么做的： Data Visor（以下简称DV） DV提供领先的欺诈检测方案，方案主要使用无监督学习来识别恶意账号的攻击，在损害发生前就抓住恶意...为解决此问题，DV将聚簇翻译成人工规则进行识别（比如说如果某一批账号在某一段时间内，在某些IP上操作，那么就是恶意的）。...感知的高可疑样本会送往安全专家进行判定（引擎会挑选具有代表性的样本，这个样本可以代表一类的恶意），判定结果将会送回模型训练器训练有监督分类模型。...大数据AI虽然有很多的难点和问题，但值得做更多的投入 从各公司的介绍来看，AI都对安全有比较可喜的提升（恶意识别能力提升、人工运营成本下降），企业应在大数据AI上投入更多资源。
此外还会通过搜集反馈回来的失败样本，以及人工打码的标定数据，来实时训练和更新识别网络，不断迭代训练进行优化，进一步提高神经网络模型的识别能力。...由于恶意用户仅占总体用户的少部分，具有异常样本“量少”和“与正常样本表现不一样”的两个特点，且不依赖概率密度，因此此异常检测模型不会导致高维输入的下溢出问题。...该模型可识别异常用户盗号、LBS/加好友、欺诈等行为。随着样本增加，恶意请求的uin、类型、发生时间通过分析端通过线下人工分析和线上打击，达到良好的检测效果。...在恶意代码识别方面，区别传统的黑白名单库、特征检测、启发式等方法机器学习的安全应用从反病毒的代码分类、恶意文件检测、恶意URL的网页代码识别等 在社工安全防范方面，区别传统的技术与业务经验分析、安全宣传...，因此恶意访问、攻击样本的不充分，导致模型训练后的检测准确率有待提高。
对抗技术升级 AI 助力天御搭建多层级安全体系 在黑产逐渐形成合作产业链并使用高科技手段的情况下，陈炳文指出，想要实施有效防御和打击，需要在营销的各个环节都加强部署，同时引入新的技术应用到黑产识别中。...依据 D-S证据理论，可快速分配、评估子系统的信任度，融合搭建专家系统来识别恶意请求。...随着黑产对抗规模不断扩大，标签样本不断增多，可以通过监督型机器学习 Logistic regression 、Xgboost 和Ensemble model 等进行样本强化训练。...AI 学习助力天御识别恶意流量变种 腾讯云天御反欺诈系统引进迁移学习、深度学习，依据 fuzzy network、Gibbs sampling和 BN 等技术，将专家系统升级至多层级混合网络模型，解决特征自动提取...在东鹏特饮的一物一码营销活动中，腾讯云天御通过识别过滤恶意请求，帮助东鹏节约超过3000万营销资金。
《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践，并分享各种案例，涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者，更加成体系的分享新知识。...八.总结 前文推荐： [当人工智能遇上安全] 1.人工智能真的安全吗？...浙大团队分享AI对抗样本技术 [当人工智能遇上安全] 2.清华张超老师 GreyOne和Fuzzing漏洞挖掘各阶段进展总结 [当人工智能遇上安全] 3.安全领域中的机器学习及机器学习恶意请求识别案例分享...恶意代码分析是一种解剖恶意代码的艺术，了解恶意代码是如何工作、如何识别，以及如何战胜或消除它。 现阶段，恶意代码呈现变种数量多、传播速度快、影响范围广的特点。...杨轶等通过分析污点传播的过程，识别不同的恶意代码行为间控制指令和数据的依赖关系，从而比较恶意代码的相似性。Imran 等通过隐马尔可夫模型对待测样本的动态行为特征进行描述，并借助机器学习算法实现分类。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
