最近在Kaggle上微软发起了一个恶意代码分类的比赛，并提供了超过500G的数据(解压后)。有意思的是，取得第一名的队伍三个人都不是搞安全出身的，所采用的方法与我们常见的方法存在很大不同，展现了机器学习在安全领域的巨大潜力。在仔细读完他们的代码和相关的论文后，我简单的进行了一些总结与大家分享。 需要指出的是，(1)比赛的主题是恶意代码的分类，不是病毒查杀(2)比赛采用的方法是纯静态分析的方法，不涉及行为分析等动态分析方法。 因此这不意味着这个方法能够取代现有的方法，但是了解它能够为安全研究人员提供一个崭新的
本项目旨在利用Keras框架，通过神经网络对实体嵌入进行预处理、训练和提取。注意：项目还在建设中，所以请谨慎使用。
它由节点层组成，其中每个节点连接到上一层的所有输出，每个节点的输出连接到下一层节点的所有输入。
练习中，这两个重要的库每次都要导入。Numpy包含数学函数，Pandas用于导入和管理数据集。
终端安全行业越来越多地采用基于机器学习 (ML) 的工具作为其纵深防御策略的组成部分。特别是，使用源自二进制文件静态分析的特征的分类器通常用于在端点上执行快速、预执行检测和预防，并且通常充当终端用户的第一道防线。同时，了针对恶意软件（malware）检测模型的对抗性攻击的关注度相应增加。该领域的主要焦点是逃避攻击（evasion attack）的发展，其中攻击者的目标是在推理时改变数据点以引起错误分类。然而在本文中关注投毒攻击的潜在问题，它试图影响 ML 训练过程，特别是后门投毒攻击，其中攻击者将精心选择的模式放入特征空间，以便受害者模型学习将其存在与攻击者选择的类别相关联。虽然之前已经针对开源和商业恶意软件分类器的测试证明了规避攻击，但后门投毒为攻击者提供了一种有吸引力的替代方案，它在一开始就需要更多的计算工作，这可能会导致通用规避各种恶意软件样本和目标分类器的能力。当应用于计算机视觉模型而不需要大量投毒样本时，这些后门攻击已被证明是非常有效的，但它们对恶意软件分类域和一般基于特征的模型的适用性尚未被调查。
在机器学习中，数据有不同的类型，包括数字、分类和文本数据。分类要素是采用一组有限值（如颜色、性别或国家/地区）的特征。但是，大多数机器学习算法都需要数字特征作为输入，这意味着我们需要在训练模型之前将分类特征转换为数字特征。
不是很久以前，商人们往往找占星家来预测下明年是否能挣钱，虽然这毫无根据，并且结果也不确定，但如果听专家的建议来为自己的商业行为作出决定，与此有什么本质却别？现在不同了，我们正在变化，目前已经可以基于事实和数字进行预测。
逻辑回归是一种拟合回归曲线的方法，y=f(x)，当y是一个分类变量时。这个模型的典型用途是在给定一组预测因素x的情况下预测y，预测因素可以是连续的、分类的或混合的。
在使用Python进行数据分析时，Jupyter Notebook是一个非常强力的工具，在数据集不是很大的情况下，我们可以使用pandas轻松对txt或csv等纯文本格式数据进行读写。
本文介绍.net中的机器学习技术实现，不涉及数学方面的内容。它将重点关注在.net中的基本工作流程及其数据处理结构，以及怎么样通过使用开源项目ML.Net 0.2来进行机器学习的实验。
经常出入DC竞赛、kaggle、天池等大数据比赛的同学应该很了解xgboost这座大山。
随着谷歌，Facebook发布他们的工具机器学习工具Tensorflow 2和PyTorch ，微软的CNTK 2.7之后不再继续更新（https://docs.microsoft.com/zh-cn/cognitive-toolkit/releasenotes/cntk_2_7_release_notes），Build 2019 微软也发布了ML.NET 1.0 ,这是一个面向机器学习开发者的新框架。可以说2019年是机器学习社区普及化的一年，所有的这些发布清楚地表明了IT行业的发展方向。从数据集改进模型到新的模型更新，以及优化硬件。
日常生活中的大部分决策都以二进制形式存在，具体来说就是这类问题能够以是或者否来回答。而在商业活动中，能够以二进制方式回答的问题也有很多。举例来说：“这种情况是否属于交易欺诈？”，“这位客户是否会购买该产品？”或者“这位用户是否存在流失风险？”等等。在机器学习机制中，我们将此称为二进制分类问题。很多商业决策都能够通过准确预测二进制问题的答案来得到强化。Amazon Michine Learning（简称Amazon ML）就提供了一套简单而且成本低廉的选项，帮助大家以快速且规模化的方式找出此类问题的答案。 在
对宽度学习的理解可见于这篇博客宽度学习（Broad Learning System）_颹蕭蕭的博客-CSDN博客_宽度学习
AI 科技评论按：数据集对于深度学习模型的重要性不言而喻，然而根据性质、类型、领域的不同，数据集往往散落在不同的资源平台里，急需人们做出整理。 fast.ai 近期将这些重要的数据集汇总到了一篇文章里，雷锋网 AI 科技评论把文章编译如下。
少了数据，我们的机器学习和深度学习模型什么也干不了。这么说吧，那些创建了数据集、让我们可以训练模型的人，都是我们的英雄，虽然这些人常常并没有得到足够的感谢。让人庆幸的是，那批最有价值的数据集后来成了「学术基准线」——被研究人员广泛引用，尤其在算法变化的对比上；不少名字则成为圈内外都耳熟能详的名称，如 MNIST、CIFAR 10 以及 Imagenet 等。
史上最长春假结束，全国各地企业陆续复工。机场、火车站等地又将迎来人流高峰，我们对疫情防护仍然不能有所懈怠。如何实时检测人群口罩佩戴情况从而快速发现未按要求佩戴口罩的人，对于防疫工作来说，是个头大的问题。
Uber表示，对于AI开发者来说，Ludwig可以帮助他们更好地理解深度学习方面的能力，并能够推进模型快速迭代。
第一章 Python 入门 第二章 Python基本概念 第三章 序列 第四章 控制语句 第五章 函数 第六章 面向对象基础 第七章 面向对象深入 第八章 异常机制 第九章 文件操作
翻译 | 王柯凝 编辑 | Just 出品 | 人工智能头条（公众号ID：AI_Thinker） ▌介绍 关于卷积神经网络从交通灯识别到更实际的应用，我经常听到这样一个问题：“会否出现一种深度学习“魔法”，它仅用图像作为单一输入就能判断出食物质量的好坏？”简而言之，在商业中需要的就是这个： 当企业家面对机器学习时，他们是这样想的：欧姆蛋的“质量（quality）”是好的 这是一个不适定问题的例子：解决方案是否存在，解决方案是否唯一且稳定还没办法确定，因为“完成”的定义非常模糊（更不用说实现了）。虽然
由于篇幅原因，后面一篇写各个算法背后的原理，原理背后的相关知识的了解，人脸识别项目总遇到的问题
祝大家新年快乐，今天看到的文章然后就翻译了一下，涉及到的技术点都很简单，算是一篇水文，而且我对文章的改动比较大，但是还希望能给你带来一点帮助。
本文将系统全面的介绍自动机器学习的其中一个常用框架: Auto-Sklearn，介绍安装及使用，分类和回归小案例，以及一些用户手册的介绍。快来和小猴子一起研习吧！
《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践，并分享各种案例，涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者，更加成体系的分享新知识。该系列文章会更加聚焦，更加学术，更加深入，也是作者的慢慢成长史。换专业确实挺难的，系统安全也是块硬骨头，但我也试试，看看自己未来四年究竟能将它学到什么程度，漫漫长征路，偏向虎山行。享受过程，一起加油~
作者作为网络安全的小白，分享一些自学基础教程给大家，主要是关于安全工具和实践操作的在线笔记，希望您们喜欢。同时，更希望您能与我一起操作和进步，后续将深入学习网络安全和系统安全知识并分享相关实验。总之，希望该系列文章对博友有所帮助，写文不易，大神们不喜勿喷，谢谢！如果文章对您有帮助，将是我创作的最大动力，点赞、评论、私聊均可，一起加油喔！
一个数据分析师，最怕的一件事情莫过于在没有数据的情况下，让你去做一个详细的数据分析报告。确实，巧妇难为无米之炊，数据是数据分析、数据挖掘乃至数据可视化最最基础的元素。
我们将使用Tensorflow创建和开发一个简单的模型框架，以及提出一些对初步结果改进的意见。
Data API还可以从现成的文件（比如CSV文件）、固定大小的二进制文件、使用TensorFlow的TFRecord格式的文件（支持大小可变的记录）读取数据。TFRecord是一个灵活高效的二进制格式，基于Protocol Buffers（一个开源二进制格式）。Data API还支持从SQL数据库读取数据。另外，许多开源插件也可以用来从各种数据源读取数据，包括谷歌的BigQuery。
逻辑回归用于解决分类问题。 这里的目的是预测被观察的当前对象所属的分类。它会给出0到1之间的离散二元结果。一个简单的例子就是一个人是否会在即将举行的选举中投票。
关于MSIDump MSIDump是一款功能强大的恶意MSI安装包安全分析工具，该工具还支持提取文件、数据流、二进制数据，并结合YARA扫描器来执行安全分析任务。 在启用了宏的Office文档上，我们可以快速使用oletools mraptor工具来判断哪一个文档是恶意文档。如果你想要进一步对其分析，我们还可以引入oletools olevba或oledump工具。 但如果你想要解析恶意MSI文件，到目前为止，我们可以信赖且能够可靠运行的就只有一个lessmsi工具，不过lessmsi并没有实现下列功能
Stellargraph Unsupervised GraphSAGE是论文中所述GraphSAGE方法的实现： 大图上的归纳表征学习。W.L. Hamilton, R. Ying, and J. Leskovec arXiv:1706.02216 [cs.SI], 2017。
tensorflow是谷歌google的深度学习框架，tensor中文叫做张量，flow叫做流。 CNN是convolutional neural network的简称，中文叫做卷积神经网络。 文本分类是NLP（自然语言处理）的经典任务。
前一篇带来了清华唐杰老师的分享“图神经网络及认知推理总结和普及”或“Graph Neural Networks and Applications—A Review”。这篇文章将介绍作者溯源的工作，从二进制代码和源代码两方面实现作者去匿名化或识别。这是两篇非常经典的安全论文，希望您喜欢。一方面自己英文太差，只能通过最土的办法慢慢提升，另一方面是自己的个人学习笔记，并分享出来希望大家批评和指正。希望这篇文章对您有所帮助，这些大佬是真的值得我们去学习，献上小弟的膝盖~fighting！
知乎地址：http://www.zhihu.com/people/meng-di-76-92
不要被它的名字弄糊涂！它是一种分类而非回归算法。它用于根据给定的自变量集估计离散值（二进制值，如0/1，yes/no，true/false）。简单来说，它通过将数据拟合到logit函数来预测事件发生的概率。因此，它也被称为logit回归。由于它预测概率，因此其输出值介于0和1之间（如预期的那样）。
1、预测模型 一旦使用deploy_model将模型成功部署到云中，或者使用save_model在本地成功部署了模型，就可以使用predict_model函数将其用于看不见的数据进行预测。 此功能采用训练有素的模型对象和数据集进行预测。 它将自动应用实验过程中创建的整个转换管道。 对于分类，将基于50％的概率创建预测标签，但是如果您选择使用通过optimize_threshold获得的不同阈值，则可以在predict_model中传递概率_threshold参数。 此功能还可用于生成保留/测试集的预测。
而在tensorflow中提供多线程,并行的执行任务,队列(数据的共享),文件(tfrecords)的方式读取数据。来提高解析速度。
在本节中，您将加深对理论的理解，并学习有关卷积神经网络在图像处理中的应用的动手技术。 您将学习关键概念，例如图像过滤，特征映射，边缘检测，卷积运算，激活函数，以及与图像分类和对象检测有关的全连接和 softmax 层的使用。 本章提供了许多使用 TensorFlow，Keras 和 OpenCV 的端到端计算机视觉管道的动手示例。 从这些章节中获得的最重要的学习是发展对不同卷积运算背后的理解和直觉-图像如何通过卷积神经网络的不同层进行转换。
前一篇从个人角度介绍英文论文实验评估（Evaluation）的数据集、评价指标和环境设置如何撰写。这篇文章将带来USENIXSec21恶意代码分析的经典论文——DeepReflect，它通过二进制重构发现恶意功能，来自于佐治亚理工学院。希望这篇文章对您有所帮助，这些大佬是真的值得我们去学习，献上小弟的膝盖~fighting！同时文章末尾有我的论文感受和精句摘要，欢迎各位老师和博友批评指正。
通过训练多层神经网络可以将高维数据转换成低维数据，其中有对高维输入向量进行改造的网络层。梯度下降可以用来微调如自编码器网络的权重系数，但是对权重的初始化要求比较高。这里提出一种有效初始化权重的方法，允许自编码器学习低维数据，这种降维方式比PCA表现效果更好。 降维有利于高维数据的分类、可视化、通信和存储。简单而普遍使用的降维方法是PCA(主要成分分析)--首先寻找数据集中方差最大的几个方向，然后用数据点在方向上的坐标来表示这条数据。我们将PCA称作一种非线性生成方法，它使用适应性的、多层“编码”网络将
介绍 预测分析是基于以前收集的数据来预测未来的结果。它包括两个阶段： 训练阶段：从训练数据中学习一个模型。 预测阶段：使用模型预测未知或未来的结果。 预测模型 我们可以选择许多模型，每个模型都基于一些与数据底层分布有关的不同假设。因此，我们对所要讨论中的两个一般问题感兴趣：1.分类 - 关于预测类别（一个离散的值，有限的，没有排序的），以及2.回归-关于预测一些数值的量（一个连续且有序的无限值）。 对于分类问题，我们使用“虹膜”数据集，并从其萼片和花瓣的“宽度”和“长度”测量中预测其“物种”。以下是
本文介绍一些在训练多标签图像分类器时可能会感兴趣的概念和工具。完整的代码可以在GitHub上找到。
文本文件存储的是普通“字符”文本，python 默认为 unicode 字符集（两个字节表示 一个字符，最多可以表示：65536 个），可以使用记事本程序打开。注意:像 word 软件编辑的文档不是文本文件。
首先，逻辑回归是一个分类算法而不是一个回归算法，该算法可根据已知的一系列因变量估计离散数值（比方说二进制数值 0 或 1 ，是或否，真或假），它通过将数据拟合进一个 逻辑函数 来预估一个事件出现的概率。因为它预估的是概率，所以它的输出值大小在 0 和 1 之间（正如所预计的一样）。
MySQL经过多年的改进和完善之后，已经基本具备了所有通用数据库管理系统所需要的相关功能。
前言：最近开始学习tensorflow框架，选修课让任选一种框架实现mnist手写数字的识别分类。小詹也就随着大流选择了 tf 框架，跟着教程边学边做，小詹用了不同的神经网络实现了识别分类，其中有一个步骤是将训练过程得到的模型进行保存，在之后的测试中加载并使用该模型。想到这种先保存再加载调用的过程，之前很多地方都遇到过呀，最简单常用的就是python中文件的存取哇！于是乎，小詹夜观星象，就着手整理记录各种文件存取的骚操作，具体如下。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
