随机性的使用是机器学习算法配置和评估的重要部分。从神经网络中的权重的随机初始化，到将数据分成随机的训练和测试集，再到随机梯度下降中的训练数据集的随机混洗（random shuffling），生成随机数和利用随机性是必需掌握的技能。
RDD（弹性分布式数据集） 是 PySpark 的基本构建块，它是容错、不可变的 分布式对象集合。
RDD（弹性分布式数据集） 是 PySpark 的基本构建块，是spark编程中最基本的数据对象； 它是spark应用中的数据集，包括最初加载的数据集，中间计算的数据集，最终结果的数据集，都是RDD。 从本质上来讲，RDD是对象分布在各个节点上的集合，用来表示spark程序中的数据。以Pyspark为例，其中的RDD就是由分布在各个节点上的python对象组成，类似于python本身的列表的对象的集合。区别在于，python集合仅在一个进程中存在和处理，而RDD分布在各个节点，指的是【分散在多个物理服务器上的多个进程上计算的】 这里多提一句，尽管可以将RDD保存到硬盘上，但RDD主要还是存储在内存中，至少是预期存储在内存中的，因为spark就是为了支持机器学习应运而生。 一旦你创建了一个 RDD，就不能改变它。
这是卷积神经网络学习路线的第19篇文章，主要为大家介绍一下旷世科技在2017年发表的ShuffleNet V1，和MobileNet V1/V2一样，也是一个轻量级的卷积神经网络，专用于计算力受限的移动设备。新的架构利用两个操作：逐点组卷积(pointwise group convolution)和通道混洗(channel shuffle)，与现有的其他SOTA模型相比，在保证精度的同时大大降低了计算量。ShuffleNet V1在ImageNet和MS COCO上表现出了比其他SOTA模型更好的性能。论文原文见附录。
在解释特定的高效 CNN 模型之前，我们先检查一下高效 CNN 模型中组成模块的计算成本，然后看一下卷积是如何在空间和通道中执行的。
Java中，函数需要作为实现了Spark的org.apache.spark.api.java.function包中的任一函数接口的对象来传递。（Java1.8支持了lamda表达式）
本文介绍了Spark中的RDD编程，包括创建RDD、转换操作、行动操作以及常见的转换操作和行动操作。此外，还介绍了如何向Spark传递函数以及常见的伪集合操作。
周末的任务是更新Learning Spark系列第三篇，以为自己写不完了，但为了改正拖延症，还是得完成给自己定的任务啊 = =。这三章主要讲Spark的运行过程（本地+集群），性能调优以及Spark SQL相关的知识，如果对Spark不熟的同学可以先看看之前总结的两篇文章： Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性 第七章主要讲了Spark的运行架构以
键值对 RDD 通常用来进行聚合计算。我们一般要先通过一些初始 ETL(抽取、转化、装载)操作来将数据转化为键值对形式。键值对 RDD 提供了一些新的操作接口(比如统计每个产品的评论,将数据中键相同的分为一组,将两个不同的 RDD 进行分组合并等)。
数据流 首先定义一些属于。MapReduce作业（job）是客户端需要执行的一个工作单元:它包括输入数据、MapReduce程序和配置信息。Hadoop将作业分成若干个小任务（task）来执行，其中包括两类任务，map任务和reduce任务。 有两类节点控制着作业执行过程，：一个jobtracker以及一系列tasktracker。jobtracker通过调度tasktracker上运行的任务，来协调所有运行在系统上的作业。tasktracker在运行任务的同时，将运行进度报告发送给jobtracker，jobtracker由此记录每项作业任务的整体进度情况。如果其中一个任务失败，jobtracker可以再另外衣tasktracker节点上重新调度该任务。 Hadoop将MapReduce的输入数据划分成等长的小数据块，称为输入分片（input split）或简称分片。Hadoop为每个分片构建一个map任务，并由该任务来运行用户自定义的map函数从而处理分片中的每条记录。 拥有许多分片，意味着处理每个分片所需要的时间少于处理整个输入数据所花的时间。因此，如果我们并行处理每个分片，且每个分片数据比较小，那么整个处理过程将获得更好的负载平衡，因为一台较快的计算机能够处理的数据分片比一台较慢的计算机更多，且成一定比例。即使使用相同的机器，处理失败的作业或其他同时运行的作业也能够实现负载平衡，并且如果分片被切分的更细，负载平衡的质量会更好。 另一方面，如果分片切分的太小，那么管理分片的总时间和构建map任务的总时间将决定着作业的整个执行时间。对于大多数作业来说，一个合理的分片大小趋向于HDFS的一个块的大小，默认是64MB，不过可以针对集群调整这个默认值，在新建所有文件或新建每个文件时具体致死那个即可。 Hadoop在存储有输入数据（Hdfs中的数据）的节点上运行map任务，可以获得最佳性能。这就是所谓的数据本地化优化。现在我们应该清楚为什么最佳分片大小应该与块大小相同：因为它是确保可以存储在单个节点上的最大输入块的大小。如果分片跨越这两个数据块，那么对于任何一个HDFS节点，基本上不可能同时存储这两个数据块，因此分片中的部分数据需要通过网络传输到map任务节点。与使用本地数据运行整个map任务相比，这种方法显然效率更低。 map任务将其输出写入本地硬盘，而非HDFS，这是为什么？因为map的输出是中间结果：该中间结果由reduce任务处理后才能产生最终输出结果，而且一旦作业完成，map的输出结果可以被删除。因此，如果把它存储在HDFS中并实现备份，难免有些小题大做。如果该节点上运行的map任务在将map中间结果传送给reduece任务之前失败，Hadoop将在另一个节点上重新运行这个map任务以再次构建map中间结果。 reduce任务并不具备数据本地化的优势——单个reduce任务的输入通常来自于所有mapper的输出。在下面的李宗中，我们仅有一个reduce任务，其输入是所有map任务的输出。因此，排过序的map输出需要通过网络传输发送到运行reduce任务的节点。数据在reduce端合并，然后由用户定义的reduce函数处理。reduce的输出通常存储在HDFS中以实现可靠存储。对于每个reduce输出的HDFS块，第一个副本存储在本地节点上，其他副本存储在其他机架节点中。因此，reduce的输出写入HDFS确实需要占用网络带宽，但这与正常的HDFS流水线写入的消耗一样。 一个reduce任务的完成数据流如下：虚线框表示节点，虚线箭头表示节点内部数据传输，实线箭头表示节点之间的数据传输。
周末的任务是更新Learning Spark系列第三篇，以为自己写不完了，但为了改正拖延症，还是得完成给自己定的任务啊 = =。这三章主要讲Spark的运行过程（本地+集群），性能调优以及Spark SQL相关的知识，如果对Spark不熟的同学可以先看看之前总结的两篇文章： 【原】Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令 【原】Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性 #####我是
首先Keras中的fit()函数传入的x_train和y_train是被完整的加载进内存的,当然用起来很方便，但是如果我们数据量很大，那么是不可能将所有数据载入内存的，必将导致内存泄漏，这时候我们可以用fit_generator函数来进行训练。
选自arXiv 作者：Mostafa Gamal等 机器之心编译 参与：Panda 表现优良的卷积神经网络往往需要大量计算，这在移动和嵌入式设备以及实时应用上是一个很不利的因素。近日，开罗大学和阿尔伯塔大学的研究者提出了一种能实现实时形义分割的框架 ShuffleSeg。这种方法能在保证分割准确度的同时显著降低对计算资源的需求。机器之心在本文中对该项目进行了简要编译介绍，相关研究的 TensorFlow 代码已发布在 GitHub 上。 论文地址：https://arxiv.org/abs/1803.038
通常我们认为每个测试用例都是相互独立的，因此需要保证测试结果不依赖于测试顺序，以不同的顺序运行测试用例，可以得到相同的结果。 pytest默认运行用例的顺序是按模块和用例命名的 ASCII 编码顺序执行的，这就意味着每次运行用例的顺序都是一样的。 app 测试里面有个 monkey 测试，随机在页面点点点，不按常理的点点点能找到更多的不稳定性 bug。那么我们在写pytest用例的时候，既然每个用例都是相互独立的， 那就可以打乱用例的顺序随机执行，用到 pytest 的插件 pytest-random-order 可以实现此目的，github 地址https://github.com/jbasko/pytest-random-order
关于Keras中，当数据比较大时，不能全部载入内存，在训练的时候就需要利用train_on_batch或fit_generator进行训练了。
近年来，这种技术得到不断的发展和完善， 帮助研究者判断在细胞核中基因组的某一特定位置会出现何种组蛋白修饰，也可结合微阵列技术在染色体基因表达调控区域检查染色体活性，是深入分析癌症、心血管疾病以及中央神经系统紊乱等疾病的主要代谢通路的一种非常有效的工具。
论文研读-用于处理昂贵问题的广义多任务优化GMFEA Generalized Multitasking for Evolutionary Optimization of Expensive Problems GMFEA 此篇文章为 J. Ding, C. Yang, Y. Jin, T. Chai, Generalized Multitasking for Evolutionary Optimization of Expensive Problems, IEEE Transactions on Evolu
ShuffleNet是由旷世发表的一个计算效率极高的CNN架构，它是专门为计算能力非常有限的移动设备(例如，10-150 MFLOPs)而设计的。该结构利用组卷积和信道混洗两种新的运算方法，在保证计算精度的同时，大大降低了计算成本。ImageNet分类和MS COCO对象检测实验表明，在40 MFLOPs的计算预算下，ShuffleNet的性能优于其他结构，例如，在ImageNet分类任务上，ShuffleNet的top-1 error 7.8%比最近的MobileNet低。在基于arm的移动设备上，ShuffleNet比AlexNet实际加速了13倍，同时保持了相当的准确性。
这篇文章将讨论机器学习的一大基本算法：线性回归。我们将创建一个模型，使其能根据一个区域的平均温度、降雨量和湿度（输入变量或特征）预测苹果和橙子的作物产量（目标变量）。训练数据如下：
1908年之前，汽车这样的自动化交通工具普及率极低。一方面是因为，蒸汽机技术导致汽车体积笨重；另一方面则是由于车辆售价高高在上，普通人只能高山仰止。
There are two ways to shuffle an array in Java.
RDD是Spark编程中最基本的数据对象， 无论是最初加载的数据集，还是任何中间结果的数据集，或是最终的结果数据集，都是RDD。 在Pyspark中，RDD是由分布在各节点上的python对象组成，如列表，元组，字典等。 RDD主要是存储在内存中（亦可持久化到硬盘上），这就是相对于Hadoop的MapReduce的优点，节省了重新读取硬盘数据的时间。
在我们训练机器学习模型时，为提高模型拟合效果，经常使用K-Fold交叉验证，这是提高模型性能的重要方法。在这篇文章中，我们将介绍K-Fold交叉验证的基本原理，以及如何通过各种随机样本来查看数据。
目标检测是计算机视觉中一个重要问题，在行人跟踪、车牌识别、无人驾驶等领域都具有重要的研究价值。近年来，随着深度学习对图像分类准确度的大幅度提高，基于深度学习的目标检测算法逐渐成为主流。
Pyspark学习笔记（一）—序言及目录 Pyspark学习笔记（二）— spark-submit命令 Pyspark学习笔记（三）— SparkContext 与 SparkSession Pyspark学习笔记（四）弹性分布式数据集 RDD（上） Pyspark学习笔记（四）弹性分布式数据集 RDD（下）
GPU和像谷歌TPU这样的硬件加速器大大加快了神经网络的训练速度，推助AI迅速成长，在各个领域发挥超能力。
来自马里兰大学、马克斯·普朗克信息学研究所、Adobe的研究人员提出了一种新型纹理混合器Texture Mixer。
最近在使用spark处理分析一些公司的埋点数据，埋点数据是json格式，现在要解析json取特定字段的数据，做一些统计分析，所以有时候需要把数据从集群上拉到driver节点做处理，这里面经常出现的一个问题就是，拉取结果集过大，而驱动节点内存不足，经常导致OOM，也就是我们常见的异常: 这种写法的代码一般如下： 上面的这种写法，基本原理就是一次性把所有分区的数据，全部读取到driver节点上，然后开始做处理，所以数据量大的时候，经常会出现内存溢出情况。 （问题一）如何避免这种情况？ 分而治之，每次只拉取一个
与基于 CNN 的方法相比，基于 Transformer 的方法由于能够对远程依赖性进行建模，因此取得了令人印象深刻的图像恢复性能。然而，SwinIR 等算法采用基于窗口的局部注意力策略来平衡性能和计算开销，这限制了使用大感受野来捕获全局信息并在早期层中建立长依赖关系。
这个类是做什么用的？通过实时数据增强生成张量图像数据批次，并且可以循环迭代，我们知道在Keras中，当数据量很多的时候我们需要使用model.fit_generator()方法，该方法接受的第一个参数就是一个生成器。简单来说就是：ImageDataGenerator()是keras.preprocessing.image模块中的图片生成器，可以每一次给模型“喂”一个batch_size大小的样本数据，同时也可以在每一个批次中对这batch_size个样本数据进行增强，扩充数据集大小，增强模型的泛化能力。比如进行旋转，变形，归一化等等。
这篇文章不是讲解数据结构的文章，而是结合现实的场景帮助大家 理解和复习数据结构与算法， 如果你的数据结构基础很差，建议先去看一些基础教程，再转过来看。
因为通用计算芯片不能满足神经网络运算需求，越来越多的人转而使用GPU和TPU这类专用硬件加速器，加快神经网络训练的速度。
首先，这篇文章不是讲解数据结构的文章，而是结合现实的场景帮助大家 理解和复习数据结构与算法 。
2、软件架构需求是指用户对目标软件系统在功能、行为、性能、设计约束等方面期望，以下活动中，不属于软件架构需求过程范畴的是（）。
深度学习中的各种卷积网络大家知多少？对于那些听说过却又对它们没有特别清晰的认识的小伙伴们，Kunlun Bai 这篇文章非常值得一读。Kunlun Bai 是一位人工智能、机器学习、物体学以及工程学领域的研究型科学家，在本文中，他详细地介绍了 2D、3D、1x1 、转置 、空洞（扩张）、空间可分离、深度可分离、扁平化、 分组等十二种卷积网络类型。
近年来，卷积神经网络（CNN）已经主宰了计算机视觉领域。自 AlexNet 诞生以来，计算机视觉社区已经找到了一些能够改进 CNN 的设计，让这种骨干网络变得更加强大和高效，其中比较出色的单个分支网络包括 Network in Network、VGGNet、ResNet、DenseNet、ResNext、MobileNet v1/v2/v3 和 ShuffleNet v1/v2。近年来同样吸引了研究社区关注的还有多分辨率骨干网络。为了能够实现多分辨率学习，研究者设计出了模块内复杂的连接来处理不同分辨率之间的信息交换。能够有效实现这种方法的例子有 MultiGrid-Conv、OctaveConv 和 HRNet。这些方法在推动骨干网络的设计思想方面做出了巨大的贡献。
PySpark RDD 转换操作(Transformation) 是惰性求值，用于将一个 RDD 转换/更新为另一个。由于RDD本质上是不可变的，转换操作总是创建一个或多个新的RDD而不更新现有的RDD，因此，一系列RDD转换创建了一个RDD谱系（依赖图）。
这篇“缺失的白皮书”是对委托权益证明(Delegated Proof of Stake, DPOS)的分析，旨在分析 DPOS 的工作原理及其鲁棒性（robust）的根源。DPOS 的早期描述可以在 bitshares.org 找到；不过，那个描述里包含了很多与实际共识不大相关的内容。
Facebook AI 近日一项研究提出了一种新的卷积模块 IdleBlock 以及使用该模块的混合组成（HC）方法。实验表明这种简洁的新方法不仅能显著提升网络效率，而且还超过绝大多数神经网络结构搜索的工作，在同等计算成本下取得了 SOTA 表现，相信这项研究能给图像识别网络的开发、神经网络结构搜索甚至其他领域网络设计思路带来一些新的启迪。
作者：Bing Xu、Andrew Tulloch、Yunpeng Chen、Xiaomeng Yang、Lin Qiao
文章描述基于Rhealstone的系统实时性的测量基准的框架--R-Rhealstone框架。
实现批处理的技术许许多多，从各种关系型数据库的sql处理，到大数据领域的MapReduce，Hive，Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理，那么他是怎么做到批处理的呢？
如果你想给专业开发人员留下深刻印象，你会怎么做？很简单：用简单的逻辑和尽可能少的代码来解决一个复杂的问题。随着 ES6 箭头函数的引入，可以创建看起来优雅和简单的单行代码。
AI 科技评论按：深度学习中的各种卷积网络大家知多少？对于那些听说过却又对它们没有特别清晰的认识的小伙伴们，Kunlun Bai 这篇文章非常值得一读。Kunlun Bai 是一位人工智能、机器学习、物体学以及工程学领域的研究型科学家，在本文中，他详细地介绍了 2D、3D、1x1 、转置 、空洞（扩张）、空间可分离、深度可分离、扁平化、 分组等十多种卷积网络类型。AI 科技评论编译如下。
Apache Spark 以其分布式计算能力彻底改变了大数据处理。然而，Spark 的性能可能会受到称为“shuffle”的常见挑战的影响。在本文中，我们将探讨 shuffle 是什么、它的原因、与之相关的问题以及优化 Apache Spark 性能的有效解决方案。
字节数组的关键在于它为存储在该部分内存中的每个8位值提供索引（快速），精确的原始访问，并且您可以对这些字节进行操作以控制每个位。 坏处是计算机只将每个条目视为一个独立的8位数 – 这可能是你的程序正在处理的，或者你可能更喜欢一些强大的数据类型，如跟踪自己的长度和增长的字符串 根据需要，或者一个浮点数，让你存储说3.14而不考虑按位表示。 作为数据类型，在长数组的开头附近插入或移除数据是低效的，因为需要对所有后续元素进行混洗以填充或填充创建/需要的间隙。
领取专属 10元无门槛券
手把手带您无忧上云
