数据预处理在解决深度学习问题的过程中，往往需要花费大量的时间和精力。 数据处理的质量对训练神经网络来说十分重要，良好的数据处理不仅会加速模型训练， 更会提高模型性能。为解决这一问题，PyTorch提供了几个高效便捷的工具， 以便使用者进行数据处理或增强等操作，同时可通过并行化加速数据加载。
RDD（弹性分布式数据集） 是 PySpark 的基本构建块，是spark编程中最基本的数据对象； 它是spark应用中的数据集，包括最初加载的数据集，中间计算的数据集，最终结果的数据集，都是RDD。 从本质上来讲，RDD是对象分布在各个节点上的集合，用来表示spark程序中的数据。以Pyspark为例，其中的RDD就是由分布在各个节点上的python对象组成，类似于python本身的列表的对象的集合。区别在于，python集合仅在一个进程中存在和处理，而RDD分布在各个节点，指的是【分散在多个物理服务器上的多个进程上计算的】 这里多提一句，尽管可以将RDD保存到硬盘上，但RDD主要还是存储在内存中，至少是预期存储在内存中的，因为spark就是为了支持机器学习应运而生。 一旦你创建了一个 RDD，就不能改变它。
系统 # uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # hostname # 查看计算机名 # lspci -tv # 列出所有PCI设备 # lsusb -tv # 列出所有USB设备 # lsmod # 列出加载的内核模块 # env # 查看环境变量 资源 # free -m # 查看
随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在一些不同之处。
运维行业正在变革，推荐阅读：30万年薪Linux运维工程师成长魔法 一、存储设备的挂载和卸载 存储设备的挂载和卸载常用操作命令：fdisk -l、df、du、mount、umount。 fdisk -l 命令 1.作用 查看所有硬盘的分区信息,包括没有挂上的分区和USB设备，挂载时需要用这条命令来查看分区或USB设备的名称，比如挂载U盘时。 注意：Linux中既然硬件是以文件形式存在，则也可以ls -l /dev/sda*查看第一块硬盘的分区信息 df 命令 1.作用 统计磁盘空间或文件系统使用情况
存储设备的挂载和卸载常用操作命令：fdisk -l、df、du、mount、umount。
RDD（弹性分布式数据集） 是 PySpark 的基本构建块，它是容错、不可变的 分布式对象集合。
RDD是Spark编程中最基本的数据对象， 无论是最初加载的数据集，还是任何中间结果的数据集，或是最终的结果数据集，都是RDD。 在Pyspark中，RDD是由分布在各节点上的python对象组成，如列表，元组，字典等。 RDD主要是存储在内存中（亦可持久化到硬盘上），这就是相对于Hadoop的MapReduce的优点，节省了重新读取硬盘数据的时间。
for是批处理中最复杂，也最强大的关键字。熟练掌握for的用法，才可能理解批处理的强大之处。
表分区是一种常见的优化方式，比如Hive中就提供了表分区的特性。在一个分区表中，不同分区的数据通常存储在不同的目录中，分区列的值通常就包含在了分区目录的目录名中。Spark SQL中的Parquet数据源，支持自动根据目录名推断出分区信息。例如，如果将人口数据存储在分区表中，并且使用性别和国家作为分区列。那么目录结构可能如下所示： tableName |- gender=male |- country=US ... ... ... |- country=CN ... |- gender=female |- country=US ... |- country=CH ... 如果将/tableName传入SQLContext.read.parquet()或者SQLContext.read.load()方法，那么Spark SQL就会自动根据目录结构，推断出分区信息，是gender和country。即使数据文件中只包含了两列值，name和age，但是Spark SQL返回的DataFrame，调用printSchema()方法时，会打印出四个列的值：name，age，country，gender。这就是自动分区推断的功能。 此外，分区列的数据类型，也是自动被推断出来的。目前，Spark SQL仅支持自动推断出数字类型和字符串类型。有时，用户也许不希望Spark SQL自动推断分区列的数据类型。此时只要设置一个配置即可， spark.sql.sources.partitionColumnTypeInference.enabled，默认为true，即自动推断分区列的类型，设置为false，即不会自动推断类型。禁止自动推断分区列的类型时，所有分区列的类型，就统一默认都是String。 案例：自动推断用户数据的性别和国家
Linux是多用户的网络操作系统。恩对跟Windows（单用户）不一样，他是可以多用户、多任务、多线程和多CPU的，我们小白貌似也不用知道那么许多，就知道他也是个操作系统就好了。因为太厉害所以人家是可以用在服务器（超级计算机）上面的操作系统。
批处理系统通常也叫脱机系统，需要大量的输入数据，运行一个作业来处理它，并产生一些输出数据。工作通常需要一段较长的时间（从几分钟到几天）。批处理作业通常是周期性地运行的（例如，一天一次）。批处理作业的主要性能度量通常是吞吐量。
所有步骤都是用ArcGIS中各种工具操作组合，未使用Arcpy与Python等需要使用代码的工具！
extundelete(下载地址 )最新版本的extundelete是0.2.4，于2013年1月发布
输入 D: 回车，进入D盘的根目录，然后输入dir 回车 可以查看根目录下的文件和文件夹， 输入 cd空格文件夹的名字（不区分大小写） 进入文件夹根目录下，依次输入dir 查看该目录下的文件和文件夹。
[quote color="primary"]注意事项：虽然有软件可以对误删的数据进行恢复，但是完全恢复数据的概率并不是百分百的。[/quote]
-a: 显示所有文件系统信息，包括系统特有的 /proc、/sysfs 等文件系统；
在上篇文章《手把手教你开发人工智能微信小程序(3)：加载数据》中，我给大家演示了如何通过fetch加载网络数据并进行数据归范化，出于演示的目的，例子做了简化处理，本文中将给大家介绍一个稍微复杂一点的例子：手写数字识别。很多机器学习的教程都以手写数字识别作为上手的示例，我在之前的文章也写过几篇：
本文转载自CSDN：http://blog.csdn.net/wl1411956542/article/details/52931499 由于不知道作者详细信息，文章作者暂时用其ID。 1、Hive分区表 在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。分区表指的是在创建表时指定的partition的分区空间。 Hive可以对数据按照某列或者某些列进行分区管理，所谓分区我们可以拿下面的例子进行解释
============================================================================= 注意：cmd的命令很多，需要用的时候可以查询即可！
这几天用了一下Windows系统的“黑框”，即win+R键，发现有些命令都忘了，还得查，就总结了一下：
.改变当前目录：cd 目录名 (进入用户home目录：cd ~;进入上一级目录：cd -)
提供一种方式去获取数据及其label，它的功能是如何获取每一个数据及其label，并告诉我们总共有多少的数据
数据科学家们早已熟悉的R和Pandas等传统数据分析框架虽然提供了直观易用的API，却局限于单机，无法覆盖分布式大数据场景。在Spark 1.3.0以Spark SQL原有的SchemaRDD为蓝本，引入了Spark DataFrame API，不仅为Scala、Python、Java三种语言环境提供了形如R和Pandas的API，而且自然而然地继承了Spark SQL的分布式处理能力。此外，Spark 1.2.0中引入的外部数据源API也得到了进一步的完善，集成了完整的数据写入支持，从而补全了Spark
Linux操作系统诞生于1991 年10 月5 日（这是第一次正式向外公布时间，以MINIX为模版）芬兰大学生 auther：Linus Torvalds，在BBS上发布了一则消息，他以bash/GCC等工具写了一个核心程序，这个程序可以在inter的386机器上面运作;
df 以磁盘分区为单位查看文件系统，可以获取硬盘被占用了多少空间，目前还剩下多少空间等信息。
CREATE TABLE IF NOT EXISTS salgrade2 ( GRADE int, LOSAL int, HISAL int ) partitioned by (day string) row format delimited fields terminated by '\t' location '/data/inner/ODS/01/salgrade2';
这是hudi系列的第一篇文章，先从核心概念，存储的文件格式加深对概念的理解，后续再逐步对使用（spark/flink入hudi，hudi同步hive等）、原理（压缩机制，索引，聚族等）展开分享～
类似于windows系统误删了文件，可以使用一些软件进行恢复操作。Linux也是有几款软件可以做到误删恢复的。
在前面的一篇文章百度推出EZDL，编程小白也可训练AI中，我为大家介绍了百度推出的在线可视化AI工具: EZDL。从介绍上看，这款工具似乎不错，不过是否真如宣传的：任何人不用编写一行代码就可以轻松地构建、设计和部署人工智能（AI）模型，这得试用之后才知道。
我曾经写了一篇初学者入门的文章：《机器学习简易入门-附推荐学习资料》，这篇文章给初学者指明了学习的方向，受到广大初学者好评。
表在存储时，可以进行分区操作，将数据按分区键的列值存储在表目录的子目录中，子目录名=“分区键=键值”。
Hudi表允许多种类型操作，包括非常常用的upsert，当然为支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。
论文: Cheaper Pre-training Lunch: An Efficient Paradigm for Object Detection
Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。 其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个 Hadoop/Hive/DW RD 必须掌握的部分，之前也有几篇文章聊到过 MR/Hive 中的 join，其实底层都是相同的，只是上层做了些封装而已，如果你还不了解究竟 Join 有哪些方式，以及底层怎么实现的，请参考如下
上周，曾老师给了我一个8个样本8个组别的转录组数据，即每组只有一个样本的转录组数据。我的处理方式是从中抽取两组进行差异分析，与文中描述的显著差异基因数目以及文中指出的差异基因进行比较，看看分析结果是否大致相同。但是，其实我有些没有理解到老师的意思。老师的初衷是想同原文一样批量绘制「同个部位」两两组别间的差异分析结果，看看其差异基因数量的分布，然后进行比较。在看到我理解偏差后，老师还飞快地给我提供了单样本批量差异分析的脚本。「因此，本周我们主要重点展示如何批量进行单样本差异分析以及批量绘制火山图并拼图」。
【cli】模式相信作为【实施工程师】的人们肯定的用很多，测试网络连通性，测试环境变量搭建是否成功都会用到，那么，对于小白的【实施工程师】本篇文章会有很高的价值。
随着Apache Parquet和Apache ORC等存储格式以及Presto和Apache Impala等查询引擎的发展，Hadoop生态系统有潜力作为面向分钟级延时场景的通用统一服务层。然而，为了实现这一点，这需要在HDFS中实现高效且低延迟的数据摄取及数据准备。
随着Apache Hudi变得越来越流行，一个挑战就是用户如何将存量的历史表迁移到Apache Hudi，Apache Hudi维护了记录级别的元数据以便提供upserts和增量拉取的核心能力。为利用Hudi的upsert和增量拉取能力，用户需要重写整个数据集让其成为Hudi表。此RFC提供一个无需重写整张表的高效迁移机制。
硬件设备在Linux中的命名 Linux中每一个设备都被当成文件，所有的设备文件都在/dev这个目录下。 设备 文件名 IDE硬盘 /dev/hd[a-d] SATA/USB/SCSI硬盘 /dev/sd[a-p] U盘 /dev/sd[a-p] 软驱 /dev/fd[0－1] 打印机 25针：/dev/lp[0－2] usb：/dev/usb/lp[0-15] 鼠标 usb:/dev/usb/mouse[0－15] ps2:/dev/psaux 当前CD/DVD RO
系统： # uname -a # 查看内核/操作系统/CPU信息 # cat /etc/issue # cat /etc/redhat-release # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # hostname # 查看计算机名 # lspci -tv # 列出所有PCI设备 # lsusb -tv # 列出所有USB设备 # lsmod # 列出加载的内核模块 # env # 查看环境变量 资源： # free -m # 查看内存使用量和交换区使用量 # df -h # 查看各分区使用情况 # du -sh <目录名> # 查看指定目录的大小 # grep MemTotal /proc/meminfo # 查看内存总量 # grep MemFree /proc/meminfo # 查看空闲内存量 # uptime # 查看系统运行时间、用户数、负载 # cat /proc/loadavg # 查看系统负载 磁盘和分区： # mount | column -t # 查看挂接的分区状态 # fdisk -l # 查看所有分区 # swapon -s # 查看所有交换分区 # hdparm -i /dev/hda # 查看磁盘参数(仅适用于IDE设备) # dmesg | grep IDE # 查看启动时IDE设备检测状况 网络： # ifconfig # 查看所有网络接口的属性 # iptables -L # 查看防火墙设置 # route -n # 查看路由表 # netstat -lntp # 查看所有监听端口 # netstat -antp # 查看所有已经建立的连接 # netstat -s # 查看网络统计信息 进程： # ps -ef # 查看所有进程 # top # 实时显示进程状态（另一篇文章里面有详细的介绍） 用户： # w # 查看活动用户 # id <用户名> # 查看指定用户信息 # last # 查看用户登录日志 # cut -d: -f1 /etc/passwd # 查看系统所有用户 # cut -d: -f1 /etc/group # 查看系统所有组 # crontab -l # 查看当前用户的计划任务 服务： # chkconfig –list # 列出所有系统服务 # chkconfig –list | grep on # 列出所有启动的系统服务 程序： # rpm -qa # 查看所有安装的软件包
系统 # uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # hostname # 查看计算机名 # lspci -tv # 列出所有PCI设备 # lsusb -tv # 列出所有USB设备 # lsmod # 列出加载
原文链接：https://www.runoob.com/w3cnote/linux-view-disk-space.html
uname -a # 查看内核/操作系统/CPU信息 head -n 1 /etc/issue # 查看操作系统版本 cat /proc/cpuinfo # 查看CPU信息 hostname # 查看计算机名 lspci -tv # 列出所有PCI设备 lsusb -tv # 列出所有USB设备 lsmod # 列出加载的内核模块 env # 查看环境变量资源 free -m # 查看内存使用量和交换区使用量 df -h # 查看各分区使用情况 du -sh <目录名> # 查看指定目录
一、系统 # uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # hostname # 查看计算机名 # lspci -tv # 列出所有PCI设备 # lsusb -tv # 列出所有USB设备 # lsmod # 列出
1、系统查看命令 # uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # hostname # 查看计算机名 # lspci -tv # 列出所有PCI设备 # lsusb -tv # 列出所有USB设备 # lsmod # 列出加载的内核模块 # env # 查看环境变量 2、资源/硬盘占用情况 # free -m # 查看内存使用量和交换区使用量 # df -h # 查看
/：根目录，一般根目录下只存放目录，不要存放件，/etc、/bin、/dev、/lib、/sbin应该和根目录放置在一个分区中
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
