腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

斑斓

张逸的技术分享

专栏作者

256

文章

257839

阅读量

60

订阅数

PySpark分析二进制文件

spark linux python https

客户需求客户希望通过spark来分析二进制文件中0和1的数量以及占比。如果要分析的是目录，则针对目录下的每个文件单独进行分析。分析后的结果保存与被分析文件同名的日志文件中，内容包括0和1字符的数量与占比。要求：如果值换算为二进制不足八位，则需要在左侧填充0。可以在linux下查看二进制文件的内容。命令： xxd –b –c 1 filename 命令参数-c 1是显示1列1个字符，-b是显示二进制。遇到的坑开发环境的问题要在spark下使用python，需要事先使用pip安装pyspark。

2018-03-07

1.7K0

概率学中的随机变量与分布

随机变量 Random Variables 如果一个变量的值存在一个与之相关联的概率分布，则称该变量为“随机变量（Random Variable）”。数学上更严谨的定义如下：设随机试验的样本空间为S={e}，X=X(e)是定义在样本空间S上的实值单值函数，称X=X(e)为随机变量。一个最常见的随机数例子就是扔硬币，例如可以记正面为1，反面为0。更复杂的情况是扔10次硬币，记录出现正面的次数，其值可以为0到9之间的整数。通常可以将随机变量分为离散型随机变量（Discrete Random Varia

2018-03-07

1.8K0

掌握一点儿统计学

对于数据分析师而言，统计学必定是一门绕不开的学科。我今生做数据科学家已经无望了，但就工程角度来讲，致力于大数据行业，了解一些必备的统计学知识仍有必要。Data Science from Scratch的第5章讲解了统计学初级知识，对于我这样的门外汉而言，可谓恰到好处。尤喜书中还给出Python的代码示例，对于程序员而言，这是了解概念知识的利器。统计学会描述一组数据，并通过一些常用的统计运算甄别出数据的规律，从而帮助分析师能够更好地理解数据。统计学中最常见的运算自然就是计数（count）、最大值（max）、

2018-03-07

9190

使用Python Pandas处理亿级数据

python 数据处理

在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：硬件环境 CPU：3.5 GHz Intel Core i7 内存：32 GB HDDR 3 1600 MHz 硬盘：3 TB Fusion Drive 数据分析工具 Pyth

2018-03-07

6.7K0

闲话 | 代码的体格

ruby python scala java

Steve Yegge在他特立独行的作品《程序员的呐喊》中写道：“我坚信代码最大的敌人就是体格”。不过他过于自大了，以为这只是像他那样牛逼的程序员才拥有的少数派观点；又或者说他过于悲观，以为程序员的世界还在拼代码的肌肉男臆想中。殊不知只要是曾经挣扎在庞大代码库泥潭中的程序员，就不会盲目崇拜代码的大块头。可惜，“知行合一”非圣人不可以做到，梦想的光芒常常难以照进现实的阴影。要缩小代码的体格，似乎比减肥还要艰难。软件系统像一条贪吃蛇，吃掉一切功能，最后越变越长，在局限的空间里再也无法做到从容的转折腾挪，最后活

2018-03-07

6130

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态