腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

一名叫大蕉的程序员

专栏作者

115

文章

77421

阅读量

47

订阅数

面向简历学习-数仓工程师成名之道

hive spark 数据分析

废话不说，直奔主题，我们聊一下该如何学习。居士的观点很简单，就是标题的内容：面向简历学习！

2019-09-27

1.5K0

我也要成为跟你一样厉害的人 No.112

数据分析 go 编程算法数据库

无数次我们在平时闲得很的时候，都会想标题这么一个事情，就是我也要成为跟你一样厉害的人，在我眼里你就是很厉害很厉害很厉害。

2018-10-08

4180

事情并不是非黑即白的 No.84

数据分析机器学习神经网络深度学习人工智能

最近看了一本书《精进》，有一段话觉得很有收获，分享给大家。很多人都被自己的思维框架限制地死死的，认为一切都是非黑即白的，但其实不然。有小伙伴觉得工作跟学习是互斥的，其实并不是，你在工作的时候依然可以选择在职攻读一个学位或者拿一个证书。有小伙伴觉得工作跟快乐是不挂钩的，甚至觉得自己不从事某项工作就一定无法发挥自己的才能，一提起工作就感觉痛苦，但其实不然。觉得自己一辈子只能从事某一项工作，不然就会shi，但其实不然。这种情况还是有办法可以破的，大家不妨试试看。这三个办法我觉得都不是很激进，可以一试。悬置目

2018-03-27

9030

大数据计数原理1+0=1这你都不会算(十)No.77

人工智能大数据数据分析

大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51 <- BloomFilter 大数据计数原理1+0=1这你都不会算(四)No.52 <- B-Tree 大数据计数原理1+0=1这你都不会算(五)No.55 <- B+Tree 大数据计数原理1+0=1这你都不会算(六)No

2018-02-05

4750

Spark你一定学得会（四）No.68

spark 大数据数据分析

小伙伴在写Spark任务的过程中感觉非常巨痛苦，总是有奇奇怪怪的问题，写好的程序在开发环境跑得好好的，一上到生产直接被干懵逼了。今天呢，我就跟大伙好好聊聊 Spark 在启动或者运行时的报错或者太慢，并分析其原因及解决方案。自己亲手挖的坑，抹着泪也要趟过去。现在我就跟你们细细说说我过去一年实际经验亲脚趟的坑。 00000：Spark on yarn 启动的时候一直在 waiting。第一种可能，队列资源不足，所有的资源都在被其他同学占用ing。解决方案：把那个同学打晕，然后kill applicati

2018-02-05

5620

提高Spark姿势水平 No.73

spark 大数据数据处理数据分析

长文。巨长。本文的依据是我学习整个Spark的学习历程。在这里，我会从几个方面来跟大家一起讨论。Spark 是什么？Spark 跟 Hadoop 有什么渊源？Spark 有哪些方便的组件？什么场景下用 Spark ，如何使用？以及用什么样的姿势来学习 Spark 会比较好？ Apache Spark™ is a fast and general engine for large-scale data processing. Spark就是一个能够快速以及通用的处理大规模数据的引擎。怎么理解这句话呢？ Sp

2018-02-05

7780

大数据计数原理1+0=1这你都不会算(九)No.64

大数据数据处理数据分析

大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51 <- BloomFilter 大数据计数原理1+0=1这你都不会算(四)No.52 <- B-Tree 大数据计数原理1+0=1这你都不会算(五)No.55 <- B+Tree 大数据计数原理1+0=1这你都不会算(六)No

2018-02-05

5230

大数据计数原理1+0=1这你都不会算(六)No.57

大数据数据分析机器学习

照例甩一波链接。大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51 <- BloomFilter 大数据计数原理1+0=1这你都不会算(四)No.52 <- B-Tree 大数据计数原理1+0=1这你都不会算(五)No.55 <- B+Tree 今天开始进入一个全新的领域，嗯

2018-02-05

5460

大数据计数原理1+0=1这你都不会算(四)No.52

数据库大数据数据分析

这是本坑的第四篇，之前已经说了关于 HashSet 、BitMap 、Bloom Filter 布隆过滤器了，本篇主要讲B-树。要是还不知道前面讲了啥的，可以点一下下面的连接看看。大数据计数原理1+0=1这你都不会算(一)No.47 大数据计数原理1+0=1这你都不会算(二)No.50 大数据计数原理1+0=1这你都不会算(三)No.51 B+树是现在很多索引系统的数据结构，而B-树是B+树的基础，本次先讲B-树。而在讲B-树之前，又不得不讲二叉搜索树（BST，Binary Search Tree）

2018-02-05

5820

大数据计数原理1+0=1这你都不会算(二)No.50

大数据数据处理数据分析

上一次我们说完了用 HashSet 来进行计数了。我们可以发现，如果我们估计有N个数，那么我们至少需要N*32bit（按照int在32位操作系统下占用32个bit）的空间来进行存储，这太费钱了。有没有

2018-02-05

4170

大数据计数原理1+0=1这你都不会算(一)No.47

大数据数据分析数据处理

hello哈，大家是不是好久没见到我啦？我也是一直在摸索小伙伴们喜欢看到什么东西，不喜欢看什么东西，还请大家多多支持。为了表示感谢。小蕉在这给你们一鞠躬，二鞠躬，三。事不过三~ 1+0=1你都不会谈什么大数据？这篇呢，又是开坑之作，这是一个系列，主要会将大数据下的计数原理。说到计数，不知道大家会第一印象想到什么，我估计会是。。数手指。。没错，小蕉从小学开始就开始数手指，所有20以内的加减法很早就掌握了。研表究明，这估计也是我们现在使用十进制的原因，如果我们每个人每只手都有6只手指，那我们可能就用十二进制了

2018-02-05

6090

大数据计数原理1+0=1这你都不会算(五)No.55

数据库大数据数据分析

Hello哈，又好久没聊大数据相关的东西了，是不是又忘记了吖？这次聊聊B-树的升级版，B+树。前面的内容小伙伴可以回顾一下。大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51 <- BloomFilter 大数据计数原理1+0=1这你都不会算(四)No.52 <- B-Tree 所谓B+树

2018-02-05

5240

给大数据入门小伙伴的几个小挑战No.28

大数据 spark 数据分析

我是小蕉。子曰：视其所以，观其所由，察其所安，人焉廋哉？人焉廋哉？子曰：不患无位，患所以立；不患莫己知，求为可知也。 ---- 今天突然神来之笔，有小伙伴说想入门大数据但是苦于还是不知道怎么入手，或者说没有东西练手。好，那就直接跟你们分享几个小任务，我相信你要是用心去做，用心去理解有什么解决方案，背后的运行逻辑，你至少可以把大数据入个门，这几个任务为期两个月，具体时间分配自己把握。敲黑板！！！我不会提供任何的源码，也不会提供任何方案，但是可以提供咨询。（当然一切问题小伙伴们还是先问度娘，因为

2018-02-05

5370

呐你们要的算法（二）No.20

大数据编程算法数据分析

今天聊聊PCA算法。 PCA（Principal Component Analysis），主成分分析，是什么玩意呢？就是一个将一个n维的特征数据降低到k维的算法。有小伙伴就要问了，说我的特征也就几十个吖，这样做有什么用吖？那确实没什么卵用，对于维度太低的数据，PCA确实起不到什么大的作用，但是也可以作为一个特征清洗的前置，可能会有一点点提升喔。但是现在很多数据动辄几千维几万维，甚至几百万维，在这种情况下，不对数据进行降维就交给其他的机器学习模型，可能学个几年都学不出来，这是非常有可能的。所以在这种

2018-02-05

4770

Spark你一定学得会（三）No.10

spark 大数据数据分析

大家好我是小蕉。今天跟大家分享一下Spark的运行机制以及运行模式。从运行机制来看，长下面这样子。 Spark任务由Driver提交Application给Master，然后由Master将App

2018-02-05

6570

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态