一名叫大蕉的程序员-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

一名叫大蕉的程序员

专栏成员

115

文章

80915

阅读量

47

订阅数

面向简历学习-数仓工程师成名之道

hive spark 数据分析

废话不说，直奔主题，我们聊一下该如何学习。居士的观点很简单，就是标题的内容：面向简历学习！

2019-09-27

1.5K0

求求你大蕉别学了之 Flink No.127

spark maven 大数据

Flink ，为纯粹的流计算为生的一个大数据项目，玩一波先。跟 Spark 有什么区别呢？其实就一个区别，Spark 永远是批量处理，Flink 可以批量也可以实时流。啥意思呢？就是 Spark 没有一批就不处理就存着，永远只能准实时，而 Flink 拿到就处理拿到就处理，跟家里自来水似的，来多少处理多少。

2019-03-08

5250

憋瞎说，大数据不是你想的那样 No.114

大数据 java sql api spark

学生党以及很多没设计过大数据开发的小伙伴呢，都对大数据这么一个领域感到非常非常的好奇非常非常的神秘，我今天就非要戳穿给你们看。

2018-10-26

4160

学习别跟我谈兴趣 No.88

spark 机器学习神经网络深度学习人工智能

许岑老师说：学习别跟我谈什么兴趣，成年人学习不需要兴趣。听了很多人在吐槽，现在所做的东西有多么不开心，有多么不喜欢，但还是每天两点一线，每天都一模一样机械地去上班，在公司机械式地做着机械的工作。所以有很多人毕业了十年，也工作了十年，但是只有一年的工作经验。为什么？因为他们只有第一年的时候在学习如何适应工作，如何提高工作效率，如何与同事沟通。以至于后面的九年都在用第一年积累的经验以及所学习到的技能。其实不仅仅是已经毕业了很久的人，甚至有很多未毕业的娃，都在说我不喜欢什么不喜欢什么，但是你要是问他们"那

2018-03-27

6690

靠谱的数据开发从业指南No.82

大数据 spark 运维架构设计深度学习

数据开发太庞大了有小伙伴让我聊聊数据开发的职业规划和从业指南，因为数据开发从业人员的知识量实在是太太太大了，今天恰好这个机会好好聊聊。我们先来看看 InfoQ 整理的这个图，技能树不是一般的庞大

2018-02-05

6230

Spark你一定学得会（四）No.68

spark 大数据数据分析

小伙伴在写Spark任务的过程中感觉非常巨痛苦，总是有奇奇怪怪的问题，写好的程序在开发环境跑得好好的，一上到生产直接被干懵逼了。今天呢，我就跟大伙好好聊聊 Spark 在启动或者运行时的报错或者太慢，并分析其原因及解决方案。自己亲手挖的坑，抹着泪也要趟过去。现在我就跟你们细细说说我过去一年实际经验亲脚趟的坑。 00000：Spark on yarn 启动的时候一直在 waiting。第一种可能，队列资源不足，所有的资源都在被其他同学占用ing。解决方案：把那个同学打晕，然后kill applicati

2018-02-05

6010

提高Spark姿势水平 No.73

spark 大数据数据处理数据分析

长文。巨长。本文的依据是我学习整个Spark的学习历程。在这里，我会从几个方面来跟大家一起讨论。Spark 是什么？Spark 跟 Hadoop 有什么渊源？Spark 有哪些方便的组件？什么场景下用 Spark ，如何使用？以及用什么样的姿势来学习 Spark 会比较好？ Apache Spark™ is a fast and general engine for large-scale data processing. Spark就是一个能够快速以及通用的处理大规模数据的引擎。怎么理解这句话呢？ Sp

2018-02-05

8120

Machine Learning最小可迭代产品No.75

机器学习人工智能深度学习 spark

报告各位首长，我参与的第二个项目顺利上线啦~ 棒棒，又一次感觉自己做的东西是有价值的，这个项目是一个平台类产品，专注于提高线下零售的实施效率，希望后面的迭代会越来越好。但是这个今天跟主题没什么毛关系，今天要跟大家聊聊最近的一点小思考，关于Machine Learning 的最小化可行产品的设计，以及平台化设计，应该是怎么样的。我在公众号后台看到好多读者大大都留言了 “MVP” 来获取之前做的PPT了，但也很多大大希望我能好好讲讲这个PPT的内容，以及背后设计的思想是怎样的，今天终于有空跟大家细细捯饬捯饬。

2018-02-05

5720

机器学习虾扯蛋之SVD奇异值分解No.48

大数据 spark 机器学习人工智能数据库

机器学习说难不难，说简单也不简单。跟着小蕉有饭吃。今天分享的是机器学习里面一个寻找主要成分的算法，SVD (Singularly Valuable Decomposition) 奇异值分解。首先寻

2018-02-05

7040

一行Spark代码的诞生记(深度剖析Spark架构)

spark 大数据架构设计

大家好，我是一行Spark代码，我叫小小小蕉，不知道为毛，我爸爸大蕉和我妈妈大大蕉把我生的又瘦又长。长这样。 val sssjiao = new SparkContext(new SparkConf().setAppName("sssjiao").setMaster("yarn-cluster")).parallelize(Array("")); 我真的，不知道怎么说，好长好长啊。。总有小伙伴对着我说：问君何不乘风起扶摇直上九万里。说出来不怕吓着你，其实我一个字都看不懂。作为一行普通的代码，

2018-02-05

6860

给大数据入门小伙伴的几个小挑战No.28

大数据 spark 数据分析

我是小蕉。子曰：视其所以，观其所由，察其所安，人焉廋哉？人焉廋哉？子曰：不患无位，患所以立；不患莫己知，求为可知也。 ---- 今天突然神来之笔，有小伙伴说想入门大数据但是苦于还是不知道怎么入手，或者说没有东西练手。好，那就直接跟你们分享几个小任务，我相信你要是用心去做，用心去理解有什么解决方案，背后的运行逻辑，你至少可以把大数据入个门，这几个任务为期两个月，具体时间分配自己把握。敲黑板！！！我不会提供任何的源码，也不会提供任何方案，但是可以提供咨询。（当然一切问题小伙伴们还是先问度娘，因为

2018-02-05

5650

Spark你一定学得会（二）No.8

spark 大数据人工智能

第一次分享的妥妥就是入门的干货，小伙伴们最好可以自己敲一敲代码，不然只看我的分享一点用都木有。但还是有很多小伙伴表示看不懂，没关系，慢慢来自己操作一遍有什么问题后台问我就可以了。啥也不说了，就是干货，首先祭上今天的关键代码。今天主要跟大家讲讲Spark里面RDD的持久化机制。首先持久化机制有什么用呢？一个作用是保存到硬盘给其他小伙伴查看，另外一个作用是重用，我们都知道RDD是不可变的，所以当RDD有重用的时候，如果没有持久化，RDD都会乖乖地重新算。。 object RDDPersist { def

2018-02-05

6570

Spark你一定学得会（三）No.10

spark 大数据数据分析

大家好我是小蕉。今天跟大家分享一下Spark的运行机制以及运行模式。从运行机制来看，长下面这样子。 Spark任务由Driver提交Application给Master，然后由Master将App

2018-02-05

6870

Spark你一定学得会（一）No.7

spark 数据处理大数据

我是小蕉。上一篇大家说没有干货，妈蛋回南天哪来的干货你告诉我！！！还好这几天天气还不错，干货来了。首先祭上今天关键代码，要做的事情就是从Hive表中取得年龄数据，然后去重，统计每个年龄的人数。如果你能看到这里，我当你知道RDD,HDFS,还有scala是什么东东，不知道的看我上一篇或者上某搜索引擎去，我不管。 case class PERSON( val name:String, val age:String ); object Some{ def main(args: Arr

2018-02-05

7010

靠谱的数据开发从业指南No.82

大数据 spark 数据挖掘

有小伙伴让我聊聊数据开发的职业规划和从业指南，因为数据开发从业人员的知识量实在是太太太大了，今天恰好这个机会好好聊聊。

2018-01-29

7200

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态