Spark学习技巧

本公众号主要分享Spark使用及源码,spark 机器学习,图计算,同时会涉及到hadoop家族。
379 篇文章
127 人订阅

全部文章

Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

如何高效地玩转多级缓存

TMC,即“透明多级缓存(Transparent Multilevel Cache)”,是有赞 PaaS 团队给公司内应用提供的整体缓存解决方案。

822
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

知乎实时数仓实践及架构演进

转自知乎技术专栏:https://zhuanlan.zhihu.com/p/56807637

832
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

Linux 之 crontab 使用

crond 是linux用来定期执行程序的命令。当安装完成操作系统之后,默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作,如果有要...

472
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

IntelliJ IDEA 从入门到上瘾教程,2019图文版!

如果说IntelliJ IDEA是一款现代化智能开发工具的话,Eclipse则称得上是石器时代的东西了。

1125
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

你可能不太会用的 10 个 Git 命令

本文讨论的是开发人员、数据科学家或产品经理应该了解的各种 Git 命令。我们将了解该如何用 Git 进行检查、删除和整理操作。我们还将介绍如何用 Bash 别名...

703
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

服务器性能优化的正确姿势(好文推荐)

导言:运维工作中除了要维持平台的稳定运行以外,还得对服务器的性能进行优化,让服务器发挥出良好的工作性能是稳定运行的基础。腾讯互娱DBA团队的汪伟(simon)在...

1153
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

Kafka分组消费的那些事儿

2),分组消费,同一个分组内所有消费者消费一份完整的数据,此时一个分区数据只能被一个消费者消费,而一个消费者可以消费多个分区数据

1224
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

kappa和lambda对比

首先我们会详细的讲解这两种架构,实现这两种架构的技术工具,还有就是如何决策使用这两种架构。

771
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

Aloha:一个分布式任务调度框架

Aloha 是一个基于 Scala 实现的分布式的任务调度和管理框架,提供插件式扩展功能,可以用来调度各种类型的任务。Aloha 的典型的应用场景是作为统一的任...

852
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

中台是个什么鬼?你想知道的都在这里!

今天让我们全面解读中台,包括企业为什么要平台化,目前中台都有哪些形式,实施中台系统的优势、面临的问题以及建议都有哪些?

702
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

大数据实战|怎样实现大型电商热销榜?

上次给粉丝的福利,购买极客时间课程,浪尖这里返现:球友24元,非球友10元或者8折入球。大家还记得吗,发现很多粉丝比较滞后,这两天还陆续找我要返现,,,今天看了...

812
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

Elasticsearch 在腾讯的大规模实践 | 附 PPT

872
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

flink状态管理-keyed

Flink主要有两种基础类型的状态:keyed state 和operator state。

1053
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

大数据面试题分析

转自:https://blog.csdn.net/csuwubing/article/details/79259749

1173
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

Spark SQL的Parquet那些事儿.docx

Parquet是一种列式存储格式,很多种处理引擎都支持这种存储格式,也是sparksql的默认存储格式。Spark SQL支持灵活的读和写Parquet文件,并...

1013
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

何为大数据分析?

大数据的分析从所周知,大数据已经不简简单单是数据大的事实了,而最重要的现实是对大数据进行分析,只有通过分析才能获取很多智能的,深入的,有价值的信息。那么越来越多...

892
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

不知怎么优化MySQL?先搞懂原理再说吧!

说起MySQL的查询优化,相信大家积累一堆技巧:不能使用SELECT *、不使用NULL字段、合理创建索引、为字段选择合适的数据类型….. 你是否真的理解这些优...

702
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

基于LSTM的情感识别在鹅漫评论分析中的实践与应用

深度学习(深度神经网络)作为机器学习的一个重要分支,持续推动了很多领域的研究和应用取得新的进展,其中包括文本处理领域的情感分类问题。由于可以对文本进行更有效的编...

892
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

不懂watermark?来吧~

首先,拿基于窗口的计算来说吧,窗口的大小 size和滑动间隔 slide,都是基于时间维度处理的,像Spark Streaming就是基于处理时间,也即是处理任...

572
Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

基于Alluxio系统的Spark DataFrame高效存储管理技术

越来越多的公司和组织开始将Alluxio和Spark一起部署从而简化数据管理,提升数据访问性能。Qunar最近将Alluxio部署在他们的生产环境中,从而将Sp...

1245

扫码关注云+社区