#spark

Apache Spark是一个开源集群运算框架,Spark使用了存储器内运算技术,能在数据尚未写入硬盘时即在存储器内分析运算。

看了很多技术书,为啥仍然写不出项目?

Leetcode名企之路

大数据工具spark用scala写的,java造一个?scala看不懂,学啊,卧槽,技能树又长了一个点,好像可以造更多了呢?

7530

快!逃离裁员潮!大数据程序猿必备过冬指南!!!

腾讯NEXT学位

2019年2月15日,滴滴月度大会上,程维宣布滴滴整体裁员比例占全员的15%,整体裁减约2000人;

10860

从Storm到Flink,有赞五年实时计算效率提升实践

Fayson

AI 前线导读:有赞是一个商家服务公司,提供全行业全场景的电商解决方案。在有赞,大量的业务场景依赖对实时数据的处理,作为一类基础技术组件,服务着有赞内部几十个...

10430

Spark on Yarn资源配置

CoderJed

工作期间,我提交spark任务到yarn上,发现指定的资源(使用内存大小。使用core的个数)总是与yarn的UI页面显示的资源使用量不一致,写本文说明一下这个...

8960

Databricks Delta Lake 介绍

codingforfun

Delta Lake 时间旅行允许您查询 Delta Lake 表的旧快照。时间旅行有很多用例,包括:

7420

VR/AR影视|美国公共电视成立VR团队,BBC推VR版《神秘博士》预告

VRPinea

VR/AR如何普及,如何进入我们的生活?或许可以从日常的“看电视”入手。随着VR/AR开辟出另一种观影方式、硬件设备的日益完善,VR/AR影视正越来越旺盛的生长...

7020

大数据和云计算技术周报(第101期)

大数据和云计算技术

https://mp.weixin.qq.com/s/omMwlbASRp6keXhEf3TDRw

8120

Spark SQL的Parquet那些事儿.docx

Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

Spark SQL为了更好的性能会缓存parquet的元数据。当spark 读取hive表的时候,schema一旦从hive转化为spark sql的,就会被s...

10130

大数据技术之_19_Spark学习_07_Spark 性能调优小结

黑泽君

========== Spark 的监控方式 ========== 1、Spark Web UI Spark 内置应用运行监控工具(提供了应用...

9230

经验分享 | 我是如何从小白到收获几个不错的offer!

zenRRan

研究生三年,作为一名非计算机专业的学生,能够从一名纯小白(Python不会,机器学习没听说过)到最后校招拿到几个不错的offer,个人感觉可以给自己打个及格分吧...

8940

大数据技术之_19_Spark学习_06_Spark 源码解析小结

黑泽君

3、spark-submit 和 spark-shell 最终都会调用 spark-class 脚本,通过 spark-class 脚本启动相对应的入口类。

8730

美团大佬的零基础算法学习之路

逆水寒

研究生三年,作为一名非计算机专业的学生,能够从一名纯小白(Python不会,机器学习没听说过)到最后校招拿到几个不错的offer,个人感觉可以给自己打个及格分吧...

7270

从小白到入门算法,我的经验分享给你~

石晓文

美团点评 · 算法实习生 (已认证)

研究生三年,作为一名非计算机专业的学生,能够从一名纯小白(Python不会,机器学习没听说过)到最后校招拿到几个不错的offer,个人感觉可以给自己打个及格分吧...

12330

Streaming SQL基础

哒呵呵

基于 Stream & Table relativity,《Streaming Systems》将 declarative 的编程方式往前推进到数据系统中最常用...

8750

重磅 | Apache Spark 社区期待的 Delta Lake 开源了

Fayson

2019年4月24日在美国旧金山召开的 Spark+AI Summit 2019 会上,Databricks 的联合创始人及 CEO Ali Ghodsi 宣布...

10930

大数据技术之_19_Spark学习_05_Spark GraphX 应用解析小结

黑泽君

========== Spark GraphX 概述 ========== 1、Spark GraphX是什么?   (1)Spark GraphX 是 Spa...

7830

Delta的真正用处和价值,你可知道

用户2936994

应该说,Delta是最近几年Databricks开源的最有价值的东西。Databricks这几年对外致力于AI,对内则努力给客户提供一站式分析处理平台。这个一站...

8240

MLSQL 1.3.0开发版中最新三个MPIPs--调度,资源,缓存

用户2936994

MPIP 是新Feature提案。全称 MLSQL Project Improvement Proposals 。当然这个是学习Spark 的 SPIP,作为一...

8830

我在美团的这两年,想和你分享

石晓文

美团点评 · 算法实习生 (已认证)

2017.08.14,结束了两周的等待,如愿以偿开始了自己的美团实习生活,本来抱着三五个月走人,争取下一份实习的心态,没想到一直到转为暑期实习生、到通过留用面试...

10730

大数据技术之_19_Spark学习_03_Spark SQL 应用解析小结

黑泽君

1、你可以通过 spark-shell 或者 spark-sql 来操作 Spark SQL,注意:spark 作为 SparkSession 的变量名,sc ...

7520

扫码关注云+社区