腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
加米谷大数据
加米谷大数据实战经验分享,大数据项目分享,大数据开发培训等
专栏成员
举报
296
文章
360527
阅读量
61
订阅数
订阅专栏
申请加入专栏
全部文章(296)
大数据(121)
hadoop(53)
spark(39)
数据分析(38)
数据库(37)
机器学习(31)
java(30)
编程算法(30)
存储(29)
python(27)
分布式(25)
sql(22)
mapreduce(22)
人工智能(20)
apache(19)
数据可视化(18)
hive(17)
数据挖掘(16)
hbase(16)
其他(15)
神经网络(15)
深度学习(13)
开源(13)
网络安全(13)
数据处理(11)
https(11)
node.js(8)
github(8)
api(8)
scala(7)
企业(7)
NLP 服务(6)
git(6)
yarn(6)
zookeeper(6)
c++(5)
nosql(5)
网站(5)
javascript(4)
linux(4)
unix(4)
mongodb(4)
数据安全(4)
http(4)
rpc(4)
数据结构(4)
kafka(4)
区块链(3)
云数据库 Redis(3)
TDSQL MySQL 版(3)
缓存(3)
运维(3)
爬虫(3)
决策树(3)
安全(3)
c#(2)
bash(2)
react(2)
云数据库 SQL Server(2)
ide(2)
spring(2)
shell(2)
jvm(2)
监督学习(2)
微服务(2)
sas(2)
Elasticsearch Service(2)
ICP备案(1)
负载均衡(1)
比特币(1)
数字货币(1)
tensorflow(1)
c 语言(1)
php(1)
perl(1)
ruby(1)
.net(1)
bootstrap(1)
angularjs(1)
vue.js(1)
css(1)
matlab(1)
jar(1)
搜索引擎(1)
windows server(1)
负载均衡缓存(1)
文件存储(1)
云数据库 MongoDB(1)
知识图谱(1)
大数据处理套件 TBDS(1)
图像处理(1)
混合云解决方案(1)
vr 视频解决方案(1)
工业物联(1)
容器(1)
serverless(1)
devops(1)
自动化(1)
图像识别(1)
强化学习(1)
erp(1)
yum(1)
numpy(1)
面向对象编程(1)
opencv(1)
hashmap(1)
线性回归(1)
二叉树(1)
selenium(1)
rabbitmq(1)
迁移学习(1)
windows(1)
物联网(1)
系统架构(1)
架构设计(1)
nat(1)
信息流(1)
云计算(1)
任务调度(1)
虚拟化(1)
5g(1)
es(1)
flink(1)
学习方法(1)
TDSQL-C MySQL 版(1)
app(1)
na(1)
工具(1)
工作流(1)
实践(1)
数据科学(1)
搜索文章
搜索
搜索
关闭
详解Spark在大数据生态当中的定位
spark
hadoop
mapreduce
分布式
大数据
大数据发展到现在,提到大数据计算引擎,Spark一定是大家不能忽视的一个。经过这些年来的发展,Spark在大数据行业中的市场占有率也在不断提高,能够自己独立支持集群运,还能够与Hadoop生态集成运行,因此受到大家的广泛欢迎。今天加米谷学院就来为大家来聊一聊,Spark在大数据生态当中的定位。
加米谷大数据
2020-07-10
885
0
Hadoop与Spark区别介绍
spark
hadoop
mapreduce
分布式
大数据
在大数据的领域中,被频频提到的两个技术名词是什么呢?只要涉及到大数据技术,基本上Hadoop和Spark这两者是肯定都在的。那么作为目前大数据应用当中常用的技术,作为大数据从业者,这两类都是必须要掌握的。下面加米谷学院就来带大家一起看看Hadoop与Spark有哪些区别?
加米谷大数据
2020-07-10
821
0
Java开发人员学习Hadoop的5大理由
hadoop
java
mapreduce
大数据
spark
技术永无止境,因此,技术专业人员也不应停止进步。如果您想成长,则需要不断更新自我,以领先于日益增长的竞争。因此,确定您所在领域的热点,分析最新趋势,以识别技术领域不断增长的细分市场,然后继续前进。
加米谷大数据
2020-06-02
967
0
10本值得你读的Apache Spark书籍
spark
apache
大数据
数据结构
机器学习
Apache Spark是Apache的开源大数据框架,具有与SQL,流,图处理和机器学习有关的内置模块。它于2010年开源,从一开始就对大数据和相关技术产生了明显影响,因为它很快吸引了250多个组织和超过1000个参与者的关注。拥有众多Apache Spark书籍,很难找到用于自学的最佳书籍。
加米谷大数据
2020-06-02
4.5K
0
传统金融IT男转型互联网大数据码农(下)
hadoop
hive
spark
大数据
编程算法
环境准备:本地弄了五台虚拟机,开始搭建 Hadoop 集群,版本的话老师建议我们选择的 Hadoop 2.6.5(企业要的比较多的)
加米谷大数据
2020-05-22
725
0
Flink及Storm、Spark主流流框架比较,到底谁会更胜一筹?
flink
大数据
spark
unix
那么有spark和storm这样成熟的计算框架存在,为什么flink还能占有一席之地呢?今天我们就从流处理的角度将flink和这两个框架进行一些分析和比较。 随着大数据时代的来临,大数据产品层出不穷。
加米谷大数据
2020-05-18
3.9K
0
大数据0基础学习有哪些阶段?
java
spark
大数据
网站
linux
Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类。
加米谷大数据
2020-05-09
428
0
成为大数据工程师必备的技能有哪些?(下)
spark
http
sql
scala
http://www.runoob.com/scala/scala-tutorial.html
加米谷大数据
2020-05-09
543
0
大数据平台的整体架构介绍
spark
mapreduce
爬虫
网站
任务调度
日志是大数据平台重要数据来源之一,应用程序日志一方面记录各种程序执行状况,一方面记录用户的操作轨迹。Flume 是日志收集常用的工具。
加米谷大数据
2019-12-23
2.8K
0
大数据开发学习:Spark必知基本概念
spark
分布式
java
大数据
内存计算引擎,提供Cache机制来支持需要反复迭代计算或者多次数据共享,减少数据读取的IO开销,值得注意的是,spark并不是将所有的数据都写入内存,相反spark默认是将数据写入磁盘,但spark支持将数据写入内存并计算。
加米谷大数据
2019-11-26
280
0
大数据平台架构的组成
大数据
数据库
sql
存储
spark
是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。
加米谷大数据
2019-10-15
2.7K
0
大数据计算:Storm vs Flink
分布式
rpc
spark
windows
大数据技术中常见的大数据实时计算引擎有Spark、Storm、Flink等,目前有很多公司已经将计算任务从旧系统 Storm 迁移到 Flink。
加米谷大数据
2019-09-09
1.5K
0
0基础大数据开发Spark要学习什么内容?
spark
api
scala
sql
Spark 是专为大规模数据处理而设计的快速通用的计算引擎。用来构建大型的、低延迟的数据分析应用程序。可用它来完成各种各样的运算,包括 SQL 查询、文本处理、机器学习等。
加米谷大数据
2019-06-05
530
0
Spark的适用场景
spark
存储
网站
大数据
数据处理
从Spark的设计理念(基于内存的迭代计算框架)出发,其最适合有迭代运算的或者需要多次操作特定数据集的应用场合。并且迭代次数越多,读取的数据量越大,Spark的应用效果就越明显。
加米谷大数据
2019-06-05
3.8K
0
Spark的发展历史
spark
大数据
api
sql
机器学习
Spark是一种通用的大数据计算框架,使用了内存内运算技术。今天加米谷大数据就来简单介绍一下Spark的简史。
加米谷大数据
2019-06-05
4.1K
0
Spark和Hadoop对比有什么区别?
spark
hive
sql
大数据
mapreduce
Spark主要用于大数据的计算,而Hadoop以后主要用于大数据的存储。Spark+Hadoop,是目前大数据领域最热门的组合。
加米谷大数据
2019-06-05
4.2K
0
大数据开发需要学习哪些技术?
大数据
spark
hadoop
python
机器学习
Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类
加米谷大数据
2019-04-19
355
0
大数据技术分享:十大开源的大数据技术
spark
apache
hive
sql
大数据已然成为当今热门的技术之一,开源让越来越多的项目可以直接采用大数据技术,下面就来盘点受欢迎的十大开源的大数据技术。
加米谷大数据
2019-04-19
900
0
Java转行大数据可行吗?
java
大数据
hadoop
spark
提到大数据,很多人会想到Java,提到Java,也会想到大数据,二者有什么关系呢?哪个发展更好?
加米谷大数据
2019-04-19
531
0
常见的七种Hadoop和Spark项目案例你们了解了吗
spark
hadoop
sas
存储
大数据中比较火爆的Hadoop、Spark和Storm,最常见的七种项目你们是否已经了解到位了呢,下面一起了解一下吧
加米谷大数据
2019-01-09
572
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档