腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
数据科学与人工智能
专栏成员
举报
811
文章
1060531
阅读量
171
订阅数
订阅专栏
申请加入专栏
全部文章(811)
机器学习(228)
编程算法(205)
大数据(156)
python(126)
数据分析(113)
其他(111)
人工智能(106)
数据挖掘(80)
深度学习(64)
神经网络(50)
数据可视化(28)
数据库(24)
数据处理(21)
开源(19)
scikit-learn(16)
hadoop(15)
决策树(15)
sql(14)
监督学习(13)
https(13)
NLP 服务(12)
spark(12)
物联网(12)
线性回归(11)
r 语言(10)
爬虫(10)
numpy(10)
游戏(9)
github(7)
anaconda(7)
安全(7)
数据结构(7)
区块链(6)
mapreduce(6)
自动化(6)
网络安全(6)
keras(6)
sas(6)
tensorflow(5)
java(5)
apache(5)
http(5)
分布式(5)
推荐系统(5)
ide(4)
matlab(4)
文件存储(4)
图像处理(4)
存储(4)
面向对象编程(4)
无监督学习(4)
微信(4)
数据科学(4)
网站(3)
金融(3)
容器(3)
互联网金融(3)
图像识别(3)
data(3)
model(3)
git(2)
api(2)
linux(2)
ubuntu(2)
容器镜像服务(2)
互联网医疗(2)
hive(2)
正则表达式(2)
scrapy(2)
腾讯云开发者社区(2)
jupyter notebook(2)
pandas(2)
面试(2)
费用中心(1)
对象存储(1)
人脸识别(1)
自动驾驶(1)
c++(1)
php(1)
javascript(1)
go(1)
bootstrap(1)
node.js(1)
html(1)
jquery(1)
单片机(1)
嵌入式(1)
硬件开发(1)
云数据库 SQL Server(1)
oracle(1)
打包(1)
搜索引擎(1)
知识图谱(1)
短信(1)
腾讯云测试服务(1)
mongodb(1)
医疗(1)
企业(1)
智慧零售(1)
yarn(1)
serverless(1)
运维(1)
黑客(1)
ssh(1)
卷积神经网络(1)
强化学习(1)
flash(1)
敏捷开发(1)
gcc(1)
模式识别(1)
迁移学习(1)
windows(1)
nat(1)
云计算(1)
特征工程(1)
联邦学习(1)
隐私计算(1)
build(1)
core(1)
cut(1)
enterprise(1)
frequency(1)
hidden(1)
input(1)
max(1)
mean(1)
min(1)
models(1)
process(1)
profiling(1)
sample(1)
series(1)
streaming(1)
技巧(1)
统计(1)
搜索文章
搜索
搜索
关闭
【大数据框架】Hadoop和Spark的异同
大数据
hadoop
spark
apache
谈到大数据,相信大家对 Hadoop 和 Apache Spark 这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨一起看下它们究竟有什么异同。 1 解决问题的层面不一样 首先,Hadoop 和 Apache Spark 两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop 实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储,意味着您不需要购买和维护昂贵的服务器硬件。 同时,Hadoop 还会索引
陆勤_数据人网
2018-02-27
710
0
【Spark框架】运用Spark加速实时数据分析
spark
数据分析
apache
hadoop
Apache Hadoop是一个成熟的开发框架,其连接着庞大的生态系统,并且得到了Cloudera、Hortonwork、Yahoo这些卓越机构的支持与贡献,并且为各个组织提供了许多工具来管理不同大小规则的数据。 在过去,Hadoop中运用MapReduce进行批处理的特性足以满足许多组织的处理需求。然而,随着信息化时代的发展,越来越多组织亟需使用更加快速的数据处理。这些需求来自各个领域的驱动,其中包括最近发展的流媒体技术、物联网、实时分析处理,这些也仅仅只是其中一部分。他们需要一套新的数据处理模型。在今天
陆勤_数据人网
2018-02-27
722
0
【Spark研究】用Apache Spark进行大数据处理第二部分:Spark SQL
spark
apache
大数据
在Apache Spark文章系列的前一篇文章中,我们学习了什么是Apache Spark框架,以及如何用该框架帮助组织处理大数据处理分析的需求。 Spark SQL,作为Apache Spark大数据框架的一部分,主要用于结构化数据处理和对Spark数据执行类SQL的查询。通过Spark SQL,可以针对不同格式的数据执行ETL操作(如JSON,Parquet,数据库)然后完成特定的查询操作。 在这一文章系列的第二篇中,我们将讨论Spark SQL库,如何使用Spark SQL库对存储在批处理文件、JSO
陆勤_数据人网
2018-02-27
3.3K
0
【Spark研究】用Apache Spark进行大数据处理第一部分:入门介绍
spark
apache
大数据
开源
什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势。 首先,Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数据)的大数据处理的需求。 Spark可以将Hadoop集群中的应用在内存中的运行速度提
陆勤_数据人网
2018-02-27
1.5K
0
【Spark研究】Spark之工作原理
spark
apache
hadoop
mapreduce
基本概念 理解Spark的运行模式涉及一系列概念: (1)Cluster Manager:在集群上获取资源的外部服务。目前有三种类型:1. Standalone, Spark原生的资源管理;2. Apache Mesos, 和Hadoop Mapreduce兼容性良好的资源调度框架;3. Hadoop Yarn, 主要指YARN中的ResourceManager. (2)Application: 用户编写的应用应用程序。 (3)Driver: Application中运行main函数并创建的SparkC
陆勤_数据人网
2018-02-27
1.3K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档