腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
华章科技
专栏成员
举报
2207
文章
2433054
阅读量
126
订阅数
订阅专栏
申请加入专栏
全部文章（999+）
大数据（606）
其他（521）
人工智能（268）
编程算法（241）
数据分析（232）
python（229）
机器学习（164）
深度学习（149）
微信（135）
神经网络（130）
数据库（97）
安全（82）
数据挖掘（74）
开源（71）
sql（68）
https（67）
网络安全（61）
机器人（61）
游戏（59）
存储（48）
数据处理（48）
物联网（46）
java（45）
数据可视化（45）
企业（41）
爬虫（41）
自动化（37）
云计算（35）
区块链（34）
NLP 服务（32）
github（31）
hadoop（30）
无人驾驶（27）
numpy（26）
网站（24）
git（23）
搜索引擎（23）
自动驾驶（22）
http（22）
api（21）
分布式（21）
数据结构（20）
html（18）
javascript（17）
matlab（17）
图像处理（17）
ios（16）
腾讯云测试服务（16）
人脸识别（15）
android（15）
运维（15）
5g（15）
spark（14）
硬件开发（13）
电商（13）
黑客（13）
微服务（13）
比特币（12）
linux（12）
数据安全（12）
c++（11）
php（11）
go（11）
容器（11）
监督学习（11）
tcp/ip（11）
windows（11）
tensorflow（10）
ide（10）
强化学习（10）
mapreduce（9）
图像识别（9）
推荐系统（9）
云数据库 SQL Server（8）
apache（8）
缓存（8）
nat（8）
excel（8）
iphone（7）
.net（7）
医疗（7）
opencv（7）
小程序（7）
虚拟化（7）
it（7）
数字货币（6）
r 语言（6）
node.js（6）
文件存储（6）
mongodb（6）
工业物联（6）
shell（6）
卷积神经网络（6）
gui（6）
sas（6）
app（6）
互联网（6）
语音识别（5）
容器镜像服务（5）
kubernetes（5）
决策树（5）
keras（5）
hbase（5）
数据湖（5）
dt（5）
程序员（5）
c 语言（4）
ruby（4）
postgresql（4）
云数据库 MongoDB（4）
知识图谱（4）
o2o（4）
devops（4）
互联网金融（4）
hive（4）
erp（4）
面向对象编程（4）
pytorch（4）
uml（4）
系统架构（4）
架构设计（4）
fpga（4）
聚类算法（4）
数据集成（4）
汽车（4）
创业（4）
objective-c（3）
swift（3）
scala（3）
json（3）
qt（3）
arm（3）
oracle（3）
打包（3）
unix（3）
spring（3）
云直播（3）
短视频（3）
TDSQL MySQL 版（3）
机器翻译（3）
svg（3）
kotlin（3）
scrapy（3）
scikit-learn（3）
无监督学习（3）
迁移学习（3）
腾讯云开发者社区（3）
学习方法（3）
隐私计算（3）
教育（3）
智能制造（3）
web（3）
科技（3）
数据科学（3）
元宇宙（3）
负载均衡（2）
perl（2）
angularjs（2）
react（2）
jquery（2）
汇编语言（2）
嵌入式（2）
nosql（2）
云数据库 Redis（2）
中文分词（2）
全文检索（2）
ubuntu（2）
delphi（2）
移动直播（2）
访问管理（2）
数据加密服务（2）
文字识别（2）
数字营销（2）
视频处理（2）
双螺旋（2）
金融（2）
出行（2）
serverless（2）
html5（2）
dns（2）
openstack（2）
seo（2）
自动化测试（2）
敏捷开发（2）
模式识别（2）
anaconda（2）
haskell（2）
jupyter notebook（2）
腾讯云图数据可视化（2）
数据脱敏（2）
com（2）
facebook（2）
im（2）
uber（2）
vlookup（2）
产品（2）
产品经理（2）
数学（2）
云服务器（1）
云点播（1）
云镜（主机安全）（1）
cocoa（1）
mac os（1）
bash（1）
servlet（1）
jsp（1）
css（1）
typescript（1）
webview（1）
flask（1）
vba（1）
bash 指令（1）
apt-get（1）
专用宿主机（1）
黑石物理服务器（1）
命令行工具（1）
NAT 网关（1）
消息队列 CMQ 版（1）
态势感知（私有云）（1）
物联网通信（1）
智能鉴黄（1）
语音合成（1）
大数据处理套件 TBDS（1）
云推荐引擎（1）
专有云（1）
DevOps 解决方案（1）
数据备份（1）
日志数据（1）
通用教育（1）
在线旅游（1）
政务云专区（1）
智慧物流（1）
vr 视频解决方案（1）
大数据解决方案（1）
express（1）
redux（1）
underscore（1）
rxjs（1）
babel.js（1）
压力测试（1）
ssh（1）
wordpress（1）
正则表达式（1）
sql server（1）
hashmap（1）
线性回归（1）
二叉树（1）
单元测试（1）
flash（1）
markdown（1）
ddos（1）
spring cloud（1）
lamp（1）
powershell（1）
安全漏洞（1）
网站建设（1）
nest（1）
企业组织（1）
视频分析（1）
智能教育（1）
mqtt（1）
kafka（1）
flutter（1）
网站渗透测试（1）
分类算法（1）
unicode（1）
性能测试（1）
flink（1）
服务网格（1）
联邦学习（1）
Elasticsearch Service（1）
智能家居（1）
analytics（1）
axes（1）
behavior（1）
bi（1）
cat（1）
countif（1）
data（1）
detection（1）
field（1）
find（1）
free（1）
google（1）
greenplum（1）
import（1）
instagram（1）
key（1）
linkedin（1）
lock（1）
match（1）
matplotlib（1）
olap（1）
pool（1）
public（1）
random（1）
row（1）
text（1）
vr（1）
weex（1）
word（1）
报表（1）
表格（1）
产品设计（1）
地图（1）
电子商务（1）
动画（1）
华为（1）
计算机科学（1）
开发者（1）
量化（1）
面试（1）
苹果（1）
软件工程（1）
视频（1）
数据中心（1）
图表（1）
网络（1）
微信公众号（1）
用户体验（1）
原理（1）
增强现实（1）
搜索文章
搜索
搜索
关闭
终于有人把HDFS架构和读写流程讲明白了
大数据
编程算法
hadoop
导读：HDFS（Hadoop Distributed File System）是一种分布式文件系统，可运行在廉价的硬件上，能够处理超大文件以及提供流式数据操作。HDFS具有易扩展、高度容错、高吞吐量、高可靠性等特征，是处理大型数据集的强有力的工具。
IT阅读排行榜
2023-02-13
2.5K
0
盘点13种流行的数据处理工具
hadoop
hive
spark
apache
开源
作者：所罗伯·斯里瓦斯塔瓦（Saurabh Shrivastava）、内拉贾利·斯里瓦斯塔夫（Neelanjali Srivastav）
IT阅读排行榜
2022-01-20
2.5K
0
硅谷企业的大数据平台架构什么样？看看Twitter、Airbnb、Uber的实践
开源
hadoop
大数据
数据湖
数据分析
Twitter是最早一批推进数字化运营的硅谷企业之一，其公司运营和产品迭代的很多功能是由其底层的大数据平台提供的。图7-2所示为Twitter大数据平台的基本示意图。
IT阅读排行榜
2021-06-01
717
0
【干货】全球大数据领域顶级开源工具汇总
大数据
开源
hadoop
apache
分布式
Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。
IT阅读排行榜
2018-08-17
582
0
成为大数据顶尖程序员，先过了这些Hadoop面试题！（附答案解析）
大数据
hadoop
导读：在大数据开发岗位的需求下，工资待遇水涨船高，不少编程人员在面对职业瓶颈期的时候，会选择转编程方向发展。
IT阅读排行榜
2018-08-17
445
0
巧用MapReduce+HDFS，海量数据去重的五大策略
hadoop
数据库
sql
mapreduce
hbase
重复数据删除往往是指消除冗余子文件。不同于压缩，重复数据删除对于数据本身并没有改变，只是消除了相同的数据占用的存储容量。重复数据删除在减少存储、降低网络带宽方面有着显著的优势，并对扩展性有所帮助。
IT阅读排行榜
2018-08-16
1.4K
0
干货：Spark在360商业数据部的应用实践
spark
mapreduce
hadoop
sql
机器学习
随着数据规模的持续增长，数据需求越来越多，原有的以MapReduce为代表的Hadoop平台越来越显示出其局限性。主要体现在以下两点：
IT阅读排行榜
2018-08-16
788
0
Hadoop没有消亡，它是大数据的未来
hadoop
开源
企业
大数据
有人认为 Hadoop 正在失败，但硅谷数据管理公司 Hortonworks 的总经理 Vamsi K. Chemitiganti 并不这么看，为了反驳此前一篇文章《为什么 Hadoop 正在消亡？（Why Hadoop is Failing）》的观点，他在自己的博客上写了一篇论述自己看法的文章，他认为达尔文式的开源生态系统正在确保 Hadoop 成为稳固和成熟的技术平台。机器之心对这篇反驳文章进行了编译介绍，但本文内容并不代表机器之心的观点。
IT阅读排行榜
2018-08-16
250
0
干货 | 从底层到应用，那些数据人的必备技能
大数据
hadoop
hive
spark
目前很火，数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。
IT阅读排行榜
2018-08-16
282
0
300亿条出租车数据里的五大秘密：上海8点13分最堵，司机凌晨喜欢把车停靠在…
hadoop
数据可视化
大数据
上海强生出租车公司的出租车每隔10秒钟会自动向总部的服务器发送一条数据，记录自己所在的经纬度、车速、车内是否有人、行驶方向等信息。2015年上海政府公开了4月一整月的出租车数据，足足有300多亿条，占空间300多G。这些数据被导入了我们的Hadoop平台，以便后续研究。以下是我们初步探究发现的秘密。
IT阅读排行榜
2018-08-16
1.2K
0
大数据投资人必读：中国大数据发展与投资分析报告
大数据
开源
存储
hadoop
当前，全球已进入大数据时代，大数据正以一种革命风暴的姿态闯入人们视野，其技术和市场在快速发展，而驾驭大数据的呼声则一浪高过一浪。随着大数据蕴涵价值的逐步释放，使其成为IT信息产业中最具潜力的蓝海。鉴于在技术和产业层面，国际上在大数据领域还未形成技术和市场的垄断，技术应用创新机会较多；当前大数据技术和应用需求的蓬勃兴起，及开源技术提出的革命性挑战，各家IT厂商均需同等面对，这无形中缩短了彼此起步的差距，这意味着国内企业在开拓大数据市场上存在巨大的机遇！
IT阅读排行榜
2018-08-15
1.2K
0
一文读懂大数据：Hadoop，大数据技术及相关应用
大数据
hadoop
数据处理
数据挖掘
数据分析
你想了解大数据，却对生涩的术语毫不知情？你想了解大数据的市场和应用，却又没有好的案例和解说？别担心，这本来自Wikibon社区的小书想要帮你。
IT阅读排行榜
2018-08-15
459
0
IT屌丝如何成为数据科学家？
python
hadoop
java
编程算法
数据科学家被《财富》杂志誉为21世纪最性感的职业，但遗憾的是大多数企业里都没有真正的数据科学家人才。根据麦肯锡报告，仅仅在美国市场，2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才。
IT阅读排行榜
2018-08-15
272
0
2分钟读懂大数据框架Hadoop和Spark的异同
spark
hadoop
mapreduce
分布式
数据处理
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是停留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。
IT阅读排行榜
2018-08-15
333
0
上班族每次在地铁上花费37分钟，经过9.78站|2号线是上海经济命脉|上海地铁数据趣味研究
大数据
编程算法
数据可视化
hadoop
副院长最近让我院的攻城狮订阅了上海交通卡一个月的刷卡数据到我们的服务器上。副院长用很高级的算法从这4.1亿条刷卡数据中归纳出了每个上班族的早高峰乘坐地铁的习惯，从中筛选出每个人上班的常规线路。废话不多说，直接上我们的干货结论：
IT阅读排行榜
2018-08-15
815
0
Hadoop创始人Doug Cutting谈未来大数据的技术
hadoop
存储
云计算
专用宿主机
大数据
Cloudera首席架构师就内存及云计算相关技术发表讨论，Hadoop将如何在大数据方面发挥更大价值。
IT阅读排行榜
2018-08-15
277
0
创业者如何抓住大数据行业的风潮？
hadoop
企业
mongodb
云数据库 MongoDB
大数据
对于大数据项目，投资人到底看什么？在写这篇文章之前，我们与多家投行的投资人曾经做过访谈，下面是我们根据访谈内容整理出来的内容。
IT阅读排行榜
2018-08-15
236
0
你的大数据项目的工具用对了吗？
hadoop
大数据
sql
sas
数据分析
工具／产品／解决方案是数据科学家洞察数据的利器。KDNuggets网站对此观点进行了年度调查，来分析数据科学家在用哪些类型的工具，并提供了调查的匿名原始数据。
IT阅读排行榜
2018-08-14
495
0
大数据圈盘点：你不知道的15个新技术
hadoop
大数据
spark
数据库
sql
下面一起来看看吸引眼球的十五项大数据公告。虽然罗列了很多，但还不是全部内容，只是最近在加利福尼亚州圣何塞市Strata + Hadoop World大会上亮相的部分技术。
IT阅读排行榜
2018-08-14
693
0
大数据的理想与现实之间
大数据
hadoop
存储
我与数据打了25年的交道，经历了从电信、网通到联通的多次重组，亲身参与了数据专业线从弱势群体逐渐发展壮大的全过程。一直想找个机会，谈谈我的体会，但是没有下这个决心动笔。最近，受范总原创《“一篇文看懂H
IT阅读排行榜
2018-08-14
479
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
