腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
最新最全的大数据技术体系
专栏作者
举报
717
文章
547557
阅读量
35
订阅数
订阅专栏
申请加入专栏
全部文章（717）
大数据（215）
sql（121）
编程算法（110）
数据库（108）
数据（78）
java（70）
spark（68）
hive（66）
node.js（65）
kafka（51）
hadoop（48）
python（47）
存储（42）
hbase（39）
云数据库 SQL Server（32）
TDSQL MySQL 版（30）
物联网（27）
flink（27）
api（26）
mapreduce（25）
网络安全（25）
linux（24）
网站（24）
数据分析（24）
https（23）
模型（23）
文件存储（22）
apache（21）
yarn（21）
服务（21）
分布式（20）
ide（19）
数据结构（19）
javascript（18）
scala（17）
xml（17）
spring（17）
windows（15）
函数（15）
html（14）
腾讯云测试服务（14）
jar（13）
maven（13）
http（13）
容器（13）
缓存（13）
tcp/ip（13）
数据处理（13）
设计（13）
机器学习（12）
vue.js（12）
基础（12）
配置（12）
语法（11）
bash（10）
容器镜像服务（10）
数据湖（10）
进程（10）
可视化（10）
统计（10）
json（9）
nosql（9）
打包（9）
微服务（9）
pyspark（9）
oracle（8）
shell（8）
面向对象编程（8）
腾讯云开发者社区（8）
tomcat（7）
nginx（7）
消息队列 CMQ 版（7）
yum（7）
jdbc（7）
zookeeper（7）
gpt（7）
编码（7）
博客（7）
公众号（7）
php（6）
bash 指令（6）
推荐系统（6）
微信（6）
云计算（6）
bi（6）
flume（6）
table（6）
测试（6）
工程师（6）
内存（6）
算法（6）
数据接口（6）
对象存储（5）
c++（5）
jsp（5）
unix（5）
人工智能（5）
电商（5）
jdk（5）
mybatis（5）
数据可视化（5）
虚拟化（5）
es（5）
error（5）
openai（5）
工具（5）
全栈（5）
视频（5）
索引（5）
腾讯（5）
系统（5）
原理（5）
字符串（5）
ajax（4）
云数据库 Redis（4）
mvc（4）
git（4）
github（4）
全文检索（4）
深度学习（4）
专用宿主机（4）
访问管理（4）
日志数据（4）
企业（4）
数据安全（4）
hashmap（4）
aop（4）
mysql（4）
部署（4）
服务器（4）
集群（4）
教程（4）
解决方案（4）
入门（4）
事务（4）
线程（4）
AI绘画（4）
其他（3）
servlet（3）
jquery（3）
access（3）
搜索引擎（3）
lucene/solr（3）
神经网络（3）
日志服务（3）
jvm（3）
正则表达式（3）
rpc（3）
sdn（3）
airflow（3）
exception（3）
join（3）
mq（3）
nested（3）
redis（3）
set（3）
shuffle（3）
编程（3）
插件（3）
产品（3）
程序（3）
工作（3）
接口（3）
开发（3）
开发者（3）
连接（3）
排序（3）
同步（3）
需求分析（3）
优化（3）
负载均衡（2）
NLP 服务（2）
自动驾驶（2）
c#（2）
regex（2）
react（2）
css（2）
负载均衡缓存（2）
批量计算（2）
mongodb（2）
serverless（2）
parcel（2）
游戏（2）
开源（2）
自动化（2）
运维（2）
ssh（2）
监督学习（2）
rabbitmq（2）
kernel（2）
spring cloud（2）
安全（2）
机器人（2）
系统架构（2）
mvcc（2）
ascii（2）
sdk（2）
迁移（2）
实时etl（2）
数据库管理（2）
app（2）
break（2）
bug（2）
char（2）
connect（2）
connection（2）
csv（2）
for循环（2）
gateway（2）
host（2）
list（2）
map（2）
null（2）
pandas（2）
pip（2）
process（2）
prompt（2）
pycharm（2）
rdd（2）
select（2）
server（2）
service（2）
truncate（2）
version（2）
video（2）
view（2）
word（2）
百度（2）
变量（2）
编译（2）
对象（2）
多线程（2）
集合（2）
架构（2）
镜像（2）
框架（2）
日志（2）
软件（2）
实践（2）
数据存储（2）
数据类型（2）
图表（2）
微信公众号（2）
性能（2）
异步（2）
源码（2）
费用中心（1）
云服务器（1）
内容分发网络 CDN（1）
ruby（1）
bootstrap（1）
ecmascript（1）
android（1）
eclipse（1）
centos（1）
容器服务（1）
云直播（1）
命令行工具（1）
云推荐引擎（1）
DevOps 解决方案（1）
数据备份（1）
o2o（1）
渲染（1）
vr 视频解决方案（1）
express（1）
kubernetes（1）
压力测试（1）
数据迁移（1）
无人驾驶（1）
wordpress（1）
强化学习（1）
spring boot（1）
线性回归（1）
seo（1）
二叉树（1）
dubbo（1）
jenkins（1）
gradle（1）
scikit-learn（1）
socket编程（1）
lamp（1）
ntp（1）
小程序（1）
网站建设（1）
nat（1）
processing（1）
信息流（1）
任务调度（1）
聚类算法（1）
实时监控（1）
Elasticsearch Service（1）
数据集成（1）
大数据存储（1）
汽车（1）
教育（1）
腾讯云（1）
alias（1）
alpha（1）
amqp（1）
async（1）
backend（1）
between（1）
chatgpt（1）
classnotfoundexception（1）
clickhouse（1）
cloud（1）
cloudera（1）
code（1）
conda（1）
config（1）
core（1）
count（1）
cpu（1）
data（1）
date（1）
default（1）
dll（1）
drawing（1）
ear（1）
echarts（1）
edge（1）
equals（1）
excel（1）
exec（1）
execution（1）
export（1）
field（1）
fifo（1）
function（1）
geo（1）
having（1）
hdfs（1）
hibernate（1）
ibatis（1）
import（1）
insert（1）
int（1）
io（1）
it（1）
jetbrains（1）
jetty（1）
key（1）
matplotlib（1）
model（1）
monitor（1）
partition（1）
path（1）
port（1）
prometheus（1）
ps（1）
regexp（1）
reset（1）
rows（1）
runtimeexception（1）
socket（1）
sqoop（1）
ssl（1）
substr（1）
sys（1）
tampermonkey（1）
target（1）
this（1）
thread（1）
time（1）
timeout（1）
token（1）
txt（1）
types（1）
unique（1）
vim（1）
window（1）
worker（1）
zero（1）
报表（1）
备份（1）
并发（1）
产品经理（1）
程序员（1）
磁盘（1）
代理（1）
登录（1）
递归（1）
地图（1）
队列（1）
多进程（1）
二维码（1）
翻译（1）
分页（1）
高可用（1）
工具类（1）
行业（1）
华为（1）
技巧（1）
监控（1）
脚本（1）
客户端（1）
流量（1）
论文（1）
内核（1）
配色（1）
权限（1）
事件（1）
实时计算（1）
手机（1）
数据仓库（1）
数据同步（1）
数学（1）
数组（1）
搜索（1）
推送（1）
网关（1）
效率（1）
性能监控（1）
虚拟机（1）
异常（1）
域名（1）
在线教育（1）
主机（1）
LLM（1）
搜索文章
搜索
搜索
关闭
[已解决]FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to
apache
hadoop
hive
exec
execution
Failded with exception:unable to move source hdfs://…
Maynor
2023-11-02
1.5K
0
【大数据实训】基于Hadoop的2019年11月至2020年2月宁波天气数据分析（五）
hadoop
大数据
数据分析
配置
数据
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。它的目的是从单一的服务器扩展到成千上万的机器，将集群部署在多台机器，每个机器提供本地计算和存储。Hadoop 框架最核心的设计是 HDFS 和 MapReduce。
Maynor
2023-09-19
169
0
【大数据毕设】基于Hadoop的音乐推荐系统论文(三)
hadoop
推荐系统
大数据
论文
系统
本文基于Hadoop技术，设计并实现了一个名为“酷酷音乐网站”的系统，用于音乐资源的存储、管理和推荐。该系统采用Hadoop生态系统中的组件，包括HDFS、MapReduce、HBase和Mahout等，实现了音乐数据的采集、存储和管理，用户行为数据的分析和建模，以及音乐推荐功能的实现。具体而言，该系统使用HBase存储音乐数据和用户行为数据，使用Mahout构建了推荐模型，并将其部署到Hadoop集群上。同时，为了方便用户的使用，该系统实现了一个基于Web的用户交互界面，允许用户搜索音乐、查看推荐结果等。最后，本文对该系统进行了性能测试和评估，结果表明，该系统能够高效地管理音乐数据、准确地推荐音乐，满足了用户的需求。本文的研究对于理解Hadoop技术在音乐推荐系统中的应用具有一定的参考价值。
Maynor
2023-09-10
1K
1
假如大数据组件中的动物都变成神奇宝贝，那会变成什么样?
apache
hadoop
hive
hdfs
map
Hadoop 是采用了 Map Reduce 的一种分布式的计算框架，它是根据 GFS去开发了 HDFS 分布式文件系统，还有根据 Big Table 开发了 HBase数据存储系统。可以了解到的是，Hadoop 的开源特性成为了分布式计算系统事实上的国际标准。
Maynor
2023-03-18
302
0
2022年Hadoop面试题最全整理，两万字干货分享【建议收藏】
数据安全
大数据
hadoop
文件存储
Hadoop 中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。
Maynor
2023-02-01
741
0
工作常用之Yarn详解【五】资源调度与隔离
yarn
node.js
访问管理
hadoop
在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。
Maynor
2022-12-02
1.2K
0
大数据成长之路-- hadoop集群的部署(4)退役旧数据节点
hadoop
xml
大数据
网站
在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，并添加需要退役的主机名称 node01执行以下命令
Maynor
2022-11-30
645
0
大数据成长之路-- hadoop集群的部署(3)HDFS新增节点
hadoop
大数据
第六步：node04服务器关机重启并生成公钥与私钥 node04执行以下命令关机重启
Maynor
2022-11-30
455
0
大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署
hadoop
http
tcp/ip
7、启动集群 a)格式化集群 在第一个节点执行 hadoop namenode -format
Maynor
2022-11-30
416
0
Cloudera Manager环境准备【一】
yum
数据库
云数据库 SQL Server
sql
hadoop
一般而言，一个集群上很少只跑一个业务，大多数情况都是多个业务共享集群，实际上就是共享系统软硬件资源。
Maynor
2022-11-28
698
0
如何使用云容器搭建基于CentOS7的Hadoop2.x伪分布式环境（CSDN开发者云平台使用初体验）
容器
云服务器
hadoop
容器服务
java
前不久CSDN联合国内顶级云厂商，共同为开发者提供稳定便宜的云服务，送了学长两张优惠券，一张云容器，一张云主机。恰好最近在学习某硅谷的SeaTunnel课程需要用到主机做实验，使用本地的还需要重头安装VMware，有诸多不便，于是想试试CSDN的云容器服务。
Maynor
2022-06-13
470
0
社交用户画像之集群搭建【二】
虚拟化
DevOps 解决方案
hadoop
运维
自动化
得出结论, 如果计算 260G 的数据, 可能和计算 60G 的数据, 所需要的内存一样, Spark 会逐个取数据, 逐个计算, 计算完成后抛弃, 再取下一条
Maynor
2022-05-31
643
0
Kylin的入门实战
hive
bash
bash 指令
hadoop
hbase
1.Kylin 是一款大数据OLAP引擎，由ebay-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目
Maynor
2022-05-12
548
0
Hive的基本知识(一)
存储
hive
hadoop
文件存储
jdbc
💃 Hive架构 📷 💃Hive 组件 用户接口：包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行； Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议。WebGUI是 通过浏览器访问Hive。 元数据存储：通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Dri
Maynor
2022-05-08
362
0
❤️hadoop常用命令总结及百万调优❤️
hadoop
大数据
mapreduce
yarn
bash
以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）
Maynor
2022-05-08
294
0
Spark_Day01：Spark 框架概述和Spark 快速入门
spark
虚拟化
hadoop
yarn
node.js
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4yHXs6Sp-1627098349792)(/img/image-20210419160056620.png)]
Maynor
2022-05-08
574
0
大数据繁荣生态圈组件之实时大数据Druid小传(一)
压力测试
hadoop
云数据库 SQL Server
sql
数据分析
项目中采用的关系型数据库是mysql，那么关系型数据库有哪些优劣势，我们可以参考下面的分析： 关系型数据库的优点： 1.基于ACID，支持事务，适合于对安全性和一致性要求高的的数据访问 2.可以进行Join等复杂查询，处理复杂业务逻辑，比如：报表 3.使用方便，通用的SQL语言使得操作关系型数据库非常方便
Maynor
2022-04-21
332
0
今日指数项目之需求调研【三】
存储
大数据
hadoop
apache
专用宿主机
大数据平台作为底层的基础数据平台，集群规模、计算存储性能将决定流、批的性能指标上限。所以需要考虑整个大数据平台的吞吐量（网络、磁盘IO）、响应速率、计算能力、高并发性、高可用、维护性方便等，以满足多业务场景下，不同应用需求的建设任务，比如多维分析、实时计算、即席查询和数据统计分析等应用功能。 本项目大数据平台在建设过程中，将满足如下性能指标： 批处理部分指标： 支持批处理集群批量总写入速度2GB/秒，批量读取速度300MB/秒； 平台支持并发执行300个查询和200个加载任务； 应用查询时间对于数据库的简单数据读取将不超过1~2秒，三个月统计计算查询时间将不超过15秒，复杂查询时间将不超过1分钟； 复杂批处理任务，ETL的处理时间将不超过2个小时； 实时流处理指标： 平台支持接收峰值为每秒100万条+的流数据； 平台能够在峰值条件下，完成2秒内的实时预警，2秒内完成针对当日数据的查询; 平台每日实时处理模块能够累积处理144亿笔（按4小时交易日保持峰值流速计）订单流数据； 平台支持至少50个并发访问/查询当日数据。 应用响应指标： 数仓应用项目离线报表30秒内完成数据响应查询； 实时大屏数据展示5秒内完成数据响应查询； 应用平台支持并发执行500个用户查询请求；
Maynor
2022-04-11
293
0
Kylin 是什么?
hadoop
sql
apache
大数据
spark
Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。
Maynor
2022-03-28
639
0
金融+大数据解决方案:银行业
大数据
hadoop
系统架构
银行业是一个数据驱动的行业，数据也一直是银行信息化的主题词。 随着大数据技术的飞速发展，银行信息化也进入了新的阶段：大数据时代。 银行在大数据技术应用方面具有天然优势：一方面，在业务开展过程中积累了大量有价值的数据，通过运用大数据技术挖掘和分析之后，这些数据将产生巨大的商业价值；另一方面，银行在资金、设备、人才、技术上都具有极大的便利条件，有能力采用大数据的最新技术。建立“金融大数据服务平台”， 可以通过对金融数据的挖掘、分析，创造数据增值价值，提供针对银行的精准营销、风险控制、产品创新、业务体验优化、客户综合管理等多种金融服务。
Maynor
2022-03-28
739
0
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战，赢鹅厂证书、公仔好礼！
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档