腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
最新最全的大数据技术体系
专栏作者
举报
717
文章
549143
阅读量
35
订阅数
订阅专栏
申请加入专栏
全部文章（717）
大数据（215）
sql（121）
编程算法（110）
数据库（108）
数据（78）
java（70）
spark（68）
hive（66）
node.js（65）
kafka（51）
hadoop（48）
python（47）
存储（42）
hbase（39）
云数据库 SQL Server（32）
TDSQL MySQL 版（30）
物联网（27）
flink（27）
api（26）
mapreduce（25）
网络安全（25）
linux（24）
网站（24）
数据分析（24）
https（23）
模型（23）
文件存储（22）
apache（21）
yarn（21）
服务（21）
分布式（20）
ide（19）
数据结构（19）
javascript（18）
scala（17）
xml（17）
spring（17）
windows（15）
函数（15）
html（14）
腾讯云测试服务（14）
jar（13）
maven（13）
http（13）
容器（13）
缓存（13）
tcp/ip（13）
数据处理（13）
设计（13）
机器学习（12）
vue.js（12）
基础（12）
配置（12）
语法（11）
bash（10）
容器镜像服务（10）
数据湖（10）
进程（10）
可视化（10）
统计（10）
json（9）
nosql（9）
打包（9）
微服务（9）
pyspark（9）
oracle（8）
shell（8）
面向对象编程（8）
腾讯云开发者社区（8）
tomcat（7）
nginx（7）
消息队列 CMQ 版（7）
yum（7）
jdbc（7）
zookeeper（7）
gpt（7）
编码（7）
博客（7）
公众号（7）
php（6）
bash 指令（6）
推荐系统（6）
微信（6）
云计算（6）
bi（6）
flume（6）
table（6）
测试（6）
工程师（6）
内存（6）
算法（6）
数据接口（6）
对象存储（5）
c++（5）
jsp（5）
unix（5）
人工智能（5）
电商（5）
jdk（5）
mybatis（5）
数据可视化（5）
虚拟化（5）
es（5）
error（5）
openai（5）
工具（5）
全栈（5）
视频（5）
索引（5）
腾讯（5）
系统（5）
原理（5）
字符串（5）
ajax（4）
云数据库 Redis（4）
mvc（4）
git（4）
github（4）
全文检索（4）
深度学习（4）
专用宿主机（4）
访问管理（4）
日志数据（4）
企业（4）
数据安全（4）
hashmap（4）
aop（4）
mysql（4）
部署（4）
服务器（4）
集群（4）
教程（4）
解决方案（4）
入门（4）
事务（4）
线程（4）
AI绘画（4）
其他（3）
servlet（3）
jquery（3）
access（3）
搜索引擎（3）
lucene/solr（3）
神经网络（3）
日志服务（3）
jvm（3）
正则表达式（3）
rpc（3）
sdn（3）
airflow（3）
exception（3）
join（3）
mq（3）
nested（3）
redis（3）
set（3）
shuffle（3）
编程（3）
插件（3）
产品（3）
程序（3）
工作（3）
接口（3）
开发（3）
开发者（3）
连接（3）
排序（3）
同步（3）
需求分析（3）
优化（3）
负载均衡（2）
NLP 服务（2）
自动驾驶（2）
c#（2）
regex（2）
react（2）
css（2）
负载均衡缓存（2）
批量计算（2）
mongodb（2）
serverless（2）
parcel（2）
游戏（2）
开源（2）
自动化（2）
运维（2）
ssh（2）
监督学习（2）
rabbitmq（2）
kernel（2）
spring cloud（2）
安全（2）
机器人（2）
系统架构（2）
mvcc（2）
ascii（2）
sdk（2）
迁移（2）
实时etl（2）
数据库管理（2）
app（2）
break（2）
bug（2）
char（2）
connect（2）
connection（2）
csv（2）
for循环（2）
gateway（2）
host（2）
list（2）
map（2）
null（2）
pandas（2）
pip（2）
process（2）
prompt（2）
pycharm（2）
rdd（2）
select（2）
server（2）
service（2）
truncate（2）
version（2）
video（2）
view（2）
word（2）
百度（2）
变量（2）
编译（2）
对象（2）
多线程（2）
集合（2）
架构（2）
镜像（2）
框架（2）
日志（2）
软件（2）
实践（2）
数据存储（2）
数据类型（2）
图表（2）
微信公众号（2）
性能（2）
异步（2）
源码（2）
费用中心（1）
云服务器（1）
内容分发网络 CDN（1）
ruby（1）
bootstrap（1）
ecmascript（1）
android（1）
eclipse（1）
centos（1）
容器服务（1）
云直播（1）
命令行工具（1）
云推荐引擎（1）
DevOps 解决方案（1）
数据备份（1）
o2o（1）
渲染（1）
vr 视频解决方案（1）
express（1）
kubernetes（1）
压力测试（1）
数据迁移（1）
无人驾驶（1）
wordpress（1）
强化学习（1）
spring boot（1）
线性回归（1）
seo（1）
二叉树（1）
dubbo（1）
jenkins（1）
gradle（1）
scikit-learn（1）
socket编程（1）
lamp（1）
ntp（1）
小程序（1）
网站建设（1）
nat（1）
processing（1）
信息流（1）
任务调度（1）
聚类算法（1）
实时监控（1）
Elasticsearch Service（1）
数据集成（1）
大数据存储（1）
汽车（1）
教育（1）
腾讯云（1）
alias（1）
alpha（1）
amqp（1）
async（1）
backend（1）
between（1）
chatgpt（1）
classnotfoundexception（1）
clickhouse（1）
cloud（1）
cloudera（1）
code（1）
conda（1）
config（1）
core（1）
count（1）
cpu（1）
data（1）
date（1）
default（1）
dll（1）
drawing（1）
ear（1）
echarts（1）
edge（1）
equals（1）
excel（1）
exec（1）
execution（1）
export（1）
field（1）
fifo（1）
function（1）
geo（1）
having（1）
hdfs（1）
hibernate（1）
ibatis（1）
import（1）
insert（1）
int（1）
io（1）
it（1）
jetbrains（1）
jetty（1）
key（1）
matplotlib（1）
model（1）
monitor（1）
partition（1）
path（1）
port（1）
prometheus（1）
ps（1）
regexp（1）
reset（1）
rows（1）
runtimeexception（1）
socket（1）
sqoop（1）
ssl（1）
substr（1）
sys（1）
tampermonkey（1）
target（1）
this（1）
thread（1）
time（1）
timeout（1）
token（1）
txt（1）
types（1）
unique（1）
vim（1）
window（1）
worker（1）
zero（1）
报表（1）
备份（1）
并发（1）
产品经理（1）
程序员（1）
磁盘（1）
代理（1）
登录（1）
递归（1）
地图（1）
队列（1）
多进程（1）
二维码（1）
翻译（1）
分页（1）
高可用（1）
工具类（1）
行业（1）
华为（1）
技巧（1）
监控（1）
脚本（1）
客户端（1）
流量（1）
论文（1）
内核（1）
配色（1）
权限（1）
事件（1）
实时计算（1）
手机（1）
数据仓库（1）
数据同步（1）
数学（1）
数组（1）
搜索（1）
推送（1）
网关（1）
效率（1）
性能监控（1）
虚拟机（1）
异常（1）
域名（1）
在线教育（1）
主机（1）
LLM（1）
搜索文章
搜索
搜索
关闭
下一代实时数据库：Apache Doris 【七】数据模型
数据库
apache
存储
模型
数据
Doris 的数据模型主要分为 3 类：Aggregate 、Uniq 、Duplicate
Maynor
2023-12-20
244
0
下一代实时数据库：Apache Doris 【六】数据划分
数据库
apache
存储
并发
数据
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。 列的基本类型， 可以通过在 mysql-client 中执行 HELP CREATE TABLE; 查看。
Maynor
2023-12-19
196
0
[已解决]FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to
apache
hadoop
hive
exec
execution
Failded with exception:unable to move source hdfs://…
Maynor
2023-11-02
1.6K
0
【已解决】Caused by: org.apache.spark.SparkException: Python worker failed to connect back.
python
apache
spark
connect
worker
TypeError: ‘JavaPackage’ object is not callable
Maynor
2023-09-28
445
0
下一代实时数据库：Apache Doris 【五】数据表的创建
数据库
apache
存储
排序
数据
一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一
Maynor
2023-09-25
297
0
下一代实时数据库：Apache Doris 【四】扩容缩容
数据库
apache
迁移
高可用
数据
1）使用 MySQL 登录客户端后，可以使用 sql 命令查看 FE 状态，目前就一台 FE
Maynor
2023-09-24
344
0
下一代实时数据库：Apache Doris 【三】集群部署
数据库
apache
部署
集群
数据
linux 系统 版本 Centos 7.1 及以上 Ubuntu 16.04 及以上 2)软件需求
Maynor
2023-09-22
539
0
【已解决[ERROR] Could not execute SQL statement. Reason:java.lang.ClassNotFoundException: org.apache.had
java
sql
apache
classnotfoundexception
error
安装paimon集成FLink引擎的时候报错了：[ERROR] Could not execute SQL statement. Reason:java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
Maynor
2023-09-10
608
0
流数据湖平台Apache Paimon（三）Flink进阶使用
apache
flink
数据湖
数据
性能
当Sorted Run数量较少时，Paimon writer 将在单独的线程中异步执行压缩，因此记录可以连续写入表中。然而，为了避免Sorted Runs的无限增长，当Sorted Run的数量达到阈值时，writer将不得不暂停写入。下表属性确定阈值。
Maynor
2023-07-31
1.8K
0
流数据湖平台Apache Paimon（二）集成 Flink 引擎
apache
flink
数据湖
配置
同步
Paimon目前支持Flink 1.17, 1.16, 1.15 和 1.14。本课程使用Flink 1.17.0。
Maynor
2023-07-31
1.8K
0
流数据湖平台Apache Paimon（一）概述
apache
存储
数据湖
日志
数据
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。2023年3月12日，FTS进入 Apache 软件基金会 (ASF) 的孵化器，改名为 Apache Paimon (incubating)。
Maynor
2023-07-31
1.5K
0
假如大数据组件中的动物都变成神奇宝贝，那会变成什么样?
apache
hadoop
hive
hdfs
map
Hadoop 是采用了 Map Reduce 的一种分布式的计算框架，它是根据 GFS去开发了 HDFS 分布式文件系统，还有根据 Big Table 开发了 HBase数据存储系统。可以了解到的是，Hadoop 的开源特性成为了分布式计算系统事实上的国际标准。
Maynor
2023-03-18
304
0
Apache Flume及快速安装
apache
日志服务
在一个完整的离线大数据处理系统中，除了 hdfs+mapreduce+hive 组成分析系统的核心之外， 还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop 生态体系中都有便捷的开源框架，如图所示：
Maynor
2022-11-30
330
0
一文快速了解Elastic Search 开源搜索引擎（技术选型+启动命令）
数据分析
es
lucene/solr
apache
全文检索
Elasticsearch是一个基于Apache Lucene™的开源搜索引擎。无论在开源还是专有领域， Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 特点：
Maynor
2022-05-08
413
0
今日指数项目之需求调研【三】
存储
大数据
hadoop
apache
专用宿主机
大数据平台作为底层的基础数据平台，集群规模、计算存储性能将决定流、批的性能指标上限。所以需要考虑整个大数据平台的吞吐量（网络、磁盘IO）、响应速率、计算能力、高并发性、高可用、维护性方便等，以满足多业务场景下，不同应用需求的建设任务，比如多维分析、实时计算、即席查询和数据统计分析等应用功能。 本项目大数据平台在建设过程中，将满足如下性能指标： 批处理部分指标： 支持批处理集群批量总写入速度2GB/秒，批量读取速度300MB/秒； 平台支持并发执行300个查询和200个加载任务； 应用查询时间对于数据库的简单数据读取将不超过1~2秒，三个月统计计算查询时间将不超过15秒，复杂查询时间将不超过1分钟； 复杂批处理任务，ETL的处理时间将不超过2个小时； 实时流处理指标： 平台支持接收峰值为每秒100万条+的流数据； 平台能够在峰值条件下，完成2秒内的实时预警，2秒内完成针对当日数据的查询; 平台每日实时处理模块能够累积处理144亿笔（按4小时交易日保持峰值流速计）订单流数据； 平台支持至少50个并发访问/查询当日数据。 应用响应指标： 数仓应用项目离线报表30秒内完成数据响应查询； 实时大屏数据展示5秒内完成数据响应查询； 应用平台支持并发执行500个用户查询请求；
Maynor
2022-04-11
293
0
快速入门RabbitMQ
消息队列 CMQ 版
kafka
spring
rabbitmq
apache
两种方式各有优劣，打电话可以立即得到响应，但是你却不能跟多个人同时通话。发送邮件可以同时与多个人收发邮件，但是往往响应会有延迟。
Maynor
2022-03-30
327
0
Kylin 是什么?
hadoop
sql
apache
大数据
spark
Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。
Maynor
2022-03-28
639
0
Caused by: org.apache.ibatis.type.TypeException: Could not resolve type alias ‘order‘. Caus
xml
apache
alias
ibatis
Caused by: org.apache.ibatis.type.TypeException: Could not resolve type alias ‘order’. Caus
Maynor
2021-12-07
660
0
Spring Data OVERVIEW
spring
编程算法
apache
jdbc
oracle
Spring Data春季数据 2021.0.5 OVERVIEW 概览 LEARN 学习 Spring Data’s mission is to provide a familiar and consistent, Spring-based programming model for data access while still retaining the special traits of the underlying data store.
Maynor
2021-12-07
1.3K
0
✨[hadoop3.x]新一代的存储格式Apache Arrow(四)
apache
文件存储
hadoop
spark
大数据
[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
Maynor
2021-12-06
402
0
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档