腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Spark学习技巧
本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。
专栏作者
举报
810
文章
1222153
阅读量
247
订阅数
订阅专栏
申请加入专栏
全部文章（810）
spark（162）
大数据（156）
sql（131）
数据库（123）
编程算法（122）
java（101）
kafka（57）
数据分析（54）
存储（52）
其他（51）
分布式（45）
hive（45）
flink（45）
缓存（44）
云数据库 SQL Server（43）
hbase（41）
apache（39）
node.js（36）
api（35）
hadoop（30）
数据结构（29）
数据处理（28）
http（24）
ide（23）
linux（21）
zookeeper（21）
scala（20）
云数据库 Redis（20）
机器学习（19）
文件存储（19）
TDSQL MySQL 版（19）
jvm（19）
https（16）
数据（15）
开源（14）
网站（13）
网络安全（13）
windows（13）
mapreduce（12）
jdk（12）
javascript（11）
bash（11）
数据安全（11）
yarn（11）
运维（11）
数据湖（11）
企业（10）
Elasticsearch Service（10）
html（9）
json（9）
unix（9）
神经网络（9）
深度学习（9）
日志数据（9）
hashmap（9）
云计算（9）
打包（8）
git（8）
消息队列 CMQ 版（8）
系统架构（8）
maven（7）
人工智能（7）
安全（7）
php（6）
python（6）
bash 指令（6）
知识图谱（6）
腾讯云测试服务（6）
数据迁移（6）
推荐系统（6）
实时数仓（6）
数据挖掘（5）
xml（5）
jquery（5）
jar（5）
批量计算（5）
容器（5）
面向对象编程（5）
rpc（5）
rabbitmq（5）
设计（5）
数据仓库（5）
自动驾驶（4）
android（4）
搜索引擎（4）
spring（4）
mongodb（4）
电商（4）
tcp/ip（4）
微信（4）
微服务（4）
数据集成（4）
app（4）
join（4）
框架（4）
模型（4）
区块链（3）
go（3）
eclipse（3）
github（3）
全文检索（3）
容器镜像服务（3）
serverless（3）
自动化（3）
压力测试（3）
uml（3）
数据可视化（3）
架构设计（3）
任务调度（3）
bug（3）
key（3）
mysql（3）
offset（3）
partition（3）
ps（3）
产品（3）
管理（3）
函数（3）
架构（3）
流量（3）
排序（3）
日志（3）
异常（3）
官方文档（2）
NLP 服务（2）
c++（2）
c#（2）
ruby（2）
lua（2）
单片机（2）
postgresql（2）
nginx（2）
访问管理（2）
云数据库 MongoDB（2）
消息队列 CKafka 版（2）
大数据解决方案（2）
kubernetes（2）
无人驾驶（2）
ssh（2）
卷积神经网络（2）
erp（2）
jdbc（2）
二叉树（2）
aop（2）
processing（2）
sdk（2）
实时监控（2）
学习方法（2）
数据库管理（2）
数据脱敏（2）
bi（2）
date（2）
hdfs（2）
null（2）
shuffle（2）
测试（2）
程序（2）
程序员（2）
服务（2）
链表（2）
内存（2）
配置（2）
入门（2）
实践（2）
系统（2）
原理（2）
费用中心（1）
负载均衡（1）
比特币（1）
tensorflow（1）
ios（1）
objective-c（1）
c 语言（1）
actionscript（1）
css（1）
ajax（1）
sqlite（1）
nosql（1）
memcached（1）
access（1）
mvc（1）
svn（1）
struts（1）
tomcat（1）
中文分词（1）
lucene/solr（1）
analyzer（1）
负载均衡缓存（1）
tornado（1）
GPU 云服务器（1）
专用宿主机（1）
云数据迁移（1）
日志服务（1）
云直播（1）
短视频（1）
腾讯云可观测平台（1）
SSL 证书（1）
数据加密服务（1）
腾讯git代码托管（工蜂）（1）
数据备份（1）
express（1）
rollup.js（1）
游戏（1）
互联网金融（1）
爬虫（1）
正则表达式（1）
mybatis（1）
sql server（1）
opencv（1）
自动化测试（1）
kotlin（1）
scrapy（1）
dubbo（1）
ddos（1）
udp（1）
kernel（1）
socket编程（1）
无监督学习（1）
nat（1）
nest（1）
视频分析（1）
flutter（1）
风控平台（1）
安全运营平台（1）
特征工程（1）
unicode（1）
迁移（1）
groovy（1）
功能测试（1）
性能测试（1）
es（1）
实时数据集成（1）
事件总线（1）
腾讯云数据仓库 TCHouse（1）
数据湖分析（1）
智能推荐平台（1）
教育（1）
数据库审计（1）
class（1）
cpu（1）
data（1）
decimal（1）
dump（1）
elk（1）
event（1）
exists（1）
final（1）
flume（1）
foreach（1）
for循环（1）
frequency（1）
function（1）
gc（1）
google（1）
gson（1）
initialization（1）
ip（1）
it（1）
jackson（1）
java8（1）
lambda（1）
list（1）
map（1）
message（1）
overflow（1）
public（1）
push（1）
quartz（1）
rank（1）
redis（1）
request（1）
return（1）
select（1）
server（1）
sqoop（1）
stack（1）
static（1）
streaming（1）
string（1）
stringbuilder（1）
subquery（1）
thrift（1）
web（1）
报表（1）
闭包（1）
变量（1）
编译（1）
边缘计算（1）
创业（1）
磁盘（1）
单例模式（1）
登录（1）
多线程（1）
工具（1）
工作（1）
行业（1）
混合云（1）
集合（1）
技巧（1）
集群（1）
监控（1）
解决方案（1）
开发（1）
面试（1）
生命周期（1）
事件（1）
实时计算（1）
事务（1）
数据管理（1）
同步（1）
统计（1）
网关（1）
线程池（1）
效率（1）
协议（1）
性能（1）
性能监控（1）
性能优化（1）
异步编程（1）
中间件（1）
字符串（1）
搜索文章
搜索
搜索
关闭
一文读懂数据湖及企业中的架构特点
数据分析
编程算法
数据湖
serverless
数据湖概念的诞生，源自企业面临的一些挑战，如数据应该以何种方式处理和存储。最开始的时候，每个应用程序会产生、存储大量数据，而这些数据并不能被其他应用程序使用，这种状况导致数据孤岛的产生。随后数据集市应运而生，应用程序产生的数据存储在一个集中式的数据仓库中，可根据需要导出相关数据传输给企业内需要该数据的部门或个人。然而数据集市只解决了部分问题。剩余问题，包括数据管理、数据所有权与访问控制等都亟须解决，因为企业寻求获得更高的使用有效数据的能力。为了解决前面提及的各种问题，企业有很强烈的诉求搭建自己的数据湖，数据湖不但能存储传统类型数据，也能存储任意其他类型数据，并且能在它们之上做进一步的处理与分析，产生最终输出供各类程序消费。
Spark学习技巧
2021-03-05
524
0
大数据：简述 Lambda 架构
windows
serverless
批量计算
数据湖
计算机科学中有一个 CAP 定理，分布式数据存储不可能同时提供以下三个保证中的两个以上。
Spark学习技巧
2020-12-11
609
0
马蜂窝实时计算平台演进之路
spark
云计算
serverless
大数据
MES 是马蜂窝统一实时计算平台，为各条业务线提供稳定、高效的实时数据计算和查询服务。在整体设计方面，MES 借鉴了 Lambda 架构的思想。本篇文章，我们将从四个方面了解 MES：
Spark学习技巧
2019-11-18
438
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档