腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Spark学习技巧
本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。
专栏成员
举报
810
文章
1302121
阅读量
248
订阅数
订阅专栏
申请加入专栏
全部文章（810）
spark（162）
大数据（156）
sql（131）
数据库（123）
编程算法（122）
java（101）
kafka（57）
数据分析（54）
存储（52）
其他（51）
分布式（45）
hive（45）
flink（45）
缓存（44）
云数据库 SQL Server（43）
hbase（41）
apache（39）
node.js（36）
api（35）
hadoop（30）
数据结构（29）
数据处理（28）
http（24）
ide（23）
linux（21）
zookeeper（21）
scala（20）
云数据库 Redis（20）
机器学习（19）
文件存储（19）
TDSQL MySQL 版（19）
jvm（19）
https（16）
数据（15）
开源（14）
网站（13）
网络安全（13）
windows（13）
mapreduce（12）
jdk（12）
javascript（11）
bash（11）
数据安全（11）
yarn（11）
运维（11）
数据湖（11）
企业（10）
Elasticsearch Service（10）
html（9）
json（9）
unix（9）
神经网络（9）
深度学习（9）
日志数据（9）
hashmap（9）
云计算（9）
打包（8）
git（8）
消息队列 CMQ 版（8）
系统架构（8）
maven（7）
人工智能（7）
安全（7）
php（6）
python（6）
bash 指令（6）
知识图谱（6）
腾讯云测试服务（6）
数据迁移（6）
推荐系统（6）
实时数仓（6）
数据挖掘（5）
xml（5）
jquery（5）
jar（5）
批量计算（5）
容器（5）
面向对象编程（5）
rpc（5）
rabbitmq（5）
设计（5）
数据仓库（5）
自动驾驶（4）
android（4）
搜索引擎（4）
spring（4）
mongodb（4）
电商（4）
tcp/ip（4）
微信（4）
微服务（4）
数据集成（4）
app（4）
join（4）
框架（4）
模型（4）
区块链（3）
go（3）
eclipse（3）
github（3）
全文检索（3）
容器镜像服务（3）
serverless（3）
自动化（3）
压力测试（3）
uml（3）
数据可视化（3）
架构设计（3）
任务调度（3）
bug（3）
key（3）
mysql（3）
offset（3）
partition（3）
ps（3）
产品（3）
管理（3）
函数（3）
架构（3）
流量（3）
排序（3）
日志（3）
异常（3）
官方文档（2）
NLP 服务（2）
c++（2）
c#（2）
ruby（2）
lua（2）
单片机（2）
postgresql（2）
nginx（2）
访问管理（2）
云数据库 MongoDB（2）
消息队列 CKafka 版（2）
大数据解决方案（2）
kubernetes（2）
无人驾驶（2）
ssh（2）
卷积神经网络（2）
erp（2）
jdbc（2）
二叉树（2）
aop（2）
processing（2）
sdk（2）
实时监控（2）
学习方法（2）
数据库管理（2）
数据脱敏（2）
bi（2）
date（2）
hdfs（2）
null（2）
shuffle（2）
测试（2）
程序（2）
程序员（2）
服务（2）
链表（2）
内存（2）
配置（2）
入门（2）
实践（2）
系统（2）
原理（2）
费用中心（1）
负载均衡（1）
比特币（1）
tensorflow（1）
ios（1）
objective-c（1）
c 语言（1）
actionscript（1）
css（1）
ajax（1）
sqlite（1）
nosql（1）
memcached（1）
access（1）
mvc（1）
svn（1）
struts（1）
tomcat（1）
中文分词（1）
lucene/solr（1）
analyzer（1）
负载均衡缓存（1）
tornado（1）
GPU 云服务器（1）
专用宿主机（1）
云数据迁移（1）
日志服务（1）
云直播（1）
短视频（1）
腾讯云可观测平台（1）
SSL 证书（1）
数据加密服务（1）
腾讯git代码托管（工蜂）（1）
数据备份（1）
express（1）
rollup.js（1）
游戏（1）
互联网金融（1）
爬虫（1）
正则表达式（1）
mybatis（1）
sql server（1）
opencv（1）
自动化测试（1）
kotlin（1）
scrapy（1）
dubbo（1）
ddos（1）
udp（1）
kernel（1）
socket编程（1）
无监督学习（1）
nat（1）
nest（1）
视频分析（1）
flutter（1）
风控平台（1）
安全运营平台（1）
特征工程（1）
unicode（1）
迁移（1）
groovy（1）
功能测试（1）
性能测试（1）
es（1）
实时数据集成（1）
事件总线（1）
腾讯云数据仓库 TCHouse（1）
数据湖分析（1）
智能推荐平台（1）
教育（1）
数据库审计（1）
class（1）
cpu（1）
data（1）
decimal（1）
dump（1）
elk（1）
event（1）
exists（1）
final（1）
flume（1）
foreach（1）
for循环（1）
frequency（1）
function（1）
gc（1）
google（1）
gson（1）
initialization（1）
ip（1）
it（1）
jackson（1）
java8（1）
lambda（1）
list（1）
map（1）
message（1）
overflow（1）
public（1）
push（1）
quartz（1）
rank（1）
redis（1）
request（1）
return（1）
select（1）
server（1）
sqoop（1）
stack（1）
static（1）
streaming（1）
string（1）
stringbuilder（1）
subquery（1）
thrift（1）
web（1）
报表（1）
闭包（1）
变量（1）
编译（1）
边缘计算（1）
创业（1）
磁盘（1）
单例模式（1）
登录（1）
多线程（1）
工具（1）
工作（1）
行业（1）
混合云（1）
集合（1）
技巧（1）
集群（1）
监控（1）
解决方案（1）
开发（1）
面试（1）
生命周期（1）
事件（1）
实时计算（1）
事务（1）
数据管理（1）
同步（1）
统计（1）
网关（1）
线程池（1）
效率（1）
协议（1）
性能（1）
性能监控（1）
性能优化（1）
异步编程（1）
中间件（1）
字符串（1）
搜索文章
搜索
搜索
关闭
不好意思，ELK 该换了！
日志
网站
elk
request
配置
最近客户有个新需求，就是想查看网站的访问情况，由于网站没有做google的统计和百度的统计，所以访问情况，只能通过日志查看，通过脚本的形式给客户导出也不太实际，给客户写个简单的页面，咱也做不到
Spark学习技巧
2024-03-26
116
0
为什么数据库连接池不采用IO多路复用？
自动驾驶
网站
容器
jdbc
java
这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用 DB 时，还是经常性采用c3p0，tomcat connection pool等技术来与 DB 连接，哪怕整个程序已经变成以Netty为核心。这到底是为什么？
Spark学习技巧
2022-03-14
673
0
Impala在网易大数据的优化和实践
云数据库 SQL Server
网站
hive
缓存
sql
导读：网易大数据平台的底层数据查询引擎，选用了Impala作为OLAP查询引擎，不但支撑了网易大数据的交互式查询与自助分析，还为外部客户提供了商业化的产品与服务。今天将为大家分享下Impala在网易大数据的优化和实践。
Spark学习技巧
2021-03-05
1.4K
0
java实操｜mysql数据增量同步到kafka
kafka
消息队列 CMQ 版
数据库
云数据库 SQL Server
网站
生产中由于历史原因web后端，mysql集群，kafka集群(或者其它消息队列)会存在一下三种结构。
Spark学习技巧
2021-03-05
2.3K
0
Apache Kylin 在中通快递的实践
apache
网站
hbase
TDSQL MySQL 版
api
Apache Kylin 在中通是如何落地的，又是怎样赋能中通快递实现 OLAP 分析能力起飞的？本文从多方面对比了 Presto 和 Kylin 的优缺点，并从业务场景、调度整合、监控系统、运维调优、源码和二次开发等多个角度进行了阐述。
Spark学习技巧
2021-03-05
819
0
百亿级图数据JanusGraph迁移之旅
数据结构
hbase
TDSQL MySQL 版
spark
网站
目前我们的图数据库数据量为 顶点 20 亿，边 200 亿的规模。在迁移之前我们使用的 AgensGraph 数据库 一个主库四个备库，机器的配置都比较高，256G 内存 SSD 的磁盘，单机数据量为 3T左右。 在数据量比较小的情况下 AgensGraph 表现非常稳定优异，我们之前一主一备的情况下支撑了很长一段时间。 但随着公司业务的急速发展，图越来越大，占用的磁盘越来越多，对应的查询量也越来越大，随之这种方案的问题就暴露出来了
Spark学习技巧
2020-10-10
2.6K
0
图数据库调研
数据结构
网站
数据加密服务
存储
编程算法
注意，这里只是说了通过 提供类似图的语义查询功能，并没有规定图的存储结构。图数据库的主要优点：
Spark学习技巧
2020-09-27
6.6K
0
Gremlin 图查询概述
网站
数据结构
数据库
存储
编程算法
图形数据库是 NoSQL 数据库的一种类型，它应用图形理论存储实体之间的关系信息。最常见的例子，就是社会网络中人与人之间的关系。关系型数据库用于存储关系型数据的效果并不好，其查询复杂、缓慢、超出预期，而图形数据库的独特设计恰恰弥补了这个缺陷。Google的图形计算系统名为 Pregel。
Spark学习技巧
2020-09-08
4K
0
社区版本idea查看继承关系的骚操作
编程算法
ide
面向对象编程
uml
网站
大家都会被idea 的专业版注册码随时被禁，而且费用过高而困扰。浪尖一直都是用的社区版本，很多粉丝留言说社区版本没办法利用uml查看类的继承关系，今天浪尖就给大家分享一个适用于社区版本idea 的插件，很炫酷的查看类的继承关系，名字叫做 code iris。
Spark学习技巧
2020-07-03
2.8K
0
spark on yarn 内存分配详解
linux
spark
yarn
node.js
网站
最近有不少知识星球粉丝和公众号粉丝给浪尖留言，说是不知道spark on yarn的时候，yarn如何分配Spark 的driver和executor内存的。今天浪尖就给大家分享一下spark on yarn，内存分配原理。
Spark学习技巧
2020-04-27
2.2K
0
通过源码分析Producer性能瓶颈
网站
kafka
消息队列 CMQ 版
本文，kafka源码是以0.8.2.2，虽然版本相对比较老，但是阅读还是很有必要的。主要是java的kafka生产者源码，Broker接收到producer请求之后处理的相关源码。估计源码内容是比较多的，只给出大致逻辑，主类和函数名称。本文的目的是让大家，彻底了解发送消息到kafka的过程及如何对producer进行调优。没耐心的小伙伴底部总结可以直接阅读。
Spark学习技巧
2019-07-09
578
0
20个安全可靠的免费数据源，各领域数据任你挑
https
网络安全
go
网站
本文作者列出了 20 种被广泛认可的免费数据源，其中信息涵盖天文地理、政法医经等，可以说是很全面了。不过数据源中的大部分数据集都采集的美国信息，也有少部分是关于其他国家或全球的，大家尽可从中筛选自己需要的数据集。
Spark学习技巧
2019-05-21
511
0
开发人员不得不知的MySQL索引和查询优化
sql server
sql
数据库
云数据库 SQL Server
网站
本文主要总结了工作中一些常用的操作及不合理的操作，在对慢查询进行优化时收集的一些有用的资料和信息，本文适合有 MySQL 基础的开发人员。
Spark学习技巧
2019-05-09
776
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
