腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
腾讯技术工程官方号的专栏
专栏作者
举报
1083
文章
2379857
阅读量
882
订阅数
订阅专栏
申请加入专栏
全部文章
编程算法
微信
数据库
大数据
深度学习
人工智能
sql
网络安全
神经网络
开源
https
安全
机器学习
运维
其他
linux
小程序
微服务
存储
模型
游戏
腾讯
c++
node.js
分布式
数据
缓存
api
数据结构
http
云数据库 SQL Server
网站
云直播
云计算
物联网
javascript
go
ide
图像处理
腾讯云测试服务
企业
NLP 服务
python
git
容器
java
tcp/ip
腾讯云开发者社区
系统
android
打包
serverless
推荐系统
函数
小程序·云开发
html
云数据库 Redis
github
机器人
数据处理
强化学习
单元测试
数据分析
程序员
实践
ios
TDSQL MySQL 版
kubernetes
kafka
消息队列 CMQ 版
优化
费用中心
unix
黑客
安全漏洞
架构设计
架构
设计
apache
文件存储
渲染
数据安全
devops
自动化
rpc
uml
react
css
json
单片机
云+未来
区块链
访问管理
TAPD 敏捷项目管理
文字识别
数据迁移
面向对象编程
服务
原理
postgresql
容器镜像服务
机器翻译
腾讯计费
压力测试
hadoop
图像识别
监督学习
socket编程
学习方法
对象
视频
研发
负载均衡
搜索引擎
SSL 证书
腾讯云区块链服务平台 TBaaS
医疗
spark
正则表达式
openstack
5g
编程
工作
开发
框架
网络
mac os
c 语言
php
负载均衡缓存
云函数
VPN 连接
工业物联
自动化测试
cdn
ddos
迁移学习
nat
特征工程
sdk
bug
chatgpt
编码
产品
互联网
开发者
内存
日志
性能
私有网络
人脸识别
数据挖掘
vue.js
ajax
汇编语言
nosql
nginx
黑石物理服务器
知识图谱
腾讯乐享
webpack
jdk
pytorch
udp
kernel
系统架构
fpga
任务调度
虚拟化
云开发
腾讯会议
接口测试
es
腾讯云
aigc
高性能
流量
入门
算法
线程
云服务器
对象存储
蓝鲸平台
语音识别
自动驾驶
android studio
硬件开发
短视频
NAT 网关
混合云解决方案
数据库解决方案
金融
svg
互联网金融
爬虫
卷积神经网络
dns
npm
敏捷开发
rabbitmq
无监督学习
windows
数据可视化
canvas
sdn
flutter
flink
大数据存储
embedding
gpt
变量
低代码
二维码
工具
公众号
基础
进程
前端
数据中心
搜索
性能优化
音频
c#
lua
ecmascript
arm
oracle
access
mvc
svn
centos
apt-get
日志服务
腾讯云可观测平台
命令行工具
云数据库 MongoDB
API 网关
腾讯git代码托管(工蜂)
cci 持续集成
物联网通信
内容理解
mongodb
专有云
日志数据
yarn
html5
无人驾驶
ssh
hive
hashmap
决策树
unity
zookeeper
grep
gradle
信息流
mqtt
angel
迁移
dart
raft
腾讯极客挑战赛
实时监控
前端性能监控
服务网格
验证码
流计算 Oceanus
腾讯问卷
elasticsearch
gpu
it
openai
protobuf
redis
table
编程语言
编译
编译器
部署
插件
程序
管理
行业
后台开发
技巧
集群
监控
脚本
教程
接口
客户端
漏洞
论文
内核
配置
全栈
软件
索引
统计
网关
效率
协议
压缩
源码
重构
字符串
云点播
云 API
弹性伸缩
DNS 解析 DNSPod
数字货币
tensorflow
objective-c
iphone
perl
bash
regex
typescript
webview
嵌入式
sqlite
memcached
matlab
lucene/solr
analyzer
bash 指令
mapreduce
容器服务
批量计算
实时音视频
互动直播
弹性网卡
消息队列 CKafka 版
数据加密服务
语音合成
腾讯移动推送
es 2
云推荐引擎
视频处理
高性能计算
数据备份
电商
通用教育
政务云专区
vr 视频解决方案
智慧零售
出行
智能硬件
微信生态上云方案
微信小程序音视频
electron
eslint
express
云数据库 MySQL
云联网
babel.js
jvm
yum
jdbc
ftp
二叉树
aop
scrapy
gcc
模式识别
lamp
hbase
postcss
nest
webgl
processing
图片加速
物联网开发平台
物联网设备身份认证
机器学习平台
聚类算法
分类算法
mvcc
tdsql-c
ascii
rust
功能测试
性能测试
黑盒测试
etcd
腾讯云前端性能优化大赛
tencentos tiny
TencentOS Server
腾讯云图数据可视化
智能创作
联邦学习
应急响应服务
Elasticsearch Service
腾讯云数据仓库 TCHouse
移动推送
图像搜索
智能客服机器人
项目管理
acm
adapter
amp
block
chat
clickhouse
cpu
db
discord
dos
embed
get
google
input
ip
kill
live
mysql
nlp
olap
overflow
pid
pipeline
process
prompt
stack
system
token
ui
web
百度
闭包
编辑器
表单
并发编程
测试
产品设计
存储技术
递归
地图
动画
动效
分布式事务
分布式锁
分布式系统
服务器
公有云
后台
混合云
集合
科技
可视化
跨平台
链表
连接
量化
路由
敏捷
排序
软件架构
设计模式
事件
事务
手机
数据仓库
调试
通信
消息队列
序列化
硬件
语法
云原生
指针
最佳实践
LLM
腾讯混元大模型
搜索文章
搜索
搜索
关闭
Spark源码和调优简介 Spark Core
spark
数据库
sql
https
网络安全
作者:calvinrzluo,腾讯 IEG 后台开发工程师 本文基于 Spark 2.4.4 版本的源码,试图分析其 Core 模块的部分实现原理,其中如有错误,请指正。为了简化论述,将部分细节放到了源码中作为注释,因此正文中是主要内容。 Spark Core RDD RDD(Resilient Distributed Dataset),即弹性数据集是 Spark 中的基础结构。RDD 是 distributive 的、immutable 的,可以被 persist 到磁盘或者内存中。 对 RDD
腾讯技术工程官方号
2020-02-10
1.1K
0
深入浅出理解 Spark:环境部署与工作原理
spark
任务调度
hadoop
tcp/ip
一、Spark 概述 Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架,目前已成为 Apache 软件基金会的顶级开源项目。Spark 支持多种编程语言,包括 Java、Python、R 和 Scala,同时 Spark 也支持 Hadoop 的底层存储系统 HDFS,但 Spark 不依赖 Hadoop。 1.1 Spark 与 Hadoop Spark 基于 Hadoop MapReduce 算法实现的分布式计算,拥有 Hadoop MapReduc
腾讯技术工程官方号
2019-12-30
813
0
腾讯正式开源图计算框架Plato,十亿级节点图计算进入分钟级时代
编程算法
开源
spark
github
git
腾讯开源再次迎来重磅项目,14日,腾讯正式宣布开源高性能图计算框架Plato,这是在短短一周之内,开源的第五个重大项目。 相对于目前全球范围内其它的图计算框架,Plato可满足十亿级节点的超大规模图计算需求,将算法计算时间从天级缩短到分钟级,性能全面领先领先于其它主流分布式图计算框架,并且打破了原本动辄需要数百台服务器的资源瓶颈,现在,最少只需要十台服务器即可完成计算。 腾讯Plato团队负责人于东海表示:“Plato已经支持腾讯内部包括微信在内的众多核心业务,尤其是为腾讯超大规模社交网络图数据的各类
腾讯技术工程官方号
2019-11-18
687
0
SuperSQL:跨数据源、跨DC、跨执行引擎的高性能大数据SQL中间件
云数据库 SQL Server
sql
spark
数据库
jdbc
导语:SuperSQL是腾讯数据平台部自研的跨数据源、跨数据中心、跨执行引擎的统一大数据SQL分析平台/中间件,支持对接适配多类外部开源SQL执行引擎,如Spark、Hive等。 背景 SuperSQL是一款自研的跨数据源、跨数据中心、跨执行引擎的高性能大数据SQL中间件,满足对位于不同数据中心的不同类型数据源的数据联合分析/即时查询的需求。SuperSQL的目标是成为公司内部统一的SQL分析中间件,实现以下三点的价值: 解决业务数据孤岛,最大化数据的使用价值 执行引擎最优选择,提升业务使用数据效率
腾讯技术工程官方号
2019-09-24
8.1K
1
腾讯重磅发布全栈机器学习平台Angel 3.0
spark
编程算法
推荐系统
pytorch
https
腾讯首个AI开源项目Angel,正式发布一个里程碑式的版本:Angel 3.0。这是一个全栈的机器学习平台,功能特性涵盖了机器学习的各个阶段,超过50万行代码,在 GitHub 上 Star 数已超过 4200,Fork 数超过 1000。 一个全栈的机器学习平台,近日悄悄上线了。 8月22日,腾讯首个AI开源项目Angel正式发布一个里程碑式的版本:Angel 3.0。 Angel 3.0尝试打造一个全栈的机器学习平台,功能特性涵盖了机器学习的各个阶段:特征工程,模型训练,超参数调节和模型服务。
腾讯技术工程官方号
2019-08-28
3K
0
大牛书单 | 大数据存储方向好书分享
hadoop
spark
nosql
大数据
sql
导语:读书是一生的功课,技术人通过读书实现自我提升,学习优秀知识沉淀。TEG书知道本期特邀腾讯云数仓数据湖产品负责人堵俊平、腾讯云数据库负责人林晓斌、腾讯TEG云架构平台部数据块中心高级工程师王银虎,腾讯TEG计费平台部账户中心专家工程师潘安群为大家带来大数据方向好书推荐。来看看技术大牛在读什么,收藏优质内容,愿本期书单助您更专业。 堵俊平,腾讯云数仓数据湖产品负责人, T4专家工程师,腾讯开源联盟(TOSA)现任主席,Apache开源基金会Member, Apache Hadoop项目Commi
腾讯技术工程官方号
2019-06-03
1.7K
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档