腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
IT大咖说
专栏成员
举报
915
文章
1589499
阅读量
99
订阅数
订阅专栏
申请加入专栏
全部文章(915)
数据库(145)
编程算法(127)
sql(113)
java(85)
微服务(82)
开源(71)
其他(68)
网络安全(65)
微信(62)
云数据库 SQL Server(54)
linux(51)
https(50)
http(49)
spring(48)
api(45)
网站(44)
运维(44)
容器(42)
大数据(42)
存储(40)
缓存(40)
分布式(39)
python(38)
javascript(32)
云数据库 Redis(31)
数据分析(28)
容器镜像服务(26)
php(24)
android(21)
github(21)
腾讯云测试服务(21)
人工智能(21)
kafka(21)
nginx(20)
tcp/ip(19)
git(18)
ide(17)
devops(17)
node.js(16)
spring boot(16)
vue.js(15)
打包(15)
深度学习(15)
自动化(15)
jvm(15)
安全(15)
html(14)
oracle(14)
apache(14)
windows(14)
数据结构(14)
jdk(13)
系统架构(13)
机器学习(12)
c++(12)
json(12)
ios(11)
react(11)
游戏(11)
go(10)
css(10)
文件存储(10)
架构设计(10)
云计算(10)
tomcat(9)
mongodb(9)
ssh(9)
zookeeper(9)
spring cloud(9)
Elasticsearch Service(9)
区块链(8)
bash(8)
xml(8)
unix(8)
bash 指令(8)
消息队列 CMQ 版(8)
serverless(8)
kubernetes(8)
sql server(8)
tensorflow(7)
maven(7)
神经网络(7)
数据迁移(7)
html5(7)
socket编程(7)
小程序(7)
数据处理(7)
腾讯云开发者社区(7)
程序员(7)
数据(7)
自动驾驶(6)
.net(6)
jquery(6)
nosql(6)
mvc(6)
jar(6)
centos(6)
渲染(6)
互联网金融(6)
mybatis(6)
面向对象编程(6)
dns(6)
iphone(5)
c 语言(5)
全文检索(5)
TDSQL MySQL 版(5)
hadoop(5)
npm(5)
rpc(5)
uml(5)
机器人(5)
rust(5)
it(5)
负载均衡(4)
ajax(4)
ubuntu(4)
访问管理(4)
电商(4)
黑客(4)
压力测试(4)
gui(4)
yum(4)
jdbc(4)
hashmap(4)
自动化测试(4)
rabbitmq(4)
物联网(4)
性能测试(4)
es(4)
流计算 Oceanus(4)
系统(4)
ruby(3)
asp.net(3)
bootstrap(3)
angularjs(3)
typescript(3)
ecmascript(3)
单片机(3)
汇编语言(3)
postgresql(3)
access(3)
搜索引擎(3)
负载均衡缓存(3)
数据加密服务(3)
视频处理(3)
图像处理(3)
企业(3)
svg(3)
webpack(3)
shell(3)
正则表达式(3)
openstack(3)
kotlin(3)
cdn(3)
aop(3)
单元测试(3)
markdown(3)
dubbo(3)
敏捷开发(3)
gradle(3)
hbase(3)
nat(3)
sdk(3)
实时监控(3)
产品经理(3)
管理(3)
配置(3)
异常(3)
云服务器(2)
对象存储(2)
人脸识别(2)
数据挖掘(2)
swift(2)
servlet(2)
webview(2)
arm(2)
嵌入式(2)
硬件开发(2)
memcached(2)
windows server(2)
apt-get(2)
命令行工具(2)
云数据库 MongoDB(2)
SSL 证书(2)
数据安全(2)
reactnative(2)
spark(2)
无人驾驶(2)
图像识别(2)
numpy(2)
seo(2)
数据可视化(2)
canvas(2)
云数据库 postgresql(2)
虚拟化(2)
迁移(2)
flink(2)
数据库管理(2)
漏洞扫描服务(2)
数据集成(2)
bug(2)
工具(2)
互联网(2)
框架(2)
论文(2)
模型(2)
日志(2)
性能(2)
优化(2)
注解(2)
ICP备案(1)
费用中心(1)
DNS 解析 DNSPod(1)
比特币(1)
数字货币(1)
NLP 服务(1)
objective-c(1)
mac os(1)
erlang(1)
actionscript(1)
jsp(1)
r 语言(1)
sqlite(1)
phpmyadmin(1)
sqlalchemy(1)
matlab(1)
struts(1)
lucene/solr(1)
thinkphp(1)
批量计算(1)
日志服务(1)
云直播(1)
互动直播(1)
数据库一体机 TData(1)
API 网关(1)
cci 持续集成(1)
腾讯企点(1)
知识图谱(1)
es 2(1)
云推荐引擎(1)
专有云(1)
混合云解决方案(1)
游戏解决方案(1)
智能硬件(1)
eslint(1)
云数据库 MySQL(1)
babel.js(1)
parcel(1)
lodash(1)
云市场(1)
hive(1)
erp(1)
opencv(1)
推荐系统(1)
决策树(1)
unity(1)
ftp(1)
keras(1)
二叉树(1)
selenium(1)
flash(1)
udp(1)
jenkins(1)
kernel(1)
zabbix(1)
kvm(1)
lamp(1)
迁移学习(1)
任务调度(1)
flutter(1)
mvcc(1)
ascii(1)
ipv6(1)
dart(1)
接口测试(1)
etcd(1)
腾讯云数据仓库 TCHouse(1)
数据湖(1)
abstract(1)
amd(1)
app(1)
architecture(1)
bigdecimal(1)
bit(1)
controller(1)
double(1)
elasticsearch(1)
error(1)
expression(1)
factory(1)
for循环(1)
google(1)
gps(1)
gpu(1)
handle(1)
header(1)
join(1)
leetcode(1)
nvidia(1)
ode(1)
range(1)
redis(1)
service(1)
string(1)
vi(1)
vim(1)
web(1)
web开发(1)
youtube(1)
编程(1)
编码(1)
代理(1)
二维码(1)
分页(1)
服务(1)
服务器(1)
工作(1)
后端(1)
继承(1)
技巧(1)
架构(1)
接口(1)
开发(1)
可视化(1)
连接(1)
流计算(1)
内存(1)
企业应用(1)
设计模式(1)
生命周期(1)
事务(1)
搜索(1)
算法(1)
效率(1)
最佳实践(1)
搜索文章
搜索
搜索
关闭
用近乎实时的分析来衡量Uber货运公司的指标
kafka
flink
大数据
apache
缓存
◆ 简介 虽然大多数人都熟悉Uber,但并非所有人都熟悉优步货运, 自2016年以来一直致力于提供一个平台,将托运人与承运人无缝连接。我们正在简化卡车运输公司的生活,为承运人提供一个平台,使其能够浏览所有可用的货运机会,并通过点击一个按钮进行预订,同时使履行过程更加可扩展和高效。 为托运人提供可靠的服务是优步货运获得他们信任的关键。由于承运人的表现可能会大大影响货运公司服务的可靠性,我们需要对承运人透明,让他们知道我们对他们负责的程度,让他们清楚地了解他们的表现,如果需要,他们可以在哪些方面改进。 为了实现
IT大咖说
2022-09-28
566
0
90%的人都做错的用户画像,到底应该怎么做?
大数据
缓存
数据分析
前几天,有个搞运营的小伙伴向我吐槽,熬了几个夜做出来的用户画像被老板说垃圾。不管是市场人员、运营人员还是产品经理,都躲不开“用户画像”,但经常听到伙伴们抱怨,这个词太大了,根本不知道从哪里下手。 老李给大家归纳了一套用户画像学习方法,从理论到实践,教大家怎么做好用户画像。 ◆ 什么是用户画像? 简单来说,用户画像=给用户打标签。举个例子,如果你关注老李的头条,每天看的都是数据分析类的内容,那你就会被打上“数据分析”、“职场”等标签,下次打开头条,给你推荐的就是“如何转行数据分析”、“数据分析必备工具”等文章
IT大咖说
2022-09-06
666
0
20年架构师带你彻底搞懂查询分离的实现思路
Elasticsearch Service
数据迁移
大数据
数据库
◆ 查询分离实现思路 如图2-2所示,查询分离的实现思路如下。 1)如何触发查询分离? 2)如何实现查询分离? 3)查询数据如何存储? 4)查询数据如何使用? 5)历史数据如何迁移? • 图2-2 查询分离需要考虑的问题 下面针对以上5个问题的解决方案进行展开。 ◆ 如何触发查询分离 这个问题是说应该在什么时候保存一份数据到查询数据库,即什么时候触发查询分离这个动作。 一般来说,查询分离的触发逻辑分为3种。 1)修改业务代码,在写入常规数据后同步更新查询数据。如图2-3所示,每次客服单击更新工单的按钮后,
IT大咖说
2022-07-19
502
0
ClickHouse原理解析与应用实战
数据库
sql
存储
大数据
◆ ClickHouse概念 clickhouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS),由俄罗斯最大的搜索公司Yandex开发,于2016年开源,采用c++开发。 ◆ OLAP 和 OLTP 这两个概念 OLAP(On-Line Analytical Processing):联机分析处理OLAP(On-Line Analytical Processing),仓库型数据库,主要是读取数据,做复杂数据分析(多维),侧重技术决策支持,提供直观简单的结果,开源OLAP引擎包含Hive、Sp
IT大咖说
2022-06-17
2K
0
数据分类及存储特性——NoSQL数据存储
文件存储
存储
大数据
sql
数据库
◆ NoSQL数据存储 传统的架构方法是在服务之间共享一个数据库,而微服务却与之相反,每个微服务都拥有独立、自主、专门的数据存储。微服务数据存储是基础设施构建的重点,因为它提供服务解耦、数据存储自主性、小型化开发、测试设置等特性,有助于应用程序更快地交付或更新。选择理想的数据存储的第一步是确定微服务数据的性质,可以根据数据的特点将数据大致做如下划分。 全局共享数据:缓存服务器是存储短暂数据很好的例子。它是一个临时数据存储,其目的是通过实时提供信息来改善用户体验。 事务数据:从交易(如付款处理和订单处理)收集
IT大咖说
2022-06-16
5.5K
0
Clickhouse 分布式表&本地表 &ClickHouse实现时序数据管理和挖掘
分布式
数据库
大数据
sql
zookeeper
◆ 一、CK 分布式表和本地表 (1)CK是一个纯列式存储的数据库,一个列就是硬盘上的一个或多个文件(多个分区有多个文件),关于列式存储这里就不展开了,总之列存对于分析来讲好处更大,因为每个列单独存储,所以每一列数据可以压缩,不仅节省了硬盘,还可以降低磁盘IO。 (2)CK是多核并行处理的,为了充分利用CPU资源,多线程和多核必不可少,同时向量化执行也会大幅提高速度。 (3)提供SQL查询接口,CK的客户端连接方式分为HTTP和TCP,TCP更加底层和高效,HTTP更容易使用和扩展,一般来说HTTP足矣,社
IT大咖说
2022-03-25
3.5K
0
Polars:一个正在崛起的新数据框架
api
分布式
大数据
rust
Polar的标志 表列数据是任何数据科学家的面包和主食。几乎所有的数据湖和仓库都使用数据表格来处理数据,并提取关键特征进行处理。最常用的数据制表方法之一是Dataframes。它们在收集和清理来自限定文本文件、电子表格和数据库查询的数据方面提供了灵活性。最常用的数据框架是Pandas,这是一个python包,对于有限的数据来说,它的表现足够好。然而,如果数据太大,Pandas无法处理,但对Spark等分布式文件管理系统来说又太小,怎么办?Polars试图弥补这一差距。 Polars是用Rust编写的,以获得
IT大咖说
2022-03-04
4.9K
0
如何通过查询实施数据解放?
unix
存储
大数据
sql
微服务
◆ 通过查询实施解放 基于查询的数据解放涉及查询数据存储并将所选择的结果发布到相关的事件流中。一个使用合适的 API、SQL 或类 SQL 语言的客户端会被用于向数据存储请求特定的数据集。必须能够批量查询数据集以提供事件的历史记录,然后定期更新,以确保数据的更改被发布到输出事件流中。 此模式有几种查询类型。 ◆ 批量加载 执行批量查询并加载数据集中的所有数据。当需要在每个轮询间隔加载整张表时,以及在进行增量更新之前,都需要执行批量加载。 批量加载成本很高,因为它需要从数据存储中获取整个数据集。对较小的数据集
IT大咖说
2022-03-04
899
0
什么是流式SQL,它有什么用?
微服务
sql
数据库
大数据
◆ 摘要 流式SQL是指采用用于编写数据库查询的相同的声明式SQL,而在快速变化的数据流上运行。 这很有用,因为。 当你能迅速采取行动时,数据往往更有价值 现有的从数据流中获得实时洞察力的工具过于复杂。 SQL的 "声明 "性质在解决第二点方面发挥了重要作用,因为它允许用户专注于他们想要什么,而让底层引擎担心如何完成。 在现实世界中,流式SQL被用来。 启用新的内部和面向客户的洞察力、自动化和应用程序 通过为关键指标提供单一的最新真相来源来提高商业智能数据的价值 通过取代代码进行数据协调和转换来简化微服务
IT大咖说
2022-03-04
997
0
为什么说数据仓库、数据库是每个IT架构师都要精通的技能?
数据分析
大数据
node.js
数据库
互联网行业,除了数据量大之外,业务时效性要求也很高,甚至很多是要求实时的。另外,互联网行业的业务变化非常快,不可能像传统行业一样,可以使用自顶向下的方法建立数据仓库,一劳永逸,它要求新的业务很快能融入数据仓库中来,老的下线的业务,能很方便的从现有的数据仓库中下线。
IT大咖说
2021-08-10
673
0
flink为什么会成为下一代数据处理框架--大数据面试
flink
大数据
apache
sql
数据处理
相对于传统的数据处理模式。流式数据处理则有更高的处理效率和成本控制。apache flink 就是近年来在开源社区发展不断发展能够支持同时支持高吞吐,低延迟,高性能分布式处理框架。
IT大咖说
2021-06-15
537
0
Apache四个大型开源数据和数据湖系统
数据分析
spark
存储
大数据
hadoop
管理大数据所需的许多功能是其中一些是事务,数据突变,数据校正,流媒体支持,架构演进,因为酸性事务能力Apache提供了四种,用于满足和管理大数据。
IT大咖说
2021-03-14
2.7K
0
大数据平台-数据采集和集成技术和工具整理
oracle
大数据
数据集成
开源
数据库
今天谈下大数据平台构建中的数据采集和集成。在最早谈BI或MDM系统的时候,也涉及到数据集成交换的事情,但是一般通过ETL工具或技术就能够完全解决。而在大数据平台构建中,对于数据采集的实时性要求出现变化,对于数据采集集成的类型也出现多样性,这是整个大数据平台采集和集成出现变化的重要原因。
IT大咖说
2021-03-14
2.5K
0
谈AIOps基础-从自动化运维到智能化运维
自动化
运维
devops
大数据
数据分析
今天准备谈下AIOps的内容,在我前面已经写过多篇文章谈DevOps研发运维一体化方面的内容,原来也一直看到AIOps的概念,潜意识里面理解是DevOps里面的一个子内容分解。而实际我们看到AIOps和DevOps没有必然的联系。
IT大咖说
2020-11-03
5.4K
0
不想做技术总监的项目经理,不是好程序员
云数据库 SQL Server
sql
数据库
大数据
nginx
请看我上文十年风雨,一个普通程序员的成长之路(七)膨胀、骄傲,程序员转项目经理的原罪
IT大咖说
2019-11-29
969
0
Kafka是如何保证高性能和高吞吐量的?
kafka
缓存
数据库
大数据
sql
最早设计的目的是作为LinkedIn的活动流和运营数据的处理管道。这些数据主要是用来对用户做用户画像分析以及服务器性能数据的一些监控。
IT大咖说
2019-11-14
2.8K
0
年薪50W的程序员,如何用5年时间成为一名架构师,分享成功的经验
架构设计
电商
大数据
负载均衡
负载均衡缓存
架构设计需要注意的地方,不是怎么把架构搭建起来,而是必须根据业务需求,严格分析,实现该需求需要什么技术会更好及更长远发展的考虑;
IT大咖说
2019-07-12
672
0
如何让数据增量更新节省资源,耗时减半
大数据
微信
安全
存储
sql
内容来源:本文内容由阿里大数据计算服务(MaxCompute)团队投稿提供。IT 大咖说(微信id:itdakashuo)经授权发布,转载请标明出处。
IT大咖说
2018-12-13
746
0
“第五届中国国际大数据大会”将聚焦大数据创新应用
大数据
数据挖掘
sql
数据库
一份简单的外卖,如何在骑手人员调配、天气变化、出菜速度等因素实时变动的情况下,可以及时送到消费者手里?
IT大咖说
2018-10-23
420
0
草裙舞No.2 | IT大咖撩段子
iphone
大数据
亲爱的朋友,闭上眼睛你有没有闻到海风的味道?脑海里有没有浮现沙滩、美女、草裙舞的画面?
IT大咖说
2018-10-23
571
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档