IT大咖说-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

IT大咖说

专栏成员

915

文章

1586636

阅读量

99

订阅数

用近乎实时的分析来衡量Uber货运公司的指标

kafka flink 大数据 apache 缓存

◆ 简介虽然大多数人都熟悉Uber，但并非所有人都熟悉优步货运, 自2016年以来一直致力于提供一个平台，将托运人与承运人无缝连接。我们正在简化卡车运输公司的生活，为承运人提供一个平台，使其能够浏览所有可用的货运机会，并通过点击一个按钮进行预订，同时使履行过程更加可扩展和高效。为托运人提供可靠的服务是优步货运获得他们信任的关键。由于承运人的表现可能会大大影响货运公司服务的可靠性，我们需要对承运人透明，让他们知道我们对他们负责的程度，让他们清楚地了解他们的表现，如果需要，他们可以在哪些方面改进。为了实现

2022-09-28

5650

90%的人都做错的用户画像，到底应该怎么做？

大数据缓存数据分析

前几天，有个搞运营的小伙伴向我吐槽，熬了几个夜做出来的用户画像被老板说垃圾。不管是市场人员、运营人员还是产品经理，都躲不开“用户画像”，但经常听到伙伴们抱怨，这个词太大了，根本不知道从哪里下手。老李给大家归纳了一套用户画像学习方法，从理论到实践，教大家怎么做好用户画像。 ◆ 什么是用户画像？简单来说，用户画像=给用户打标签。举个例子，如果你关注老李的头条，每天看的都是数据分析类的内容，那你就会被打上“数据分析”、“职场”等标签，下次打开头条，给你推荐的就是“如何转行数据分析”、“数据分析必备工具”等文章

2022-09-06

6620

20年架构师带你彻底搞懂查询分离的实现思路

Elasticsearch Service 数据迁移大数据数据库

◆ 查询分离实现思路如图2-2所示，查询分离的实现思路如下。 1）如何触发查询分离？ 2）如何实现查询分离？ 3）查询数据如何存储？ 4）查询数据如何使用？ 5）历史数据如何迁移？ • 图2-2 查询分离需要考虑的问题下面针对以上5个问题的解决方案进行展开。 ◆ 如何触发查询分离这个问题是说应该在什么时候保存一份数据到查询数据库，即什么时候触发查询分离这个动作。一般来说，查询分离的触发逻辑分为3种。 1）修改业务代码，在写入常规数据后同步更新查询数据。如图2-3所示，每次客服单击更新工单的按钮后，

2022-07-19

5010

ClickHouse原理解析与应用实战

数据库 sql 存储大数据

◆ ClickHouse概念 clickhouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)，由俄罗斯最大的搜索公司Yandex开发，于2016年开源，采用c++开发。 ◆ OLAP 和 OLTP 这两个概念 OLAP（On-Line Analytical Processing）：联机分析处理OLAP（On-Line Analytical Processing),仓库型数据库，主要是读取数据，做复杂数据分析（多维），侧重技术决策支持，提供直观简单的结果,开源OLAP引擎包含Hive、Sp

2022-06-17

2K0

数据分类及存储特性——NoSQL数据存储

文件存储存储大数据 sql 数据库

◆ NoSQL数据存储传统的架构方法是在服务之间共享一个数据库，而微服务却与之相反，每个微服务都拥有独立、自主、专门的数据存储。微服务数据存储是基础设施构建的重点，因为它提供服务解耦、数据存储自主性、小型化开发、测试设置等特性，有助于应用程序更快地交付或更新。选择理想的数据存储的第一步是确定微服务数据的性质，可以根据数据的特点将数据大致做如下划分。全局共享数据：缓存服务器是存储短暂数据很好的例子。它是一个临时数据存储，其目的是通过实时提供信息来改善用户体验。事务数据：从交易（如付款处理和订单处理）收集

2022-06-16

5.5K0

Clickhouse 分布式表&本地表 &ClickHouse实现时序数据管理和挖掘

分布式数据库大数据 sql zookeeper

◆ 一、CK 分布式表和本地表（1）CK是一个纯列式存储的数据库，一个列就是硬盘上的一个或多个文件（多个分区有多个文件），关于列式存储这里就不展开了，总之列存对于分析来讲好处更大，因为每个列单独存储，所以每一列数据可以压缩，不仅节省了硬盘，还可以降低磁盘IO。（2）CK是多核并行处理的，为了充分利用CPU资源，多线程和多核必不可少，同时向量化执行也会大幅提高速度。（3）提供SQL查询接口，CK的客户端连接方式分为HTTP和TCP，TCP更加底层和高效，HTTP更容易使用和扩展，一般来说HTTP足矣，社

2022-03-25

3.5K0

Polars：一个正在崛起的新数据框架

api 分布式大数据 rust

Polar的标志表列数据是任何数据科学家的面包和主食。几乎所有的数据湖和仓库都使用数据表格来处理数据，并提取关键特征进行处理。最常用的数据制表方法之一是Dataframes。它们在收集和清理来自限定文本文件、电子表格和数据库查询的数据方面提供了灵活性。最常用的数据框架是Pandas，这是一个python包，对于有限的数据来说，它的表现足够好。然而，如果数据太大，Pandas无法处理，但对Spark等分布式文件管理系统来说又太小，怎么办？Polars试图弥补这一差距。 Polars是用Rust编写的，以获得

2022-03-04

4.9K0

如何通过查询实施数据解放？

unix 存储大数据 sql 微服务

◆ 通过查询实施解放基于查询的数据解放涉及查询数据存储并将所选择的结果发布到相关的事件流中。一个使用合适的 API、SQL 或类 SQL 语言的客户端会被用于向数据存储请求特定的数据集。必须能够批量查询数据集以提供事件的历史记录，然后定期更新，以确保数据的更改被发布到输出事件流中。此模式有几种查询类型。 ◆ 批量加载执行批量查询并加载数据集中的所有数据。当需要在每个轮询间隔加载整张表时，以及在进行增量更新之前，都需要执行批量加载。批量加载成本很高，因为它需要从数据存储中获取整个数据集。对较小的数据集

2022-03-04

8980

什么是流式SQL，它有什么用？

微服务 sql 数据库大数据

◆ 摘要流式SQL是指采用用于编写数据库查询的相同的声明式SQL，而在快速变化的数据流上运行。这很有用，因为。当你能迅速采取行动时，数据往往更有价值现有的从数据流中获得实时洞察力的工具过于复杂。 SQL的 "声明 "性质在解决第二点方面发挥了重要作用，因为它允许用户专注于他们想要什么，而让底层引擎担心如何完成。在现实世界中，流式SQL被用来。启用新的内部和面向客户的洞察力、自动化和应用程序通过为关键指标提供单一的最新真相来源来提高商业智能数据的价值通过取代代码进行数据协调和转换来简化微服务

2022-03-04

9910

为什么说数据仓库、数据库是每个IT架构师都要精通的技能？

数据分析大数据 node.js 数据库

互联网行业，除了数据量大之外，业务时效性要求也很高，甚至很多是要求实时的。另外，互联网行业的业务变化非常快，不可能像传统行业一样，可以使用自顶向下的方法建立数据仓库，一劳永逸，它要求新的业务很快能融入数据仓库中来，老的下线的业务，能很方便的从现有的数据仓库中下线。

2021-08-10

6700

flink为什么会成为下一代数据处理框架--大数据面试

flink 大数据 apache sql 数据处理

相对于传统的数据处理模式。流式数据处理则有更高的处理效率和成本控制。apache flink 就是近年来在开源社区发展不断发展能够支持同时支持高吞吐，低延迟，高性能分布式处理框架。

2021-06-15

5370

Apache四个大型开源数据和数据湖系统

数据分析 spark 存储大数据 hadoop

管理大数据所需的许多功能是其中一些是事务，数据突变，数据校正，流媒体支持，架构演进，因为酸性事务能力Apache提供了四种，用于满足和管理大数据。

2021-03-14

2.7K0

大数据平台-数据采集和集成技术和工具整理

oracle 大数据数据集成开源数据库

今天谈下大数据平台构建中的数据采集和集成。在最早谈BI或MDM系统的时候，也涉及到数据集成交换的事情，但是一般通过ETL工具或技术就能够完全解决。而在大数据平台构建中，对于数据采集的实时性要求出现变化，对于数据采集集成的类型也出现多样性，这是整个大数据平台采集和集成出现变化的重要原因。

2021-03-14

2.5K0

谈AIOps基础-从自动化运维到智能化运维

自动化运维 devops 大数据数据分析

今天准备谈下AIOps的内容，在我前面已经写过多篇文章谈DevOps研发运维一体化方面的内容，原来也一直看到AIOps的概念，潜意识里面理解是DevOps里面的一个子内容分解。而实际我们看到AIOps和DevOps没有必然的联系。

2020-11-03

5.3K0

不想做技术总监的项目经理，不是好程序员

云数据库 SQL Server sql 数据库大数据 nginx

请看我上文十年风雨，一个普通程序员的成长之路（七）膨胀、骄傲，程序员转项目经理的原罪

2019-11-29

9670

Kafka是如何保证高性能和高吞吐量的？

kafka 缓存数据库大数据 sql

最早设计的目的是作为LinkedIn的活动流和运营数据的处理管道。这些数据主要是用来对用户做用户画像分析以及服务器性能数据的一些监控。

2019-11-14

2.8K0

年薪50W的程序员，如何用5年时间成为一名架构师，分享成功的经验

架构设计电商大数据负载均衡负载均衡缓存

架构设计需要注意的地方，不是怎么把架构搭建起来，而是必须根据业务需求，严格分析，实现该需求需要什么技术会更好及更长远发展的考虑；

2019-07-12

6720

如何让数据增量更新节省资源，耗时减半

大数据微信安全存储 sql

内容来源：本文内容由阿里大数据计算服务（MaxCompute）团队投稿提供。IT 大咖说（微信id：itdakashuo）经授权发布，转载请标明出处。

2018-12-13

7460

“第五届中国国际大数据大会”将聚焦大数据创新应用

大数据数据挖掘 sql 数据库

一份简单的外卖，如何在骑手人员调配、天气变化、出菜速度等因素实时变动的情况下，可以及时送到消费者手里？

2018-10-23

4180

草裙舞No.2 | IT大咖撩段子

iphone 大数据

亲爱的朋友，闭上眼睛你有没有闻到海风的味道？脑海里有没有浮现沙滩、美女、草裙舞的画面？

2018-10-23

5710

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态