腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
IT大咖说
专栏作者
举报
905
文章
1407507
阅读量
98
订阅数
订阅专栏
申请加入专栏
全部文章
数据库
编程算法
sql
java
微服务
开源
其他
网络安全
微信
云数据库 SQL Server
linux
https
http
spring
api
网站
运维
容器
大数据
缓存
分布式
python
存储
javascript
云数据库 Redis
数据分析
容器镜像服务
php
android
github
腾讯云测试服务
人工智能
kafka
nginx
tcp/ip
git
ide
devops
node.js
spring boot
vue.js
打包
深度学习
自动化
jvm
安全
html
oracle
apache
windows
数据结构
jdk
系统架构
机器学习
c++
json
ios
react
游戏
go
css
文件存储
架构设计
云计算
tomcat
mongodb
ssh
zookeeper
spring cloud
Elasticsearch Service
区块链
bash
xml
unix
bash 指令
消息队列 CMQ 版
serverless
kubernetes
sql server
tensorflow
maven
神经网络
数据迁移
html5
socket编程
小程序
数据处理
腾讯云开发者社区
程序员
自动驾驶
.net
jquery
nosql
mvc
centos
渲染
互联网金融
面向对象编程
dns
iphone
c 语言
jar
全文检索
TDSQL MySQL 版
hadoop
mybatis
npm
rpc
uml
机器人
it
负载均衡
ajax
ubuntu
访问管理
电商
黑客
压力测试
gui
yum
jdbc
hashmap
自动化测试
rabbitmq
物联网
rust
性能测试
es
流计算 Oceanus
ruby
asp.net
bootstrap
angularjs
typescript
ecmascript
单片机
汇编语言
postgresql
access
搜索引擎
负载均衡缓存
数据加密服务
视频处理
图像处理
企业
svg
webpack
shell
正则表达式
openstack
kotlin
cdn
aop
单元测试
markdown
dubbo
敏捷开发
gradle
hbase
nat
sdk
实时监控
产品经理
云服务器
对象存储
人脸识别
数据挖掘
swift
servlet
webview
arm
嵌入式
硬件开发
memcached
windows server
apt-get
命令行工具
云数据库 MongoDB
SSL 证书
数据安全
reactnative
spark
无人驾驶
图像识别
numpy
seo
数据可视化
canvas
云数据库 postgresql
虚拟化
迁移
flink
数据库管理
漏洞扫描服务
数据集成
bug
互联网
数据
系统
ICP备案
费用中心
DNS 解析 DNSPod
比特币
数字货币
NLP 服务
objective-c
mac os
erlang
actionscript
jsp
r 语言
sqlite
phpmyadmin
sqlalchemy
matlab
struts
lucene/solr
thinkphp
批量计算
日志服务
云直播
互动直播
数据库一体机 TData
API 网关
cci 持续集成
腾讯企点
es 2
云推荐引擎
专有云
混合云解决方案
游戏解决方案
智能硬件
eslint
云数据库 MySQL
babel.js
parcel
lodash
云市场
hive
erp
opencv
推荐系统
决策树
unity
ftp
keras
二叉树
selenium
flash
udp
jenkins
kernel
zabbix
kvm
lamp
迁移学习
任务调度
flutter
mvcc
ascii
ipv6
dart
接口测试
etcd
腾讯云数据仓库 TCHouse
数据湖
abstract
amd
app
architecture
bigdecimal
bit
controller
double
elasticsearch
error
expression
factory
for循环
google
gps
gpu
handle
header
join
leetcode
nvidia
ode
range
service
string
vi
vim
web
web开发
youtube
编码
二维码
分页
服务
服务器
管理
后端
技巧
架构
论文
模型
内存
配置
企业应用
日志
事务
搜索
效率
性能
异常
优化
注解
最佳实践
搜索文章
搜索
搜索
关闭
用近乎实时的分析来衡量Uber货运公司的指标
kafka
flink
大数据
apache
缓存
◆ 简介 虽然大多数人都熟悉Uber,但并非所有人都熟悉优步货运, 自2016年以来一直致力于提供一个平台,将托运人与承运人无缝连接。我们正在简化卡车运输公司的生活,为承运人提供一个平台,使其能够浏览所有可用的货运机会,并通过点击一个按钮进行预订,同时使履行过程更加可扩展和高效。 为托运人提供可靠的服务是优步货运获得他们信任的关键。由于承运人的表现可能会大大影响货运公司服务的可靠性,我们需要对承运人透明,让他们知道我们对他们负责的程度,让他们清楚地了解他们的表现,如果需要,他们可以在哪些方面改进。 为了实现
IT大咖说
2022-09-28
520
0
替代ELK:ClickHouse+Kafka+FlieBeat才是最绝的
jquery
es
编程算法
kafka
缓存
一、背景 saas 服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力,帮助业务提升行业竞争力。 为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。 然而在实际的开发过程中,如果直接部署一套大数据体系,对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。 二、Elasticsearch vs ClickHouse ClickHouse 是一款高性能列式分布式数据库管理系统,我们对 ClickHouse 进行了测试,发现有下列优
IT大咖说
2022-09-08
818
0
运维经验沉淀,面向云原生的一站式日志采集配置及运维平台
运维
容器
ide
kafka
linux
◆ 一、开源项目简介 滴滴LogiAM来源于滴滴多年来大量的运维实践经验。经历过多方考验,对于大规模Agent日志采集治理管控及巡检诊断已经沉淀出一套完善的解决方案。在云原生时代背景下,LogiAM以“应用/服务”为采集粒度,满足了从业务层面创建采集任务的需求。 ◆ 二、开源协议 使用Apache-2.0开源协议 ◆ 三、界面展示 ◆ 四、功能概述 ◆ 用户体验地图 主机/容器管理:用于维护主机、容器信息至系统(含:容器-主机关系) 服务管理:用于维护服务信息至系统(含:服务-主机、服务-容器关系)
IT大咖说
2022-06-27
1K
0
一种并行,背压的Kafka Consumer
kafka
node.js
◆ 介绍 几乎所有 Kafka Consumer 教程都是下面的代码: KafkaConsumer<String, Payment> consumer = new KafkaConsumer<>(props) // Subscribe to Kafka topics consumer.subscribe(topics); while (true) { // Poll Kafka for new messages ConsumerRecords<String, String> records
IT大咖说
2022-05-23
1.5K
0
不会还有人不懂Stream源码吧?10年架构师带你一次性搞懂
tcp/ip
android
流计算 Oceanus
消息队列 CMQ 版
kafka
◆ Stream源码解析 Spring Cloud Stream(简称SCS)提供了一系列预先定义的注解来声明输入型和输出型Channel,业务系统基于这些Channel与消息中间件进行通信,而不是直接与具体的消息中间件进行通信。跟踪SCS的源码就会发现,Stream有很多外部依赖,最主要的就是Messaging和Integration两个项目,所以在讲解SCS源码前,有必要先介绍一下Messaging和Integration与SCS体系的关系。 SCS的目标是建立一套统一的基于注解的消息发送机制,屏蔽开发
IT大咖说
2022-05-05
409
0
「开源」数据同步ETL工具,支持多数据源间的增、删、改数据同步
ftp
云数据库 SQL Server
kafka
开源
数据库
一、开源项目简介 bboss数据同步可以方便地实现多种数据源之间的数据同步功能,支持增、删、改数据同步,本文为大家程序各种数据同步案例。 二、开源协议 使用Apache-2.0开源协议 三、界面展示 四、功能概述 通过bboss,可以非常方便地采集 database/mongodb/Elasticsearch/kafka/hbase/本地或者Ftp日志文件源数据,经过数据转换处理后,再推送到目标库elasticsearch/database/file/ftp/kafka/dummy/logger。 数
IT大咖说
2022-04-27
1.4K
0
用ClickHouse近乎实时地进行欺诈检测
数据库
sql
编程算法
kafka
数据结构
以下是我们如何确保我们不断发展的Gojek生态系统对我们的客户、司机伙伴和商户伙伴是安全的。 在Gojek,我们不断寻求创新的解决方案,以解决我们不断变化的挑战,为我们的客户、司机伙伴、商户伙伴和我们的整个生态系统保持平台安全。 ClickHouse正是用于这一目的。 它是我们最近部署的技术之一,以打击我们平台上的欺诈者。在这篇文章中,我们旨在描述我们采用ClickHouse的方法,涵盖以下主题。 使用ClickHouse的一个简化用例 为ClickHouse建立一个数据管道 我们的生产设置 ◆ 我们正
IT大咖说
2022-04-08
620
0
kafka2.x常用命令笔记(一)创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费
kafka
bash
bash 指令
zookeeper
接触kafka开发已经两年多,也看过关于kafka的一些书,但一直没有怎么对它做总结,借着最近正好在看《Apache Kafka实战》一书,同时自己又搭建了三台kafka服务器,正好可以做一些总结记录。 本文主要是记录如何在kafka集群服务器上创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费,算是最基础的操作了,当然,不同版本其实指令是有所差异的,本文只针对kafka 2.x版本。 虽然这些指令都很简单,但久不用了,很容易就会忘记,所谓好记性不如烂笔头,记录下来
IT大咖说
2022-04-06
835
0
RabbitMQ 怎么保证可靠性、幂等性、消费顺序?
rabbitmq
消息队列 CMQ 版
kafka
云数据库 Redis
◆ RabbitMQ如何保证消息的可靠性# RabbitMQ消息丢失的三种情况 ◆生产者弄丢消息时的解决方法# 方法一:生产者在发送数据之前开启RabbitMQ的事务(采用该种方法由于事务机制,会导致吞吐量下降,太消耗性能。) 方法二:开启confirm模式(使用springboot时在application.yml配置文件中做如下配置,实现confirm回调接口,生产者发送消息时设置confirm回调) 小结:事务机制和 confirm机制最大的不同在于,事务机制是同步的,你提交一个事务之后会阻塞在那儿
IT大咖说
2022-04-01
859
0
Redis 中使用 list,streams,pub/sub 几种方式实现消息队列
编程算法
消息队列 CMQ 版
kafka
云数据库 Redis
使用 Redis 实现消息队列 普通的订阅 基于模式(pattern)的发布/订阅 看下源码实现 分析下源码实现 stream 的结构 streamCG 消费者组 streamConsumer 消费者结构 分析下源码实现 基于List的消息队列 基于 Streams 的消息队列 发布订阅 总结 参考 ◆使用 Redis 实现消息队列 Redis 中也是可以实现消息队列 不过谈到消息队列,我们会经常遇到下面的几个问题 1、消息如何防止丢失; 2、消息的重复发送如何处理; 3、消息的顺序性问题; 关于 mq
IT大咖说
2022-03-21
1.1K
0
事件驱动的基于微服务的系统的架构注意事项
微服务
数据处理
kafka
文件存储
今天的 IT 系统正在生成、收集和处理比以往更多的数据。而且,他们正在处理高度复杂的流程(正在自动化)以及跨越典型组织边界的系统和设备之间的集成。同时,预计 IT 系统的开发速度更快、成本更低,同时还具有高可用性、可扩展性和弹性。 为了实现这些目标,开发人员正在采用架构风格和编程范式,例如微服务、事件驱动架构、DevOps 等。正在构建新的工具和框架来帮助开发人员实现这些期望。 开发人员正在结合事件驱动架构 (EDA) 和微服务架构风格来构建具有极强可扩展性、可用、容错、并发且易于开发和维护的系统。 在本文
IT大咖说
2022-03-04
1.3K
0
消息队列MQ/JMS/Kafka,你都了解吗?
kafka
消息队列 CMQ 版
node.js
java
rabbitmq
是不是平常听到说消息队列啊,JMS啊,MQ啊 、kafka啊巴啦啦的一堆术语,听不懂?关系混乱?今天就让我们来一起来看看他们都是什么吧。
IT大咖说
2021-11-26
444
0
聊聊 Kafka: 在 Linux 环境上搭建 Kafka
kafka
zookeeper
jdk
bash
bash 指令
zookeeper下载地址链接:zookeeper3.4.14 ,提取码: 3dch
IT大咖说
2021-09-08
918
0
2021年大数据Kafka:消息队列和Kafka的基本介绍
kafka
消息队列 CMQ 版
分布式
java
消息队列,英文名:Message Queue,经常缩写为MQ。从字面上来理解,消息队列是一种用来存储消息的队列 。来看一下下面的代码
IT大咖说
2021-08-10
991
0
以为自己很了解kafka,直到阿里面试被问得哑口无言
kafka
消息队列 CMQ 版
Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。
IT大咖说
2021-06-15
854
0
可视化Kafka
kafka
zookeeper
Kafka是开源事件流软件,可允许您构建事件驱动系统。虽然有其他指南,但我希望专注于可视化Kafka背后的主要概念。这样,当你阅读其他指南时,你会感到更自信。
IT大咖说
2021-05-11
485
0
RabbitMQ和Kafka如何保证消息顺序执行?
rabbitmq
消息队列 CMQ 版
kafka
消息队列中的若干消息如果是对同一个数据进行操作,这些操作具有前后的关系,必须要按前后的顺序执行,否则就会造成数据异常。
IT大咖说
2021-03-14
4.6K
0
使用Kafka和ksqlDB构建和部署实时流处理ETL引擎
kafka
云数据库 postgresql
Elasticsearch Service
数据库
sql
在Koverhoop,我们正在保险,医疗保健,房地产和离线分析领域建立一系列大型项目。对于我们的多租户团体保险经纪平台klient.ca,我们将建立强大的搜索功能。我们希望我们的搜索结果在键入时出现。以下是我们能够实现的目标,在本文中,我将讨论核心基础架构,我们如何完全自动化其部署以及如何也可以非常快速地对其进行设置。
IT大咖说
2020-12-29
2.4K
0
什么是Kafka?它有四个关键概念值得我们去学习
kafka
消息队列 CMQ 版
分布式
Apache kafka is a distributed streaming platform,官方定义 kafka 是一个分布式流式计算平台 。而在大部分企业开发人员中,都是把 kafka 当成消息系统使用,它是一个分布式消息队列,但是很少会使用 kafka 的流式计算。它有四个关键概念:
IT大咖说
2019-12-17
693
0
Kafka是如何保证高性能和高吞吐量的?
kafka
缓存
数据库
大数据
sql
最早设计的目的是作为LinkedIn的活动流和运营数据的处理管道。这些数据主要是用来对用户做用户画像分析以及服务器性能数据的一些监控。
IT大咖说
2019-11-14
2.6K
0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档