首页
学习
活动
专区
工具
TVP
发布

IT大咖说

专栏作者
905
文章
1407507
阅读量
98
订阅数
用近乎实时的分析来衡量Uber货运公司的指标
◆ 简介 虽然大多数人都熟悉Uber,但并非所有人都熟悉优步货运, 自2016年以来一直致力于提供一个平台,将托运人与承运人无缝连接。我们正在简化卡车运输公司的生活,为承运人提供一个平台,使其能够浏览所有可用的货运机会,并通过点击一个按钮进行预订,同时使履行过程更加可扩展和高效。 为托运人提供可靠的服务是优步货运获得他们信任的关键。由于承运人的表现可能会大大影响货运公司服务的可靠性,我们需要对承运人透明,让他们知道我们对他们负责的程度,让他们清楚地了解他们的表现,如果需要,他们可以在哪些方面改进。 为了实现
IT大咖说
2022-09-28
5200
替代ELK:ClickHouse+Kafka+FlieBeat才是最绝的
一、背景 saas 服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力,帮助业务提升行业竞争力。 为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。 然而在实际的开发过程中,如果直接部署一套大数据体系,对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。 二、Elasticsearch vs ClickHouse ClickHouse 是一款高性能列式分布式数据库管理系统,我们对 ClickHouse 进行了测试,发现有下列优
IT大咖说
2022-09-08
8180
运维经验沉淀,面向云原生的一站式日志采集配置及运维平台
◆ 一、开源项目简介 滴滴LogiAM来源于滴滴多年来大量的运维实践经验。经历过多方考验,对于大规模Agent日志采集治理管控及巡检诊断已经沉淀出一套完善的解决方案。在云原生时代背景下,LogiAM以“应用/服务”为采集粒度,满足了从业务层面创建采集任务的需求。 ◆ 二、开源协议 使用Apache-2.0开源协议 ◆ 三、界面展示 ◆ 四、功能概述 ◆ 用户体验地图 主机/容器管理:用于维护主机、容器信息至系统(含:容器-主机关系) 服务管理:用于维护服务信息至系统(含:服务-主机、服务-容器关系)
IT大咖说
2022-06-27
1K0
一种并行,背压的Kafka Consumer
◆ 介绍 几乎所有 Kafka Consumer 教程都是下面的代码: KafkaConsumer<String, Payment> consumer = new KafkaConsumer<>(props) // Subscribe to Kafka topics consumer.subscribe(topics); while (true) { // Poll Kafka for new messages ConsumerRecords<String, String> records
IT大咖说
2022-05-23
1.5K0
不会还有人不懂Stream源码吧?10年架构师带你一次性搞懂
◆ Stream源码解析 Spring Cloud Stream(简称SCS)提供了一系列预先定义的注解来声明输入型和输出型Channel,业务系统基于这些Channel与消息中间件进行通信,而不是直接与具体的消息中间件进行通信。跟踪SCS的源码就会发现,Stream有很多外部依赖,最主要的就是Messaging和Integration两个项目,所以在讲解SCS源码前,有必要先介绍一下Messaging和Integration与SCS体系的关系。 SCS的目标是建立一套统一的基于注解的消息发送机制,屏蔽开发
IT大咖说
2022-05-05
4090
「开源」数据同步ETL工具,支持多数据源间的增、删、改数据同步
一、开源项目简介 bboss数据同步可以方便地实现多种数据源之间的数据同步功能,支持增、删、改数据同步,本文为大家程序各种数据同步案例。 二、开源协议 使用Apache-2.0开源协议 三、界面展示 四、功能概述 通过bboss,可以非常方便地采集 database/mongodb/Elasticsearch/kafka/hbase/本地或者Ftp日志文件源数据,经过数据转换处理后,再推送到目标库elasticsearch/database/file/ftp/kafka/dummy/logger。 数
IT大咖说
2022-04-27
1.4K0
用ClickHouse近乎实时地进行欺诈检测
以下是我们如何确保我们不断发展的Gojek生态系统对我们的客户、司机伙伴和商户伙伴是安全的。 在Gojek,我们不断寻求创新的解决方案,以解决我们不断变化的挑战,为我们的客户、司机伙伴、商户伙伴和我们的整个生态系统保持平台安全。 ClickHouse正是用于这一目的。 它是我们最近部署的技术之一,以打击我们平台上的欺诈者。在这篇文章中,我们旨在描述我们采用ClickHouse的方法,涵盖以下主题。 使用ClickHouse的一个简化用例 为ClickHouse建立一个数据管道 我们的生产设置 ◆ 我们正
IT大咖说
2022-04-08
6200
kafka2.x常用命令笔记(一)创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费
接触kafka开发已经两年多,也看过关于kafka的一些书,但一直没有怎么对它做总结,借着最近正好在看《Apache Kafka实战》一书,同时自己又搭建了三台kafka服务器,正好可以做一些总结记录。 本文主要是记录如何在kafka集群服务器上创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费,算是最基础的操作了,当然,不同版本其实指令是有所差异的,本文只针对kafka 2.x版本。 虽然这些指令都很简单,但久不用了,很容易就会忘记,所谓好记性不如烂笔头,记录下来
IT大咖说
2022-04-06
8350
RabbitMQ 怎么保证可靠性、幂等性、消费顺序?
◆ RabbitMQ如何保证消息的可靠性# RabbitMQ消息丢失的三种情况 ◆生产者弄丢消息时的解决方法# 方法一:生产者在发送数据之前开启RabbitMQ的事务(采用该种方法由于事务机制,会导致吞吐量下降,太消耗性能。) 方法二:开启confirm模式(使用springboot时在application.yml配置文件中做如下配置,实现confirm回调接口,生产者发送消息时设置confirm回调) 小结:事务机制和 confirm机制最大的不同在于,事务机制是同步的,你提交一个事务之后会阻塞在那儿
IT大咖说
2022-04-01
8590
Redis 中使用 list,streams,pub/sub 几种方式实现消息队列
使用 Redis 实现消息队列 普通的订阅 基于模式(pattern)的发布/订阅 看下源码实现 分析下源码实现 stream 的结构 streamCG 消费者组 streamConsumer 消费者结构 分析下源码实现 基于List的消息队列 基于 Streams 的消息队列 发布订阅 总结 参考 ◆使用 Redis 实现消息队列 Redis 中也是可以实现消息队列 不过谈到消息队列,我们会经常遇到下面的几个问题 1、消息如何防止丢失; 2、消息的重复发送如何处理; 3、消息的顺序性问题; 关于 mq
IT大咖说
2022-03-21
1.1K0
事件驱动的基于微服务的系统的架构注意事项
今天的 IT 系统正在生成、收集和处理比以往更多的数据。而且,他们正在处理高度复杂的流程(正在自动化)以及跨越典型组织边界的系统和设备之间的集成。同时,预计 IT 系统的开发速度更快、成本更低,同时还具有高可用性、可扩展性和弹性。 为了实现这些目标,开发人员正在采用架构风格和编程范式,例如微服务、事件驱动架构、DevOps 等。正在构建新的工具和框架来帮助开发人员实现这些期望。 开发人员正在结合事件驱动架构 (EDA) 和微服务架构风格来构建具有极强可扩展性、可用、容错、并发且易于开发和维护的系统。 在本文
IT大咖说
2022-03-04
1.3K0
消息队列MQ/JMS/Kafka,你都了解吗?
是不是平常听到说消息队列啊,JMS啊,MQ啊 、kafka啊巴啦啦的一堆术语,听不懂?关系混乱?今天就让我们来一起来看看他们都是什么吧。
IT大咖说
2021-11-26
4440
聊聊 Kafka: 在 Linux 环境上搭建 Kafka
zookeeper下载地址链接:zookeeper3.4.14 ,提取码: 3dch
IT大咖说
2021-09-08
9180
2021年大数据Kafka:消息队列和Kafka的基本介绍
消息队列,英文名:Message Queue,经常缩写为MQ。从字面上来理解,消息队列是一种用来存储消息的队列 。来看一下下面的代码
IT大咖说
2021-08-10
9910
以为自己很了解kafka,直到阿里面试被问得哑口无言
Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。
IT大咖说
2021-06-15
8540
可视化Kafka
Kafka是开源事件流软件,可允许您构建事件驱动系统。虽然有其他指南,但我希望专注于可视化Kafka背后的主要概念。这样,当你阅读其他指南时,你会感到更自信。
IT大咖说
2021-05-11
4850
RabbitMQ和Kafka如何保证消息顺序执行?
消息队列中的若干消息如果是对同一个数据进行操作,这些操作具有前后的关系,必须要按前后的顺序执行,否则就会造成数据异常。
IT大咖说
2021-03-14
4.6K0
使用Kafka和ksqlDB构建和部署实时流处理ETL引擎
在Koverhoop,我们正在保险,医疗保健,房地产和离线分析领域建立一系列大型项目。对于我们的多租户团体保险经纪平台klient.ca,我们将建立强大的搜索功能。我们希望我们的搜索结果在键入时出现。以下是我们能够实现的目标,在本文中,我将讨论核心基础架构,我们如何完全自动化其部署以及如何也可以非常快速地对其进行设置。
IT大咖说
2020-12-29
2.4K0
什么是Kafka?它有四个关键概念值得我们去学习
Apache kafka is a distributed streaming platform,官方定义 kafka 是一个分布式流式计算平台 。而在大部分企业开发人员中,都是把 kafka 当成消息系统使用,它是一个分布式消息队列,但是很少会使用 kafka 的流式计算。它有四个关键概念:
IT大咖说
2019-12-17
6930
Kafka是如何保证高性能和高吞吐量的?
最早设计的目的是作为LinkedIn的活动流和运营数据的处理管道。这些数据主要是用来对用户做用户画像分析以及服务器性能数据的一些监控。
IT大咖说
2019-11-14
2.6K0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档