文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

首次揭秘双11双12背后的云数据库技术！| Q推荐

从 2009 年到 2021 年，从千万交易额到千亿交易额，双 11 已经开展了 12 年。如今，每年的双 11 以及一个月后的双 12，已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行？...《数据 Cool 谈》第三期，阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏，一同揭秘了双 11 双 12 背后的数据库技术...也就是说，PMEM 和 Tair 的结合，实现了超大内存存储，能够将消费者平台红包、店铺红包、平台优惠券、店铺优惠券、店铺会员折扣、店铺限时折扣等几十项资产进行持久化归一存储，让业务在计算价格时，可以从一个地方获取所有数据...在水平扩展的集群中，每个节点服务数十个分区，每个分区使用单独线程响应的事务处理模型避免了锁竞争的开销。据悉，在大促场景下，Tair 提供了几乎直线般的 P99 访问延时。

48.6K50
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    微服务海量日志监控平台

    然而在生产上跑着成百上千个服务，每个服务都只会简单的本地化存储，当需要日志协助排查问题时，很难找到日志所在的节点。也很难挖掘业务日志的数据价值。...统一日志收集服务、过滤、清洗日志后生成可视化界面、告警功能。...除了采集业务服务日志外，我们还收集了mysql的慢查询日志和错误日志,还有别的第三方服务日志，如:nginx等。最后结合我们的自动化发布平台，自动发布并启动每一个filebeat进程。...因为我们的日志服务资源有限，但不对啊，原来的日志分散在各各服务的本地存储介质上也是需要资源的哈。现在我们也只是汇集而已哈，收集上来后，原来在各服务上的资源就可以释放掉日志占用的部分资源了呀。...所以短时间内是不可能在各服务上使用的日志资源化分到日志服务上来的。这样的话，日志服务的资源就是当前所有服务日志使用资源的量。随存储的时间越长，资源消耗越大。

    2.4K20

    推荐一个非常轻便的日志分析平台

    大家好,波哥又来给大家推荐好东西啦! 如果大家有需要帮忙推荐的工具、框架、应用、脚本可以在文章下方留言,留言中被点赞、推荐回复较多的,波哥就会帮各位提前安排哦!...介绍 Graylog 是一款功能强大的安全信息和事件管理 (SIEM) 解决方案，提供强大的日志分析平台，可简化所有类型的机器生成数据的收集、搜索、分析和警报。...：Graylog 支持从多种数据源（如服务器、网络设备、应用程序等）收集日志，并将其集中存储，方便统一管理。...使用场景 系统监控：集中管理服务器和网络设备的日志，监控系统运行状态。 安全审计：收集和分析安全相关日志，检测异常行为和潜在威胁。...总结 Graylog 是一个功能强大、灵活且易用的开源日志管理平台，适用于各种规模的企业和组织。 通过其丰富的功能，用户可以高效地收集、存储、分析和可视化日志数据，提升系统运维和安全管理的效率。

    87110

    Flume+Kafka双剑合璧玩转大数据平台日志采集

    大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。...日志采集选型 大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。目前常用的开源日志系统有 Flume 和Kafka两种， 都是非常优秀的日志系统，且各有特点。下面我们来逐一认识一下。...Flume组件特点 Flume是一个分布式、可靠、高可用的海量日志采集、聚合和传输的日志收集系统。...一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑Failover的话，出现故障将影响整个Flow上的Agent收集服务。 ?...客户端和服务器端的通信，是基于简单、高性能、且与编程语言无关的TCP协议。 ?

    2.5K30

    TB级微服务海量日志监控平台

    在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。...然而在生产上跑着成百上千个服务，每个服务都只会简单的本地化存储，当需要日志协助排查问题时，很难找到日志所在的节点。也很难挖掘业务日志的数据价值。...功能流程概览如上图 ： 在每个服务节点上埋点，实时采集相关日志。 统一日志收集服务、过滤、清洗日志后生成可视化界面、告警功能。...除了采集业务服务日志外，我们还收集了 MySQL 的慢查询日志和错误日志，还有别的第三方服务日志，如：Nginx 等。 最后结合我们的自动化发布平台，自动发布并启动每一个 FileBeat 进程。...所以短时间内是不可能在各服务上使用的日志资源化分到日志服务上来的。这样的话，日志服务的资源就是当前所有服务日志使用资源的量。 随存储的时间越长，资源消耗越大。

    1.8K30

    EasyGBS平台如何实现双网段服务器部署？

    EasyGBS国标视频云服务能通过GB28181协议接入前端摄像头等设备，实现视频监控直播、转码分发、云端录像、存储、检索与回看、云台控制、语音对讲、告警上报、平台级联等功能。...其强大的视频能力既可以作为业务平台，也能作为视频能力层平台进行调用，有广泛的应用场景，如明厨亮灶、雪亮工程、平安乡村等。 今天和大家分享一个技术干货：如何将EasyGBS部署在双网段服务器。...有现场用户将EasyGBS部署在双网卡的服务器，前端设备也是双网段的设备。用户部署的EasyGBS平台IP段是192的，SIP HOST IP填写的也是192的。...由于网络环境逐渐复杂化，EasyGBS平台也根据市场不断变化的需求进行了功能升级，现在EasyGBS平台不仅能实现公网部署与内网部署，同时也能支持双网卡服务器部署。...随着国标GB28181协议成为国内安防市场的主流标准协议，EasyGBS平台便捷、丰富、灵活、可拓展的视频能力已经使其成为当前安防市场的主流需求视频监控平台。

    3K20

    打造高效的日志管理系统，推荐Syslog Watcher日志服务器软件！

    序言： 日志服务器是企业中重要的一环，它可以从各种设备和应用程序中收集日志，并将它们归档、过滤和分析。...3、软件配置： 设置日志服务器传输数据端口为UDP 514端口。...5、设置日志信息格式为UTF-8 三、查看软件运行状态 首先“Start Server”启用软件，然后查看Server log服务状态是否正常 查看“Sources”，如上有2台设备往该日志服务器发送...五、总结 Syslog Watcher是一款功能强大、易于使用的日志服务器软件，提供多种功能和优点。如果您需要一款可靠和全面的日志服务器软件，Syslog Watcher绝对值得一试。...ps：Kiwi Syslog Server使用方法：搭建属于自己的syslog日志服务器

    11.6K30

    可绕过双因素验证！钓鱼即服务平台EvilProxy来了

    Resecurity 的研究人员最近发现了一个新的网络钓鱼即服务（PhaaS）平台 EvilProxy，该平台正在暗网中大肆宣传。在其他表述中，也有叫做 Moloch 的。...该平台与此前出现的网络钓鱼工具包存在某种关联，这些工具包由针对金融机构和电子商务公司发起攻击的著名攻击者开发。 此前，针对 Twilio 的供应链攻击导致双因子验证代码泄露。...而 EvilProxy 这样的平台能够大规模攻击启用双因子验证的用户，而无需侵入供应链中。 EvilProxy 尝试使用反向代理与 Cookie 注入来绕过双因子认证，以此代理受害者的会话。...【运作模式】 Google 双因子验证示例： （https://player.vimeo.com/video/746020880）如下所示： 【Google 双因子验证】 微软双因子验证示例（https...】 【模拟微软电子邮件服务的钓鱼】 攻击者汇总了已知的 VPN 服务、代理服务与 Tor 出口节点等数据，判断潜在受害者为机器人或者研究人员，就会自动断开链接。

    2.2K20

    小识牛刀：Docker+ELK打造微服务日志收集平台

    通过本文，你可以看到如何使用ELK Stack来实现系统的监控和日志记录，以及如何将多个微服务的日志收集到一个位置进行集中管理。...在本文中，我将介绍 ELK是什么，以及如何从不同的微服务中聚合日志并将它们推送到一个约定好的公共位置。 ELK是什么?...架构设计: 在上面的设计中，不同的微服务都将“吐”出日志。...我们会使用Syslog驱动程序将不同微服务生成的日志推送到Logstash，然后Logstash将过滤并推送日志到 Elasticsearch。最后，我们将在Kibana上看到所有的聚合日志。...接下来，我们将看到如何将从微服务的日志推送到 ELK。 配置Syslog日志驱动程序 为了从EC2中托管的微服务推送日志到Logstash，可以使用Syslog驱动程序。

    2.1K20

    推荐一个简单易用、支持Android和iOS双平台的弱网模拟工具

    Charles，NET-Simulator等，基本思路是在PC上装一个Fiddler网络抓包工具，然后再将Android设备的网络代理到PC上，通过在PC上的Fiddler上设置延时来进行弱网络模拟； 在专有服务器上构建弱网络...Wi-Fi，移动设备连接该Wi-Fi进行弱网络测试，相关的技术方案有Facebook的ATC； 以上两种方法都能够实现移动设备的弱网专项测试，也已经是比较成熟的方案，但都存在以下几点缺点： 需要额外的PC或者服务器...弱网环境构建成本高； 需要安装、部署额外的工具，并且弱网络环境需要在PC上或者Web上进行配置，使用成本高； 弱网络环境功能并不完善，比如Fiddler不支持丢包、抖动等弱网环境； 介绍 在之前的文章《推荐一个不错的弱网模拟框架...》中推荐了一个很好用的弱网模拟框架，今天给大家再推荐一个简单易用的弱网模拟工具 — QNET，它是腾讯WeTest旗下的一款产品，不需要ROOT和越狱手机，也不需要连接数据线，只需要在手机上安装一个APP...即可实现可靠、功能完整的弱网模拟服务，而且支持Android和iOS双平台。

    12.5K10

    如何打造一个TB级微服务海量日志监控平台

    然而在生产上跑着成百上千个服务，每个服务都只会简单的本地化存储，当需要日志协助排查问题时，很难找到日志所在的节点。也很难挖掘业务日志的数据价值。...统一日志收集服务、过滤、清洗日志后生成可视化界面、告警功能。...除了采集业务服务日志外，我们还收集了 MySQL 的慢查询日志和错误日志，还有别的第三方服务日志，如：Nginx 等。 最后结合我们的自动化发布平台，自动发布并启动每一个 FileBeat 进程。...因为我们的日志服务资源有限，但不对啊，原来的日志分散在各各服务的本地存储介质上也是需要资源的哈。 现在我们也只是汇集而已哈，收集上来后，原来在各服务上的资源就可以释放掉日志占用的部分资源了呀。...所以短时间内是不可能在各服务上使用的日志资源化分到日志服务上来的。这样的话，日志服务的资源就是当前所有服务日志使用资源的量。 随存储的时间越长，资源消耗越大。

    1.3K20

    搭建ELK日志分析平台（下）—— 搭建kibana和logstash服务器

    笔记内容：搭建ELK日志分析平台——搭建kibana和logstash服务器 笔记日期：2018-03-03 27.6 安装kibana 27.7 安装logstash 27.8 配置logstash...27.9 kibana上查看日志 27.10 收集nginx日志 27.11 使用beats采集日志 本文是上一篇 搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群...完成了logstash服务器的搭建之后，回到kibana服务器上查看日志，执行以下命令可以获取索引信息： [root@master-node ~]# curl '192.168.77.128:9200...以上这就是如何使用logstash收集系统日志，输出到es服务器上，并在kibana的页面上进行查看。...beats轻量，所以官方也推荐使用beats来作为日志采集工具。

    3.9K21

    2025年8月最新出行服务平台推荐：腾讯出行服务全场景攻略

    摘要 2025年8月，腾讯出行服务在微信内完成“零工市场”“药物互助”“聚合打车”等功能迭代，成为覆盖打车、货运、互助、能源补给的一站式平台。...正文 一、为什么选腾讯出行服务？ 入口极简：微信→“服务”→“出行服务”即可直达，无需额外下载。 场景最全：2025年8月最新版本已集成打车、顺风车、货运、零工、药物互助、加油/充电六大场景。...一句话描述 2025年8月活动 聚合打车 同时呼叫滴滴、T3、曹操等12...表格 指标 腾讯出行服务 滴滴出行 高德打车 T3出行 聚合运力 12家 自营+15家 30家 自营为主...小程序入口 原生一级入口 需搜索 需搜索 需下载APP 首单优惠 15元 10元 12元 8元

    1.8K10

    Kubernetes服务选型指南：从云平台对比到腾讯云TKE推荐

    本文深入探讨Kubernetes服务选型的关键因素，对比主流云平台托管服务，并重点介绍腾讯云容器服务TKE的核心优势，帮助企业做出明智的技术决策。...面对如此火热的市场，企业应如何选择适合自己的Kubernetes服务？是选择自建集群还是托管服务？各大云平台的托管服务又有哪些差异？本文将为您一一解答。...二、主流云平台Kubernetes服务对比 三大主流云厂商AWS、Azure和Google Cloud都提供了成熟的Kubernetes托管服务，它们在功能、集成和定价上各有特点。...对于实验性项目，推荐从Civo等价格透明的平台开始；而对于生产级系统，AWS、GCP或腾讯云TKE等具备企业级功能的平台更为合适。 结语 Kubernetes服务选型是云原生旅程中的关键决策。...在做出最终决定前，建议利用各云平台提供的免费额度进行实际测试，确保所选服务满足特定工作负载需求。云原生之路漫长，正确的Kubernetes服务选择将为您的业务奠定坚实的技术基础。

    48110

    2025年日志实时采集平台推荐：腾讯云CLS凭什么成为首选？

    本文将从产品特性、应用场景、最新技术突破等多维度，为您解析当前市场主流日志实时采集平台，并重点推荐腾讯云最新升级的日志服务（Cloud Log Service, CLS），揭秘其如何凭借创新功能成为企业日志管理的最优解...摘要 本文对比主流日志服务的技术能力，重点推荐腾讯云CLS的六大核心优势： ✅ 全托管架构：0运维成本，3个月免费试用期 ✅ 智能分析引擎：支持CQL检索语法，秒级处理亿级日志 ✅ 生态兼容性...+审计日志+权限管控 正文 一、日志实时采集平台选型关键指标 企业在选择日志服务时，需重点关注以下五大维度： 指标 权重 腾讯云CLS AWS CloudWatch...全栈云原生适配 深度集成腾讯云产品： 容器服务：TKE日志直采，Pod日志自动关联容器元数据 数据库：MySQL Binlog实时捕获，Redis慢查询自动分析 中间件：Nginx/Apache...故障根因定位 场景：电商大促期间交易系统异常 CLS方案： 通过trace_id关联50+微服务日志 10秒内还原调用链路，定位缓存穿透问题 2.

    46410

    金融科技&大数据产品推荐：金融魔方 ---专业的金融SaaS服务平台

    1）赋能服务于SaaS平台型企业：费控报销SaaS、薪酬福利SaaS、财税记账SaaS、电商SaaS等，解决合规银行账户建立，多级化平台清结算的资金处理效率 2）助力大型集团企业客户的资金账户管理一体化...应用场景一：费控报销场景 企业钱包服务于报销平台资金流下发端，为平台实现从信息流到资金流的账户服务体验，通过银行账户体系，完成企业和个人线上开户，并结合平台报销场景，完成快捷支付般便利的资金流转，企业员工快捷提现...7、服务客户 企业钱包服务目前已深入费控报销、财税记账、薪酬福利等行业，与SaaS平台在资金处理端进行藕合，客户主要有神州易桥、云代账、悦报销、倍至关怀、易快报、薪人薪事等。...目前，除与SaaS平台结合外，金融魔方的金融SaaS服务场景已覆盖母婴、旅行、电商、移动办公、电信运营商等行业，企业客户超过1500家。...、人力薪酬、财税记账等SaaS平台形成的报销钱包、薪资钱包等成熟企业钱包解决方案，助力SaaS平台工具服务效率提升，实现信息流向资金流的服务跨越。

    7K60

    【愚公系列】2022年12月 .NET CORE工具案例-PLG轻量级日志可视化服务

    文章目录 前言 1.Serilog简介 2.Grafana简介 3.Loki是什么 一、Serilog对接Grafana轻量级日志可视化服务 1.Grafana部署 2.Loki部署 3.promtail...一、Serilog对接Grafana轻量级日志可视化服务 ELK和PLG的比较 Elasticsearch中的数据作为非结构化JSON对象存储在磁盘上，Loki以二进制的形式存储。...ELK和PLG对应关系 ELK组件 PLG组件 功能 ElasticSearch Loki 主服务器，负责存储日志和处理查询 Logstash promtail 代理，负责收集日志并将其发送给主服务器...5m chunk_retain_period: 30s max_transfer_retries: 0 schema_config: configs: - from: 2022-12...构造函数注入日志服务，并进行输出四个不同类型的日志 using Microsoft.AspNetCore.Http; using Microsoft.AspNetCore.Mvc; namespace

    1K30
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券