作者 | 刘燊 编者按：本文整理自 8 月 Apache Pulsar Meetup 上，刘燊题为《Apache Pulsar 在微信的大流量实时推荐场景实践》的分享。本文介绍了微信团队在大流量场景下将 Pulsar 部署在 K8s 上的实践与优化、非持久化 Topic 的应用、负载均衡与 Broker 缓存优化实践与 COS Offloader 开发与应用。 在通信社交领域，微信已经成为国内当之无愧的社交霸主。用户人数在 2018 年突破了 10 亿，截至 2021 年第三季度末，微信每月活动账户总数已
导语 本文整理自 8 月 Apache Pulsar Meetup 上，刘燊题为《Apache Pulsar 在微信的大流量实时推荐场景实践》的分享。本文介绍了微信团队在大流量场景下将 Pulsar 部署在 K8s 上的实践与优化、非持久化 Topic 的应用、负载均衡与 Broker 缓存优化实践与 COS Offloader 开发与应用。 作者简介 刘燊 腾讯微信高级研发工程师 Apache Pulsar Contributor 在通信社交领域，微信已经成为国内当之无愧的社交霸主。用户人数在 2018
即指用户访问网站时的所有访问、浏览、点击行为数据。比如点击了哪一个链接，在哪个网页停留时间最多，采用了哪个搜索项、总体浏览时间等。而所有这些信息都可被保存在网站日志中。通过分析这些数据，可以获知许多对网站运营至关重要的信息。采集的数据越全面，分析就能越精准。
随着国际火车票业务的高速发展，订单量快速增长，单数据库瓶颈层面的问题逐渐显露，常规的数据库优化已无法达到期望的效果。同时，原先的底层数据库设计，也存在一些历史遗留问题，比如存在部分无用字段、表通过自增主键关联和各个应用直连数据库等问题。
作为腾讯唯一的时序数据库，CTSDB 支撑了腾讯内部20多个核心业务（微信彩票、财付通、云监控、云数据库、云负载等）。
2015年6月30日，爱立信发布了最新版《移动市场报告》。报告显示：到2020年，先进的移动技术将无处不在；智能手机用户总数将达到61亿，较当今增长一倍以上；全球70%的人口将使用智能手机，移动宽带网
【新智元导读】中国山东大学陈宝权教授率领北京电影学院未来影像高精尖创新中心和山东大学研究团队，联合以色列、加拿大的研究人员，提出了一种新颖的 3D 物体形状重建法，将液体（水）作为获取物体形状的介质，巧妙地把 3D 形状获取转化为体积问题，类似用水对物体做 CT。新的方法比常用的激光扫描更先进，能够准确重建物体隐藏部分，应用范围广，性价比高。 说起 3D 物体形状重建，你可能首先想到了先进的激光扫描仪。但是，最近一项在 SIGGRAPH 2017 发表的研究却另辟蹊径，用水（而非光）这一介质来获取物体表面，
随着宽带互联网在中国的迅速发展，全国各大电信运营商的网络规模都在不断扩张，网络结构日渐复杂，网络业务日趋丰富，网络流量高速增长。电信运营商需要通过可靠、有效的网络业务流量监测系统对其网络以及网络所承载的各类业务进行及时、准确的流量和流向分析，进而挖掘网络资源潜力，控制网络互联成本，并为网络规划、优化调整和业务发展提供基础依据。
参考： https://www.kancloud.cn/java-jdxia/big-data/606445 https://www.cnblogs.com/rmxd/p/11455810.html
为什么页面显示都是自己所心水的东西？为什么现在的快递速度那么快？ 9小时的时间，今年双十一仅淘宝天猫的交易额就达到了1000亿。 作为买买买的主力军，先问大家一个问题：购物车里面的东西都清空了吗？是不是还在一边在内心哭着喊着要剁手，一边忍不住的动手一键下单购买呢？ 虽然双十一发福利的花样越来越多，令许多人恨不得不参加双十一，但是，很多人还是会时不时地打开淘宝、天猫等购物类APP逛一逛，看到中意的就直接加入购物车……按照淘宝双十一期间逐年提高的交易额来看，相信在接下来的日子里，国内外朋友都会被快递包裹所包围。
自建 Redis 系统是得物 DBA 团队自研高性能分布式 KV 缓存系统，目前管理的 ECS 内存总容量超过数十TB，数百多个 Redis 缓存集群实例，数万多个 Redis 数据节点，其中内存规格超过 1T 的大容量集群多个。
在软件开发领域，「异地多活」是分布式系统架构设计的一座高峰，很多人经常听过它，但很少人理解其中的原理。
在软件开发领域，异地多活是分布式系统架构设计的一座高峰，很多人经常听到过他，但很少人理解其中的原理;
我们可以称之为沉浸式或浸入式的媒体。作为一种体验，人们对这方面的需求，或者愿望可以追溯到很远。广义上来说，通过音视频的技术，产生身临其境的感觉，就叫做浸入式的媒体。比如电话使得打电话人可以跟一个远在天边的人好像当面一样的交谈；用电视看一部电影，虽然坐在家里，但是仿佛到了电影的现场，只不过这些场景浸入式的感觉不是特别强烈。
机器之心原创 作者：杜雪 2013 年，DeepMind 在 NIPS 大会上发表的一篇深度强化学习的文章，一举惊艳了学术界。2016 年 1 月，AlphaGo 在一场围棋大赛中击败李世乭吸引全世界的目光，其背后的强大武器正是深度强化学习技术。同年年底，2016NIPS 最佳论文奖也颁给了解决深度强化学习泛化能力较弱问题的论文。 随着深度学习的突破性进展，也促使强化学习的研究前景，重新获得了产业各界的关注。2016 年 8 月，在 ACM（国际计算机学会）会刊一篇名为《强化学习的复兴》的文章中提到，「D
本文由公众号“水滴与银弹”号主Kaito原创分享，原题“搞懂异地多活，看这篇就够了”，为使文章更好理解，有修订。
面试redis和DB数据一致性问题，也是经常被问到的，只要你建立写了redis,如果面试官想问一些场景问题，都会扯到数据一致性问题，今天我们就解读一下这个问题,按照以下思路解读
前言 作者在腾讯一直从事数据相关领域的系统运营和运营平台的建设工作。目前主要负责 TDW 的系统运营，TDW 是腾讯内部最大的离线处理平台，也是国内最大的 HADOOP 集群之一。 在运营这么大集群的时候，运营面临各种各样的难题，在解决这些难题的过程中，团队提炼出来的一个运营理念，用两句话去描述。 用建模的思路去解决运营的难题 运营的问题怎么解决？你必须用一些数据建模的办法，把这个难题解析清楚，然后我们再去考虑运营平台建设。 运营平台支撑模型运作 不是为了建设运营平台而建设，而是它必须有一定的运营理念。下文
linux都有相应开源工具实时采集网络连接、进程等信息其中网络连接一般包括最基本的五元组信息(源地址、目标地址、源端口、目标端口、协议号)再加上所属进程信息pid, exe, cmdline)等。其中这两项数据大多可直接读取linux /proc目录下的网络状态连接文件/proc/net/tcp、/proc/net/udp), 进程状态目录(/proc/pid/xx) 。
安全组是一种有状态的包过滤功能虚拟防火墙，用于设置单台或多台云服务器的网络访问控制，是腾讯云提供的重要的网络安全隔离手段。
Tech 导读 在企业的业务经营中，实时数据是营销、运维、决策的重要支撑，实时数据链路基本是所有大公司所拥有的，无论是否采用了中台模式，本文从如何建设实时数据双流、数据双流的建设标准，以及数据双流的压测备战三方面进行了详细的论述。
传统的IP网络无区别对待所有报文，网络设备处理报文采用的策略是先进先出FIFO，它依据报文到达时间的先后顺序分配转发所需要的资源。所有报文共享网络和设备的带宽等资源。
无线个性化推荐起步于2013年10月。现在往回看，当时的阿里很好地把握住了移动端快速发展的浪潮，以集团All-in无线的形式吹响了移动端战斗的号角。个性化推荐团队也是从All-in无线这一事件中孵化的。我们从零开始搭建了个性化推荐算法体系及个性化算法平台TPP。TPP这一个性化算法平台对个性化推荐团队的成长起到了至关重要的作用。基于TPP，个性化算法团队成员们验证算法的速度得到了极大的提高，优化算法的速度从而也得到了极大的提高。仅仅花了不到两个月的时间，个性化推荐的第一版算法就在“有好货” 中初露锋芒：结合基于主动学习的选品算法平台TSP，个性化推荐团队一举打造了“有好货”针对高端人群的优质导购体验。
10月20日，天猫双11预售，李佳琦、薇娅的直播成为一大焦点。来自红人点集的数据显示，10月20日李佳琦预售销售额为106亿元，薇娅为82亿元，排名第三的主播带货金额则只有9.3亿元，比李佳琦和薇娅差了一个数量级。当晚，李佳琦和薇娅直播间观看人次累积超过2亿，这些数据让人咂舌。
弹性是云原生、Serverless 的基础。AutoMQ 从软件设计之初即考虑将弹性作为产品的核心特质。对于 Apache Kafka 而言，由于其存储架构诞生于 IDC 时代，针对物理硬件设计，存储层强依赖本地存储，已不能很好地适应现在云的时代了。当然，这并不意味着我们要放弃 Kafka。Kafka 凭借极其优异的生态已经塑造了其在流处理领域不可撼动的地位，Kafka API 俨然已经成为流处理协议的事实标准。正是因为看到了这一点，AutoMQ 积极拥抱 Kafka 生态，在完全兼容其计算层的基础上，对底层存储做了云原生的改造，充分兑现云的规模化成本、技术红利。
携程AREX团队，机票质量工程组，主要负责开发自动化测试工具和技术，以提升质量和能效。
本文原题“阿里数据库十年变迁，那些你不知道的二三事”，来自阿里巴巴官方技术公号的分享。
在分布式系统建设的过程中，我们思考的重点不是避免故障，而是拥抱故障，通过构建高可用架构体系来获得优雅应对故障的能力。QQ音乐高可用架构体系包含三个子系统：架构、工具链和可观测性。
导语 | 故障是开发者高频关注的问题。在分布式系统建设的过程中，我们思考的重点不是避免故障，而是拥抱故障，通过构建高可用架构体系来获得优雅应对故障的能力。本文作者冯煦亮从架构、工具链、可观测三个维度，介绍了QQ音乐多年来积累的高可用架构实践。期望对你有帮助。 QQ音乐高可用架构体系全景 故障无处不在，而且无法避免。在分布式系统建设的过程中，我们思考的重点不是避免故障，而是拥抱故障，通过构建高可用架构体系来获得优雅应对故障的能力。QQ音乐高可用架构体系包含三个子系统：架构、工具链和可观测性。 架构：架构包
我很喜欢的一句话和大家分享一下：很多模式是不能直接复制的。当数量级直线上升的时候，其背后的难度是几何增长的。
本文主要总结当Kafka集群流量达到 万亿级记录/天或者十万亿级记录/天 甚至更高后，我们需要具备哪些能力才能保障集群高可用、高可靠、高性能、高吞吐、安全的运行。
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 总交易额达4982亿元。 订单创建峰值58.3万笔/秒。 这是今年阿里双11创下的新纪录。 对于背后支撑的淘系技术体系来说，也是新的技术峰值。 在应对并发流量和系统稳定性上，目前行业内就只剩下淘系自己和自己赛跑。 无需多少个突发头条，每年双11，就是新的大考。 而且也是一次技术围观盛宴：别人都在买买买，技术工程师们却总想看看淘系到底“底”在何处，是否会宕机。 然而，年复一年，一年纪录又更胜一年。 只是，这并不意味着挑战一成不变，淘宝变了，在你
作者 | 陈建波、全利民 本文整理自 vivo 互联网大数据工程师陈建波与全利民在 Apache Pulsar Meetup 上的演讲《Apache Pulsar 在 vivo 的探索与实践》，介绍 vivo 在集群管理与监控上应用 Pulsar 的实践。 vivo 移动互联网为全球 4 亿 + 智能手机用户提供互联网产品与服务。其中，vivo 分布式消息中间件团队主要为 vivo 所有内外销实时计算业务提供高吞吐、低延时的数据接入、消息队列等服务，覆盖应用商店、短视频、广告等业务。业务集群已达每天十
众所周知，现在移动端流量占比是越来越重，尤其是app抢占了大量的移动端入口流量，而搜索引擎中移动端的流量也不容忽视，前面本渣渣有分享过百度搜索下拉词的挖掘采集工具及源码，今天就为大家分享Python百度移动端搜索下拉词采集工具及源码。
作者：仁基，元涵，仁重 本文选自：《尽在双11：阿里巴巴技术演进与超越》 近十年，人工智能在越来越多的领域走进和改变着我们的生活，而在互联网领域，人工智能则得到了更普遍和广泛的应用。作为淘宝平台的基石，搜索也一直在打造适合电商平台的人工智能体系，而每年双11大促都是验证智能化进程的试金石。伴随着一年又一年双11的考验，搜索智能化体系逐渐打造成型，已经成为平台稳定健康发展的核动力。 演进概述 阿里搜索技术体系目前基本形成了offline、nearline、online三层体系，分工协作，保证电商平台
雷刚 发自 凹非寺 量子位 报道 | 公众号 QbitAI 2020年11月11日晚，又一年天猫双11狂欢接近尾声。 新交易纪录、新流量峰值，一切都是十全十美的样子。 此时，阿里巴巴CTO程立（鲁肃）才将一段实录视频公之于众—— 11月5日凌晨，阿里技术上下完成双11大考期间最后一次全链路压测后休息和交接间隙……服务器连续遭遇了两次攻击。 第一次，凌晨两点左右，监控大屏显示四个地区数据中心数值迅速下跌，技术保障团队启动紧急响应处理，确定遭遇了断网攻击。 紧接着第二次，2:10，更凶猛直接的攻击来了。华
在人工智能的盛宴上，大模型如同占据主宴的巨人，其庞大的身躯在技术世界里引发地震。然而，在这场光鲜亮丽的变革背后，一个亟需探讨的议题正悄然升起：大模型真的需要深入到每一个技术领域和业务逻辑中，成为“浸入式”的存在吗？或者，更深层地问，我们是否准备好让它们这样做？
一年一度的双十一又快到了，自从淘宝在2009年首次举办双十一促销活动，已经过去十余年，但活动热度却丝毫未减，每年销售额屡创新高。发展至今双十一已经成为全电商行业的盛会，也是大众参与热情极高的剁手盛会，甚至已经成为中产阶级购物文化的一部分。
这是作者新开的一个专栏，主要是回答读者在AI安全的学习、工作、编程和实践中的问题，并形成总结帮助更多初学者，希望对您也有所帮助！由于作者能力有限，属于班门弄斧，但其宗旨是希望对初学者有帮助，说得不好的地方还请各位老师和大佬海涵，欢迎大家多多补充和交流。
随着物联网的普及和工业技术的不断发展，高效管理海量时间序列的需求越来越广泛，数据量越来越庞大。时间序列主要分为两种，即单元时间序列和多元时间序列。单元时间序列是指一个具有单个时间相关变量的序列，单元时间序列只包含一列时间戳和一列值。多元时间序列是指一个具有多个时间相关变量的序列，多元时间序列包含多个一元时间序列作为分量，各个一元时间序列的采样时间点相同，所以数据可以用矩阵形式表示，每行为一个时间点，每列为一个一元时间序列。
这本书是公司一位负责数据库的同事推荐的，正好数据中心也在重构和优化，以应对更加海量的数据，所以便花了点时间读完了这本书。全书分了三个篇章：全局概览，从比较高的高度概述了大数据的概念及相关技术；离线数据开发，主要讲解了Hadoop和Hive以及相关的数据建模；实时数据开发，按照各个技术出现的时间先后，依次讲解了Storm、Spark、Flink和Beam。
在之前的文章中，通过用采集到的公开数据对竞争对手投放sem广告方法和行业竞争态势做了分析，得到了如下结论：
Alibaba作为一家拥有多业务的互联网公司，进行用户数据的大数据分析，已成为推动数据化运营的必然选择。大数据分析，第一步必然是取得需要的数据，今天我们来看看淘宝的用户行为数据采集的细节。任何一个小话题，细看都大有文章。
实时报表分析是近年来很多公司采用的报表统计方案之一，其中最主要的应用就是实时大屏展示。利用流式计算实时得出结果直接被推送到前端应用，实时显示出重要指标的变换情况。最典型的案例便是淘宝双十一活动，每年双十一购物节，除疯狂购物外，最引人注目的就是双十一大屏不停跳跃的成交总额。在整个计算链路中包括从天猫交易下单购买到数据采集，数据计算，数据校验，最终落到双十一大屏上展示的全链路时间压缩在5秒以内，顶峰计算性能高达数三十万笔订单/秒，通过多条链路流计算备份确保万无一失。
yuhuliu，腾讯研发工程师，关注存储、大数据、云原生领域。 摘要 医疗资讯业务在高速发展过程中，形成了覆盖不同场景、不同用户、不同渠道的几十个业务，以及上千个服务。为了高效满足用户多样化的需求，腾讯医疗技术团队通过 TKE 上云，使用 Coding DevOps 平台，以及云上可观测技术，来提升研发效率、降低运营运维成本。本文介绍我们在上云过程中一些实践和经验，以及一些思考和选择。 业务背景 stage1: 腾讯医疗资讯平台主要包括了医典、医生、医药等核心业务，其中医典主要提供医疗相关内容获取、医疗知
腾讯云新版本监控（5秒粒度）已经灰度3个多月了，原有的分钟级粒度的监控版本仍然会继续保留一段时间，有条件的企业和开发者推荐升级至5秒监控，后续官方应该会提供合适的升级方案。
10月动态 云原生网关 【新功能】Kong 网关支持弹性伸缩：Kong上线根据 系统指标（CPU利用率）自动扩缩容能力，您可以配置弹性伸缩策略，Kong 将自动对节点进行弹性伸缩。 【新功能】Kong 网关支持使用 Kong Ingress Controller：Kong上线使用 Kong Ingress Controller 能力，方便对接您的腾讯云容器集群。 【新功能】Kong 网关支持高级限流：Kong 上线高级限流插件，支持多时间维度、资源维度的分布式限流和请求排队等能力。 【新功能】Nginx I
压测是目前科技企业及传统企业进行系统容量评估、容量规划的最佳实践方式，本文将基于京东ForceBot平台在大促(京东618、京东双11)备战中的实践历程，给大家分享平台在压测方面的技术变革。ForceBot平台是一款分布式性能测试平台，能够为全链路压测构造千万量级的压测流量，并结合全域流量录制回放、瞬时发压、智能寻点等能力，为整站容量评估与规划提供一站式的解决方案。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
