首页
学习
活动
专区
圈层
工具
发布

首次揭秘双11双12背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...在双 11 双 12,这种方式的弊端会被进一步放大。数据显示,在双 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...“那这背后对于一个新的数据库产品类型的要求,实际上整个业界大家都是在探索阶段。” 写在最后 双 11 双 12 背后的数据库技术支持远不止于此。

52.6K50

基于大数据框架的协同过滤算法餐饮推荐系统【Update2023-11-05】

具体使用三台CentOS虚拟机,砍掉了实时处理组件,使用数据仓库(Data Warehouse)的设计理念,加入了基于用户、物品和ALS评分的协同过滤推荐算法,解决冷启动问题。...具体来说,在数据采集阶段,使用Python爬虫获取公开数据;预处理阶段,通过MapReduce进行数据清洗,HDFS负责存储ods层;核心推荐功能采用Spark框架实现协同过滤算法。...一、数据采集清洗 该阶段需要完成的工作是: 1.构建完整的符合协同过滤推荐算法需求的餐饮数据集,其中包含餐饮数据以及用户历史行为数据; 2.完成采集数据的清洗工作,构建ODS层上传至HDFS中;...所以我遵循的原则是一切从简,尽量用最少的数据完成协同过滤算法的流程,并且做好网页的可视化。 我为什么没有用户的历史行为数据?...因为我不需要抓取,我只需要模拟出少部分的用户评分数据即可完成基于用户历史行为的协同过滤推荐。

1.2K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据可视化好书推荐

    越来越多行业和职业都在使用数据、绘制数据图表,但大家在工作中是否遇到这样的问题:精心绘制的图表不能吸引读者的关注、不能让读者对核心观点有明确的解读。这些,都是因为我们还不清楚如何正确的用数据讲故事。...在《用数据讲故事》这本书中,作者总结了一套将数据合理可视化并讲故事的体系方法,本文小编的将结合自己的学习应用,为大家介绍书中核心内容。 1 你认为以下哪张图表更好?...下面我们就结合《用数据讲故事》这本书介绍的体系方法,逐步介绍下图表优化的过程。...3、更改坐标轴及数据标记点样式。 4、修改数据标签颜色及数据展示格式,去除引导线。...3 写在后面 作为一个数据分析人员,如何将自己通过分析数据得到的结论更好的呈现、更好的应用于实际业务,是一个值得在整个职业生涯中都不断去研究的课题。

    1.1K30

    大数据揭秘“双11”成长史

    11月11日,本来也就是文艺单身狗们发点牢骚,抒抒情的日子,可如今却变成了电商最惨烈的战场,这场起源于2009年的“品牌商的5折活动”,现如今已经成了一个“疯狂吸金”的强大商标,这一部双11的成长史,每一年都给我们一组新的惊人数字...,博古才能通今,通观这些历年的双十一大数据,看看我们除了总结过去之外,还能不能预测一下未来。...2013年,双11“光棍节”支付宝交易额达350.19亿元。2014年达到571.12亿元。 ?...淘宝和天猫各自销售额 年份 淘宝(亿元) 天猫(亿元) 2011 18.4 33.6 2012 59 132 2013 未公布 未公布 2014 未公布 未公布 2009年到2011年这三年基本是阿里双11...小结: 以上就是历年双11的一些大数据,这些数据其实不仅仅是阿里的一个成长,也代表着其他一些变化,比如说:天猫的销售额占总体销售额越来越高,移动端收入占比越来越高,单店销售收入冠军从生活服饰类变成了手机

    8.7K10

    云开发cloudbase“双11”感恩特惠​震撼来袭!

    [a8fa856cac99103cc922eb84abf17e13.png] 即日起至11月30日,云开发 CloudBase “双 11”感恩特惠震撼来袭!...11月30日前均可购买: [2ed00e76d6ddd21ed10f785497af9a6d.png] [528d45675ef1e0ac734923587c510527.png] 除了以上惊喜折扣,还能到抽奖专区参与抽奖...【产品介绍】云开发(Tencent CloudBase,TCB)是腾讯云提供的云原生一体化开发环境和工具平台,为开发者提供高可用、自动弹性扩缩的后端云服务,包含计算、存储、托管等serverless化能力...,可用于云端一体化开发多种端应用(小程序,公众号,Web 应用,Flutter 客户端等),帮助开发者统一构建和管理后端服务和云资源,避免了应用开发过程中繁琐的服务器搭建及运维,开发者可以专注于业务逻辑的实现...,开发门槛更低,效率更高。

    24.7K20

    工具推荐 | 串口数据可视化

    推荐语 数据可视化一词缘于Python的流行,在Python中有诸如pyecharts,matplotlib等工具库可以调用,将一堆数据绘制成形象的图表,比如条形图,饼图等等,可以一眼就看出数据的变化趋势...在嵌入式开发过程中,也有大量的传感器数据需要分析,这些数据在调试过程中都是由串口发送到串口助手查看,可是,面对串口助手里一行行的数据,真的可以分析出问题吗?...串口发送的数据都是以时间点为单位的,即每个时间点发送一个数据,这样的数据,如何做到可视化?显然,波形显示是最好的方式!...本文中推荐的工具是作者一直使用的,由 VCAN 我行科技开发的一款多功能串口助手,这里只介绍其中的虚拟示波器功能用法及使用案例,该工具获取方式见文末。 虚拟示波器功能界面如下: ?...以上就是我使用该工具的一个典型案例,在嵌入式开发中还有很多的地方可以使用该工具可以帮助我们诊断一些细节问题: 在电赛中使用FDC2214测电容值时; 在项目中测量MQ-2气体传感器数据时,使用该工具可针对性的设计算法

    2.8K30

    2018天猫双11各项数据发布

    数据:双11当天,小米新零售全渠道支付金额创下52.51亿元新纪录。   双11已有10年时间,每年的冠军商家是谁?主力消费者、惊喜品类和创新业务是……?看下图~点击看大图 ?...张勇分享双11体会:顺着马老师昨天在视频里表达的,作为双11十年的经历者,我也想对大家表达一声感谢。...张勇:对双11来讲,它是最好的社会化大分工、大合作的协同,过去的24小时我们做到了,给所有的客户创造了惊喜,数字仅仅是结果,我们更在乎过程,给所有客户创造的新的体验。...张勇:今天的双11,不仅是消费力量的体现,也是大的商业力量的体现。通过大数据,云计算平台,赋能商家,这也是我们“让天下没有难做的生意”愿景。 张勇:双11期间,国际品牌成交量超40%。...蚂蚁金服“双11”期间数据:生物技术让数亿人的支付时长缩短至1秒,今年双11生物支付占比达到60.3%。

    4.1K10

    数据告诉你:面对双11,线下商机何在

    芝麻科技授权转载 微信:Smart_Business 每年的双11都呈愈演愈烈之势,今年双11,天猫成交额更是达到了前所未有的912亿。 线上的购物狂欢对实体商业究竟有什么影响?...实体商业在双11的大背景下,还有没有可以挖掘的商机? 双11为实体商业带来了大量的销售机会。...研究数据涉及北京、武汉、深圳重点商圈的男装、女装、化妆品店在“双11”前一个周末(11月7日、11月8日)的客流及客群画像与“双11”前三周的对比。由芝麻科技的客流分析系统有数提供研究所需数据。...热力图直观呈现了品牌受众在双11前周末的分布情况,如果品牌能够充分利用客群的聚集效应,可以高效地将人气转化为销量。...双11不是实体商业的黑色周,相反,无论是客流数据,还是客群画像,都证明了旺盛的购物意愿会为实体商业带来大量销售机会。

    9K60

    推荐 | 颜值与功能双在线的 Zookeeper 可视化工具:PrettyZoo

    大佬说的是啊,如果有好用的可视化工具,我肯定用。 这不,经过调研,就有了这篇文章,颜值与功能双在线的 Zookeeper 可视化工具:PrettyZoo !...在网上也找了几款 zookeeper 的可视化工具,就属 PrettyZoo 长得好看,并且支持数据可视化,而且也可以在工具里面使用 zk 命令进行交互,可以说是非常方便了,所以特地写篇文章推荐一波。...prettyZoo 它拥有众多个性化的功能,比如: 支持 Mac / WIndows / Linux 多平台 支持 SSH-Tunnel 连接 节点 CRUD (增删改查) 节点数据...更多介绍可以参考官网: https://github.com/vran-dev/PrettyZoo/blob/master/README_CN.md 真的是颜值超高且功能也比较丰富的 zk 可视化工具了

    4.9K40

    数据可视化超级工具推荐,轻松解决数据可视化烦恼!

    据可视化是将数据以图形化、可视化的方式呈现,让数据更加直观、易于理解。目前市场上有许多数据可视化工具,本篇文章将为大家推荐30个数据可视化超级工具,并对每个工具的特点进行介绍。...一、通用数据可视化工具:Datainside:Datainside是一款功能强大的数据可视化和商业智能工具,支持多种数据源,具有灵活性和易用性。...二、统计数据可视化工具:R:R 是一个免费的统计软件,具有丰富的数据可视化和统计分析功能。...Tableau 地图:Tableau 提供了多种地图可视化功能,可以制作各种定制化的地图和空间分析。Mapbox:Mapbox 是一个地图 API 平台和开发工具,可以创建各种交互式地图和应用程序。...Many Eyes:Many Eyes 是 IBM 开发的一款在线文本可视化工具,可以使用多种可视化方法来呈现数据。以上是我为大家推荐的30个数据可视化超级工具。

    1.8K30

    好用的数据可视化工具推荐

    市面上数据可视化工具或产品很多,到底那个工具或者产品是比较好的呢?...01.数据可视化库类 Echarts 一个纯javascript的数据可视化库,百度的产品,常应用于软件产品开发或者 系统的图表模块,图表种类多,动态可视化效果,开源免费。...HighCharts 与echarts相似,同样是可视化库,国外的产品,商用需要付费,文档详尽。 AntV 蚂蚁金服出品的一套数据可视化语法,在提供可视化库同时也提供简单的数据归类分析能力。...FineReport 一款纯Java编写的、集数据展示(报表)和数据录入(表单)功能于一身的企业级web报表工具。...可连接数百个数据源、简化数据准备并提供即席分析。 03.可视化大屏类 阿里DataV 提供丰富的模板与图形,支持多数据源,拖拉式布局,支持服务化服务方式和本地部署。

    1.8K20

    Django开发之简书推荐作者可视化

    项目概述 本项目结合数据的采集、预处理、存储、使用等技术,利用Python语言实现功能,展示了简书推荐作者相应的统计信息,本人的信息以及推荐作者的查询功能。...项目知识点 scrapy 利用scrapy框架进行数据的爬虫及预处理,由于侧重点是web开发,这里只是爬取了用户的个人信息,文章等信息没有做爬取。...echarts3 数据的可视化使用echarts3,百度良心之作~ Semantic UI 对于css完全小白的我来说,当然要使用框架啦,semantic里面的容器炒鸡好用,不要担心布局难看啦...Django web开发当然是使用python的Django框架啦。 统计 该web项目总共设计3个界面,由于界面的上下结构一样,这就要使用模板的继承。...首先可视化了用户的类型和性别分布 地区分布 ? 这里简书没有用户的地址信息,但有些用户挂了微博,我通过进入微博爬取的数据。这里微博的数据要使用正则,然后加请求头。

    1.4K80

    Django开发之简书推荐作者可视化

    折腾了几天,终于完成了第一个web开发项目,其中乐趣多多,坑也是巨多,听我娓娓道来之前,按例给大家上网站链接: 简书推荐作者可视化 由于本人使用的腾讯学生机(小霸王),请稍作等待,不想等待的小伙伴们...搜索 项目概述 本项目结合数据的采集、预处理、存储、使用等技术,利用Python语言实现功能,展示了简书推荐作者相应的统计信息,本人的信息以及推荐作者的查询功能。...项目知识点 scrapy 利用scrapy框架进行数据的爬虫及预处理,由于侧重点是web开发,这里只是爬取了用户的个人信息,文章等信息没有做爬取。...echarts3 数据的可视化使用echarts3,百度良心之作~ Semantic UI 对于css完全小白的我来说,当然要使用框架啦,semantic里面的容器炒鸡好用,不要担心布局难看啦。...首先可视化了用户的类型和性别分布 地区分布 ? 这里简书没有用户的地址信息,但有些用户挂了微博,我通过进入微博爬取的数据。这里微博的数据要使用正则,然后加请求头。

    80520

    达观数据推荐算法实现:协同过滤之item embedding

    达观数据相关推荐是达观推荐系统中的重要组成部分,其价值在于,在没有用户画像信息的情况下,也能给用户以好的推荐体验,比如资讯类,通过达观相关推荐算法找到item相关的其他item,可以提供对某一类或者针对某一事件多角度多侧面的深度阅读...本文主要先简单介绍相关推荐的一些常用算法,然后介绍一下基于item embedding的协同过滤。...(范雄雄达观数据) 达观相关推荐的常用算法 1 Content-based相关推荐 基于内容的推荐一般依赖于一套好的标签系统,通过计算item之间tag集合的相似性来衡量item之间的相似性,一套好的标签系统需要各方面的打磨...2 基于协同过滤的相关推荐‍ 协同过滤主要分为基于领域以及基于隐语义模型。...(范雄雄 达观数据)

    1.9K60

    11个有趣的【数据可视化】案例

    image.png 数据可视化专家每天都在数据设计的世界里创造惊人的东西,数据可视化是在许多不同领域的重要工具。...为了纪念所有艺术家和设计师在世界各地进行惊人的数据可视化,这里收集了2018年最有趣的数据可视化案例。...2018年最佳数据可视化案例 1.History of Bruce Springsteen image.png By Adam McCann 亚当·麦肯(AdamMcCann)的数据可视化显示了布鲁斯...他利用收集到的每一次阿波罗任务的数据,创建了这个数据可视化。他把它作为一种艺术印刷品出售,而且相当成功。...11.Crazy Rich Asians image.png Crazy Rich Asians “南华早报”(SouthChinaMorning Post)制作了一系列有关亚洲国家与世界其他国家实际贫富差距的图表和交互式可视化数据

    7.2K00

    腾讯云数据库双11优惠体验与评测

    引言每年的双11购物节,除了电商平台的促销活动外,各大云服务商也纷纷推出了各种优惠活动。作为国内领先的云服务提供商,腾讯云在双11期间推出了多项数据库服务的优惠活动。...二、双11优惠活动概述2.1 优惠内容在双11期间,腾讯云数据库推出了多项优惠活动,包括:折扣优惠:部分数据库产品提供高达50%的折扣。...2.2 活动时间双11优惠活动通常从11月1日开始,持续到11月11日。用户可以在此期间购买数据库服务,享受优惠。...六、总结与建议6.1 总结通过对腾讯云数据库双11优惠活动的体验与评测,我们可以得出以下结论:腾讯云数据库在双11期间提供了丰富的优惠活动,吸引了大量用户。...A1: 腾讯云数据库的双11优惠活动通常从11月1日开始,持续到11月11日。Q2: 如何使用代金券?A2: 在购买数据库服务时,系统会自动计算可用的代金券,用户只需选择代金券并确认支付即可。

    18K10

    多Agent协同重构保险数据管理流程,用数准确率与开发质量双提升

    传统数据中台过度依赖人工与冗长流程,50%以上的数据质量问题在开发过程中产生(来源:腾讯云内部评估)。流程链路长、执行成本高,对企业组织执行力提出严峻挑战。...部署多智能体协同治理架构 腾讯云提出“智能数据湖”方案,通过数据分析Agent与数据工程Agent双轨协同,将传统人工流程转变为“人在环”的智能交互。...开发质量改进:通过AI介入开发全生命周期,提供SQL纠错、注释、智能知识库检索及数据分类分级能力,减少人工错误,提升数据规范执行力度。...多模态数据统一管理:引入统一元数据服务(TC-Catalog),支持非结构化数据(文本、图片、视频、向量)的协同访问与权限控制,打破数据孤岛。...腾讯云方案的技术领先性与行业认可 腾讯云Data+AI方案依托内部多年大数据与AI实践,提供一站式智能数据湖平台,整合多模态数据存储、统一元数据目录、高性能计算引擎及安全管控体系。

    33610

    【课程推荐】数据可视化神器-tableau入门

    数据可视化——Tableau Tableau Desktop 是基于斯坦福大学突破性技术的软件应用程序。...它帮助您生动地分析实际存在的任何结构化数据,以在几分钟内生成美观的图表、坐标图、仪表盘与报告。...利用 Tableau 简便的拖放式界面,您可以自定义视图、布局、形状、颜色等等,帮助您展现自己的数据视角。...课程目录 第1课:tableau简介 第2课:tableau操作入门 第3课:数据源的连接和处理 第4课:字段管理 第5课:工作表处理 第6课:格式的设置 第7课:图表制作-条形图、树形图、饼图 第8课...:图表制作-柱形图、趋势图 第9课:图表制作-气泡图和散点图 第10课:图表制作-直方图和标靶图 第11课:数据分析-排序筛选组集 第12课:数据分析-趋势预测与函数 第13课:数据地图 第14课:仪表盘

    1.8K30

    优秀开源推荐 | 数据可视化利器psyplot

    主要目的是要有一个框架,能够快速、吸引人、灵活、易于应用、易于重现,尤其是能够以交互的方式可视化您的数据。...在数据可视化的时候,人们总是要选择。 要么用直观的图形用户界面(GUI)(如panoply)来创建绘图,但自定义选项较少,且难以编写脚本。...因此,我开发了这个模块化的框架,它可以通过简短而全面的命令有效地创建和定制图,可以通过GUI访问(见子项目),在这里你总是有一个全面的API来访问你的数据。...不一定是最快的交互式可视化软件,但肯定是开发时间最快的软件,因为它在命令行上对用户非常友好。...我们可以实现大量新的可视化和数据分析技术,你也可以实现自己的技术。 它们会在GUI中自动实现。

    1.6K20
    领券