作者:仁基,元涵,仁重 本文选自:《尽在双11:阿里巴巴技术演进与超越》 近十年,人工智能在越来越多的领域走进和改变着我们的生活,而在互联网领域,人工智能则得到了更普遍和广泛的应用。作为淘宝平台的基石,搜索也一直在打造适合电商平台的人工智能体系,而每年双11大促都是验证智能化进程的试金石。伴随着一年又一年双11的考验,搜索智能化体系逐渐打造成型,已经成为平台稳定健康发展的核动力。 演进概述 阿里搜索技术体系目前基本形成了offline、nearline、online三层体系,分工协作,保证电商平台
背景 美团点评作为全球最大的生活服务平台,承接超过千万的POI,服务于数量庞大的活跃用户。在海量数据的前提下,定位运营业务、准确找到需要数据的位置,并快速提供正确、一致、易读的数据就变得异常困难,这些困难主要体现在以下方面: 取数门槛高,找不到切合的数据,口径复杂不易计算,对运营人员有一定的技能要求,人力成本增大; 数据处理非常耗时,缺少底层离线数仓模型建设和预计算支撑,Ad-hoc平台查询缓慢; 数据不一致,不同渠道口径不一致,缺少对杂乱指标的统一管理; 数据反馈形式不友好,缺少数据可视化的形式,无法呈现
本来打算在安装好的 Flink 集群上直接修改的,这样我增加个配置,这篇文章就完成了,考虑到大家可能对 Flink 不太了解,也不一定有兴趣从 0 开始装个 Linux 环境,所以我索性就从0开始配置一整套的环境。
1981年,一群年轻人用红油漆把这12个字刷在三合板上,立在了刚刚成立不久的深圳特区蛇口工业园。
作者 | 郑思宇 “Flink 已经成为全球范围内实时流计算的事实标准。”用这句话来描绘 Flink 在当前大数据技术领域的地位并不为过。 虽然大数据领域的技术和潮流方向在不断发生改变,但是 Flink 一直处于核心驱动的位置。从流式计算引擎的兴起,到流批一体在企业内部的落地,再到为实现端到端全链路的实时化分析能力而走向舞台中央的流式数仓,Flink 均在其中扮演着重要的角色。 以上每个过程的推进和实现都并不容易,Flink 到底是如何做到的?其背后的推动力是什么?凭什么受到全球企业和开发者的青睐?带着这
对于技术人来说,最可怕的事在于:当技术每天都在更新,自己却没有学习的机会,于是轻易被抛弃……
流图计算,一个基础软件领域攻坚难度极高的分支。行业首个工业级流式图计算引擎 TuGraph-Analytics,与目前世界范围内有记录的、最快的图数据库开源项目 TuGraph DB 来自于一家中国企业,这不仅仅解决了国产基础软件领域的一大难题,健全了开源生态,更重要的是向全球展示了中国的开源力量。
机器之心原创 作者:杜雪 2013 年,DeepMind 在 NIPS 大会上发表的一篇深度强化学习的文章,一举惊艳了学术界。2016 年 1 月,AlphaGo 在一场围棋大赛中击败李世乭吸引全世界的目光,其背后的强大武器正是深度强化学习技术。同年年底,2016NIPS 最佳论文奖也颁给了解决深度强化学习泛化能力较弱问题的论文。 随着深度学习的突破性进展,也促使强化学习的研究前景,重新获得了产业各界的关注。2016 年 8 月,在 ACM(国际计算机学会)会刊一篇名为《强化学习的复兴》的文章中提到,「D
提起大数据处理引擎,很多人会想到Hadoop或Spark,而在2019年,如果你身处大数据行业却没听说过Flink,那你很可能OUT了!Flink是大数据界冉冉升起的新星,是继Hadoop和Spark之后的新一代大数据处理引擎。2019年初,阿里巴巴以1.033亿美元的价格收购了总部位于德国柏林的初创公司Data Artisans,Data Artisans的核心产品是正是Flink。
阿里妹导读:今年的双11,实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录,数据体量也达到了惊人的每秒7TB,基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角,并在稳定性、性能和效率方面都经受住了严苛的生产考验。本文深度解析“流批一体”在阿里核心数据场景首次落地的实践经验,回顾“流批一体”大数据处理技术的发展历程。
https://mp.weixin.qq.com/s/xy6RdpAQfuC-bLrOy4_5Bw
场景一:狂欢的大伙 抢奖品、抢大降价促销、各种买买买,可是... 总有不少网友感觉离奖品太遥远、离打折促销很遥远,有种还没开始就结束的滋味,那到底谁是真正的双11“杀手”呢? PS:今年的双11还有一
随着商城业务渠道不断扩展,促销玩法不断增多,原商城v2.0架构已经无法满足不断增加的活动玩法,需要进行促销系统的独立建设,与商城解耦,提供纯粹的商城营销活动玩法支撑能力。
Tech 导读 星链是京东科技消金基础研发部研发的一款研发效能提升的工具平台,面向后端服务研发需求,尤其是集成性、场景化、定制化等难度不太高、但比较繁琐的需求,如服务前端的后端(BFF)、服务流程编排、异步消息处理、定时任务、运营后台、工作流程自动化、临时性需求等,以低代码方式开发微服务,以声明式进行Serverless部署,使研发人员聚焦业务逻辑而非各类细节,大幅提升研发效能、降本增效。 01 星链是什么 在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juin
随着智慧零售之风愈演愈烈,传统商家纷纷向线上转型升级。快消品作为营销活动最为关注的市场,俨然成为了这场战役的先行军。扫码领红包、集卡送好礼、分享得立减金...花样百出的营销活动背后,黑产分子早已伺机出动,沉浸在各大品牌的羊毛雨中乐此不疲。今天,腾讯防水墙就用一个小小的瓶盖码,带大家揭开这庞大黑产的冰山一角。 1 瓶盖码引领新趋势 千万奖励惹人追逐 还记得当年被“再来一瓶”点亮的高光时刻么?那感觉,我就是人群中最耀眼的一颗星。 但对于商家来说,由于兑换周期长、物流成本高且真假难辨,这类活动的效果往往不尽如人
Tech 导读 在企业的业务经营中,实时数据是营销、运维、决策的重要支撑,实时数据链路基本是所有大公司所拥有的,无论是否采用了中台模式,本文从如何建设实时数据双流、数据双流的建设标准,以及数据双流的压测备战三方面进行了详细的论述。
GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHub👉https://github.com/TuGraph-family/tugraph-analytics
天猫双11今年交易额落在了1207亿,增速32%,而去年和前年的增长率分别为60%和58%。已进入第八年的双11,看上去有些增长乏力,然而更可能的原因或许在于,今天的双11已经不再是8年前的那个促销活动了,以促销为目的的交易额已不再是它的核心追求,重塑中国人消费观才是其核心要义。 电商平台不再将双11当促销节 天猫双11最初的玩法是“五折”促销,通过大力度优惠来促进消费者剁手,说到双11我们就会想到便宜、低价、划算。然而,优质商品真能做到五折是违背商业规律的,所以过去双11商家为了配合规则,要么调整价格虚
最近我在学习流式计算引擎Flink,正在阅读Flink的官方文档、一些技术博客以及《Streaming Processing with Apache Flink》这本书,并试图将一些知识整理下来,形成一个系列。
作者:fisherman,时任推荐部门推荐系统负责人,负责推荐部门的架构设计及相关研发工作。Davidxiaozhi,时任推荐部门推荐系统架构师,负责推荐系统的架构设计和系统升级。 来自:《决战618:探秘京东技术取胜之道》 零,题记 在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年,当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样,部落与部落之前没有任何工程、算法的交集
Tech 导读 本文面向受众可以是运营,可以是产品,也可以是研发、测试人员,希望通过如下思路(知历史->清家底->明目标->定战略->做战术->促成长)帮助大家了解电商大促系统的高可用保障,减少那些高深莫测的黑话和高大尚的论调,而希望以体系化的知识让读者有所得。
在业务的早期时代,也许使用硬编码或者逻辑判断就可以满足要求。但随着业务的发展,越来越多的问题会暴露出来:
6月11日,2023开放原子全球开源峰会在北京开幕。本次峰会以“开源赋能,普惠未来”为主题。在高峰论坛上,蚂蚁技术研究院院长、图计算负责人陈文光宣布开源 TuGraph 图计算平台核心成员——工业级流式图计算引擎 TuGraph Analytics。
在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。
当下,已有多家电商平台开启“双十一”预售。10月25日天猫发布数据称,10月24日晚天猫“双十一”开启预售一小时内,3000多个品牌预估成交额比去年同期翻倍增长。
作者|陈翔、王东松 在金融场景中,伴随着业务的扩展,应用系统也相应地增加更多的场景,这些新场景对消息系统提出更多样的需求,导致原有架构面临一系列挑战。在尝试使用 Apache Pulsar 后,平安证券决定在生产环境中进行实践。本文介绍了平安证券选择 Apache Pulsar 的原因,使用 Apache Pulsar 的场景,Apache Pulsar 实践应用中遇到的问题,以及使用 Apache Pulsar 的未来规划。 1 背景介绍 传统金融公司或券商一般会使用统一接入服务或组件来处理对外业务。
在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年,当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样,部落与部落之前没有任何工程、算法的交集。2013年,国内大数据时代到来,一方面如果做的事情与大数据不沾边,都显得自己水平不够,另外一方面京东业务在这一年开始飞速发展,所以传统的方式已经跟不上业务的发展了,为此推荐团队专门设计了新的推荐系统。 随着业务的快速发展以及移动互联网的
由于用户进来后先要登录并且绑定账号,实际压力先到Passport部分,在这个过程中最开始单机TPS只能到500,经过N轮优化后基本能达到5400 TPS,下面主要是阐述这个优化过程
“双11”进入到第十三个年头,几乎所有的电商平台都在进行备战,可除了李佳琦和薇娅制造的恐怖销售额,并没有留下太多的新鲜感。
GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHub👉 https://github.com/TuGraph-family/tugraph-analytics
【编者按】11月21日,为期三天的SDCC2015中国软件开发者大会成功闭幕,主办方总计邀请了95余位演讲嘉宾,为参会者奉献了10个主题演讲,9大技术专场论坛(80余场技术演讲),另外还有5场特色活动。另外,据官方统计参会人数高达1067名(不含工作人员)。其中21日的算法专场,现场听讲人数一度爆满,而没有机会亲临现场的童鞋们,我们特邀请了业内专家、与会者分享他们的听课感受及他们眼中的算法专场。以下是来自畅捷通公共服务部总监张俊林的参加算法专场的听课札记,以飨读者。 以下为张俊林的听课札记: 2015年11
利是又称利事,即红包,是中国文化传统的一种社交行为。现在,新年开工第一天,很多中国公司也形成了派开工利是的风俗,比如马化腾携高管亲自给员工发红包已成为腾讯的传统,今年元宵节李彦宏也系上了围裙,在公司饭堂给百度员工乘起了汤圆…… 企业主如此重视开工日,不难理解:不只是可以起到激励士气的目的,更重要的是要自上而下地传达出一种新年新气象的氛围。 今年钉钉也抓住了开工日,从元宵节后的第一个工作日开始,一直到本月底期间,举办“酷公司开工季——20万元开工特权”系列开工利是活动,面向钉钉500万家中小企业客户中已获得钉
TuGraph Analytics(内部项目名 GeaFlow)是蚂蚁集团开源的分布式实时图计算引擎,即流式图计算。通过 SQL + GQL 融合分析语言对表模型和图模型进行统一处理,实现了流、批、图一体化计算,并支持了 Exactly Once 语义、高可用以及一站式图研发平台等生产化能力。
最明显的是,这种方式至少会存在一种问题,即无法剔除自然增长所带来的效果,比如历史数据显示ROI经常随季节行情大幅波动,像电商类广告主在双11期间ROI会特别高,而游戏类广告主在寒暑假期间ROI会有一定幅度的增长。
这届双十一显得有些疲,我在朋友圈说“《静悄悄的双11》这类报道应该很快就要出炉”不久,对应内容就已出现多篇。一方面,在新的市场竞争环境中,头部平台变得更加低调,不再有“二选一”这样的口水战,对GMV等数据的公布变得低调了许多,甚至一些平台还要求品牌不得高调发送“战报”。另一方面,因为疫情的原因,各大主流电商平台11月11日当天的“双11直播”活动转战线上,进一步降低了声量。总而言之,今年的双十一,平台低调多了。
“双11”带来的购物狂潮余温尚存,“双12”又火热来袭,而面对愈演愈烈的促销大战,云市场显然已按耐不住云服务商的热情,各家动作频频,其中以阿里云、天翼云、腾讯云为主要代表,借助岁末年关纷纷推出大幅度优惠促销活动。业内专家认为,作为如今最火爆的新兴市场,越来越多的 “云”企业短兵相接、各展所长,预计1-3年内中国必有几个非常大的云服务商强势崛起。 云市场短兵相接,促销活动夺眼球 记者了解到,12月18日前后,云服务商活动相对集中,中国电信、阿里、腾讯等大品牌均在此前后开展活动,其中,主要三家云
双11的硝烟已经弥漫在每个角落——不只是互联网,还有线下实体;不只是内地市场,还有香港台湾等境外市场;不只是促销大战,而是在产品、体验、服务和物流等维度共同发力。更重要的是,今年双11不再将不断提升GMV当做唯一目标,而是把应用新技术、推动新模式当做重点。天猫刚刚举办的一个活动体现了这一点。 11月3日,双十一进入一周倒计时,天猫邀请了几十家全球顶尖科技公司搞了一场“T20”峰会,全称为天猫双11全球创智生态峰会,参会者包括Intel,CES、iRobot、戴森、BOSE、惠人、飞利浦、博朗、BEATS、H
前言 TDW 是腾讯内部最大的离线处理平台,也是国内最大的 HADOOP 集群之一。在运营这么大集群的时候,运营面临各种各样的难题,在解决这些难题的过程中,团队提炼出来的一个运营理念,用两句话去描述。
背景 马老师曾提到三次技术革命:“第一次技术革命是体能的释放,是让人的力量更大,第二次技术革命是对能源的利用,使得人可以走得更遥远,而这一次技术革命是IT时代走向DT时代,是真正的大脑的释放。我们其实
6月是中国电商平台的年中促销时间,京东和天猫的618大促正如火如荼地开展。在企业级服务市场,一直善于将“消费市场”玩法移植到“企业市场”的钉钉,借助周年庆也开展了系列活动,比如有前段时间火爆的“你问,我答”活动;当然,最受人关注的还是限时半价促销活动——跟电商平台的大促一样搞得有声有色。
双11结束了,1207亿全天成交额再破纪录。尽管这个活动只有24小时,但其给中国带来的影响却是深远的。正如科技评论人Keso在文章中的评论:“马云改变了中国”。马云在双11晚会上的总结是,双十一的成交
【导语】:新零售时代已经到来,传统大型零售商家们也在追逐技术潮流,希望通过中台建设来支撑业务发展。然而中台建设非一夕之功,大多数的探索都折戟沉沙,踩过的坑更是不计其数。前事不忘,后事之师,本文就将以技术更迭为主线,通过传统零售行业的码农们一次次血与泪的教训,告诉你到底什么才是符合中国国情的「全渠道中台」?
天猫双11全天交易额落在了1207亿这个数字上,比我预期中少了一点。不过,天猫双11依然给我带来了很大的震撼——不是数字,而是我在双11媒体中心24小时看到的点点滴滴。 有人说,双11是中国的黑色星期
BethuneX数据库实时监控和智能巡检平台,首先它的初衷和愿景依然没有改变:成为数据库运维人员最喜欢使用的,并且能够帮助他们快速发现和解决数据库问题的智慧平台。BethuneX的目标,始终是简化那些繁琐的操作或者问题分析,精确且直指数据库问题核心,灵活应对各种业务场景,因此它的主要功能都是围绕此目标展开的,让我们来一探究竟。
导语:得益于调度单元是通用的SQL语句,SuperSQL能够做到与特定计算引擎解耦,也正因为此原因,SuperSQL只需专注在最优执行计划生成,并根据SQL具体类型选择最佳的计算引擎。 天穹SuperSQL是腾讯自研的跨数据源、跨数据中心、跨计算引擎的大数据SQL引擎,能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。在腾讯整个天穹大数据图谱中,负责连接端与存储。 数据源无论是关系型数据库、NoSQL还是大数据系统;数据存储无论是跨集群还是跨数据中心;数据计算无论是报表生成、分析挖掘
领取专属 10元无门槛券
手把手带您无忧上云