5月22日，在腾讯举办的全球数字生态大会上，腾讯云与Elastic签署战略合作协议，将在产品、技术、生态三个维度展开合作，携手打造云端大数据实时搜索的企业服务。...双方的战略合作将基于Elastic领先的大数据搜索产品和腾讯云在云计算和大数据领域卓越的技术能力，结合腾讯云覆盖全行业的企业客户，进一步提高双方的市场竞争力和品牌影响力，促进彼此业务发展。...Elastic开发的托管型的产品，能让实时地使用数据来实现如应用搜索, 网站搜索, enterprise search, 开源日志管理, APM, metrics, security, business...应用于全文搜索、日志检索与分析、运营数据分析等场景，针对性的解决企业在高速增长中遇到的数据量庞大和类型复杂情况下实时查询和分析处理的挑战，，帮助全球用户加快在搜索相关应用场景的信息化建设，把握发展机遇。...在Elastic 的 产品和解决方案的基础上，双方还将进一步深化合作，加强技术交流，推动技术创新，共同探索前沿的大数据搜索技术和产品，促进全行业发展和进步。
日志易是强大、灵活的日志大数据分析工具，既提供云端的SaaS服务，也提供本地部署，企业可以利用它对日志进行集中管理和准实时搜索、分析、可视化和监控告警等 官网 | www.datayuan.cn 微信公众号...，既提供云端的SaaS服务，也提供本地部署，企业可以利用它对日志进行集中管理和准实时搜索、分析、可视化和监控告警等。...6、产品优势 灵活：可在搜索框里直接使用搜索处理语言SPL编写脚本，满足各类分析需求； 实时：日志从产生到分析结果出现，只有秒级延时； 海量：每天可集中处理TB级日志量； 多数据源：除常见日志源外，还支持文本及二进制格式数据...8、市场价值 日志易可帮助企业降低业务流程和应用系统的开发和运维成本，实现准实时处理海量日志，从而达到大数据时代的风险管控需求。可极大提高运维效率，防止内外部的安全威胁，满足企业安全审计等。...、搜索、分析、可视化系统研发的大数据公司，提供企业部署版软件和SaaS服务，及面向金融、运营商、电力、互联网等行业的日志分析解决方案。
随着 11 月 11 日 12 点钟声的敲响，2020 年双 11 的 GMV 数字定格在了 4982 亿，在 Flink 实时计算技术的驱动下全程保持了丝般顺滑滚动，基于 Flink 的阿里巴巴实时计算平台也圆满完成了今年双...鉴于 Flink 流批一体计算技术的不断成熟，以及前期在搜索推荐场景的成功落地，今年双 11 数据平台开发团队也展示出坚定的信心和信任，与 Flink 实时计算团队并肩作战，共同推动实时计算平台技术升级...Flink “流批一体”技术在阿里巴巴的发展历程 阿里巴巴是国内最早选择 Flink 开源技术的公司，在 2015 年我所在的搜索推荐团队希望面向未来5-10 年的发展，选择一款新的大数据计算引擎，用来处理搜索推荐后台海量商品和用户数据...经过团队一年的努力，基于 Flink 的搜索推荐实时计算平台成功的支持了2016 年的搜索双 11，保证了搜索推荐全链路实时化。...2020 年的双 11，Flink 流批一体技术在天猫营销决策核心系统中给出了精彩的表现，加上之前已经在搜索推荐中成功运行的流批一体索引构建以及机器学习流程，充分验证了5 年前我们大胆选择 Flink
另外，在搜索推荐场景下也有一些实践，其中，手机淘宝“猜你喜欢”在端上部署了智能推荐系统，取得较为显著收益（EdgeRec[1]，双十一 IPV 提升 10%+，GMV 提升 5%+）。...这种客户端分页请求，云端服务检索排序返回给用户最终展示列表的 Client-Server 架构，对于大众点评 LBS 场景、类推荐的搜索产品来说，存在以下两个问题： ① 列表结果排序更新延迟 分页请求限制会导致排序结果的更新不及时...而实时反馈反映着用户的实时偏好，对于搜索排序的优化有着十分重要的意义。...，对用户反馈作出实时决策：不再受限于云端的分页请求更新机制，具备进行本地重排、智能刷新等实时决策的功能。...图片 图11 线上 AB 实验 QV_CTR 指标效果 & 分位置点击率对比 4 系统架构与部署优化 不同于云端的大规模深度模型上线，几百 GB，甚至上 T 的模型都可以通过扩充机器分片加载的分布式方案部署使用
另外，在搜索推荐场景下也有一些实践，其中，手机淘宝“猜你喜欢”在端上部署了智能推荐系统，取得较为显著收益（EdgeRec[1]，双十一 IPV 提升 10%+，GMV 提升 5%+）。...这种客户端分页请求，云端服务检索排序返回给用户最终展示列表的 Client-Server 架构，对于大众点评 LBS 场景、类推荐的搜索产品来说，存在以下两个问题。...而实时反馈反映着用户的实时偏好，对于搜索排序的优化有着十分重要的意义。...，对用户反馈作出实时决策：不再受限于云端的分页请求更新机制，具备进行本地重排、智能刷新等实时决策的功能。...图11 线上 AB 实验 QV_CTR 指标效果 & 分位置点击率对比 4 系统架构与部署优化 不同于云端的大规模深度模型上线，几百 GB，甚至上 T 的模型都可以通过扩充机器分片加载的分布式方案部署使用
端智能在大众点评搜索重排序的应用实践 2022年02月24日 作者: 祝升 刘哲 汤彪 文章链接 12434字 25分钟阅读 1 引言 随着大数据、人工智能等信息技术的快速发展，云计算已经无法满足特定场景对数据隐私...另外，在搜索推荐场景下也有一些实践，其中，手机淘宝“猜你喜欢”在端上部署了智能推荐系统，取得较为显著收益（EdgeRec[1]，双十一 IPV 提升 10%+，GMV 提升 5%+）。...这种客户端分页请求，云端服务检索排序返回给用户最终展示列表的 Client-Server 架构，对于大众点评 LBS 场景、类推荐的搜索产品来说，存在以下两个问题： ① 列表结果排序更新延迟 分页请求限制会导致排序结果的更新不及时...，对用户反馈作出实时决策：不再受限于云端的分页请求更新机制，具备进行本地重排、智能刷新等实时决策的功能。...图11 线上 AB 实验 QV_CTR 指标效果 & 分位置点击率对比 4 系统架构与部署优化 不同于云端的大规模深度模型上线，几百 GB，甚至上 T 的模型都可以通过扩充机器分片加载的分布式方案部署使用
11 月 1 日零点至 11 月 11 日零点 30 分，今年整个双十一成交额破 3723 亿，实时成交额超过 1 亿元的品牌超过 300 个。 这是今年阿里交出的双十一成绩单。...2015 年恰好是移动互联网兴起，移动交易笔数超过 PC，阿里中台做到了在支撑这么大数据量级下，用实时数据驱动商业。...在 AI 技术的支撑下，购物变得更加智能，个性化推荐、用户购买行为实时分析等成为可能。...今年双 11 前夕，淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景，智能计算调用量日均已高达数千亿次。 平台对用户消费行为的洞察和商品推荐也更加精准，而这背后的技术引擎是智能搜索引擎。...阿里的智能搜索推荐日均模型发布 1000+，单模型容量 1TB+，模型可以即时分析，分钟级更新 1 亿参数。
时至今日，Flink 已经成为全球范围内被广泛使用的开源大数据计算引擎。但据 InfoQ 了解，即便是这样一款性能优秀的流计算引擎，其在一开始的推广阶段也曾陷入瓶颈。...相比于其他没有实时化计算需求的企业，阿里在业务量方面走得比较靠前。尤其是在双 11 这类特殊的业务场景下，对数据做实时的收集、分析、处理成为强需求。...于是，阿里在 2015 年启动了对 Flink 的调研，决定用 Flink 做一个统一的、通用的大数据引擎作为未来的选型，并在 2016 年首次将 Flink 应用在了双 11 搜索推荐场景中。...例如，在2020年，阿里巴巴首次在双11最核心的天猫营销活动分析大屏场景中落地Flink流批一体；在 2021 年双 11 中，Flink 承载的实时计算峰值达到了每秒 40 亿条记录，数据体量也达到...今后，我们也很乐于看到在阿里的持续引领下，Flink 全球化社区能够在实时计算层面有更大的突破。 活动推荐 InfoQ《中国卓越技术团队访谈录》，纪录当下优秀技术团队故事，传播企业技术力量。
12 月 20 日，360 浏览器在北京正式发布了《2019 年春运大数据预测报告》，基于 360 安全大脑感知、推理、预测、决策、学习五大能力的赋能及历年抢票数据和今年网民搜索趋势，对今年春运的新动向做出预测...据今年 7 月猎聘发布的《2018 中国重点城市工程师大数据与调研报告》显示，在全国重点城市互联网工程师净流入分布方面，杭州以 12.46% 的占比领先于其他城市。...云端抢票 具体来说，安全大脑将助力云端抢票，主要表现在安全护航、云端管理、智能下单三方面。...同时，云端管理功能还可以实时查询预售票、余票以及退票，即便用户关掉电脑后台也能自动抢票。...同时安全大脑也可为抢票进行智能推荐，其经由对历史抢票数据的清洗与迭代训练，形成了对用户、车次、站点的特征分析，再结合当前抢票、搜索等实时数据，经过深度模型完成了对用户与车次的在线推荐。
9月11日，在腾讯全球数字生态大会大数据专场上，腾讯云大数据产品副总经理雷小平重磅发布了全链路数据开发平台WeData，同时发布和升级了流计算服务、云数据仓库、ES、企业画像等6款核心产品，进一步优化和提升了腾讯云大数据的全托管能力...同时，WeData 在云端构建了统一的元数据管理能力，涵盖技术元数据和业务元数据的管理，并打通了 EMR、数仓、MySQL 甚至对象存储等在内元数据，以便于企业数据在不同云端数据设施之间进行无缝流转的同时...「 6项发布和升级，云端大数据能力全面升级」 ? 据腾讯研究院《疫后企业数字化生存调查报告》显示，超50%的企业认为大数据是数字化转型中必须要关注的技术能力。...那么企业数字化转型中究竟需要怎样的大数据能力？雷小平认为，大数据技术在企业数字化转型中的新趋势在于统一平台、异构算力、企业级安全三个方面。...针对大数据开发场景，腾讯云首次正式对外发布流计算服务 Oceanus，面向大数据实时计算领域，可应用于实时点击流分析、物联网监控、实时推荐、实时金融风控等场景。
2020年9月11日，在腾讯全球数字生态大会大数据专场上，腾讯云大数据产品副总经理雷小平重磅发布了全链路数据开发平台WeData，同时发布和升级了流计算服务、云数据仓库、ES、企业画像等6款核心产品，进一步优化和提升了腾讯云大数据的全托管能力...同时，WeData 在云端构建了统一的元数据管理能力，涵盖技术元数据和业务元数据的管理，并打通了 EMR、数仓、MySQL 甚至对象存储等在内元数据，以便于企业数据在不同云端数据设施之间进行无缝流转的同时...「 6项发布和升级，云端大数据能力全面升级」 据腾讯研究院《疫后企业数字化生存调查报告》显示，超50%的企业认为大数据是数字化转型中必须要关注的技术能力。...那么企业数字化转型中究竟需要怎样的大数据能力？雷小平认为，大数据技术在企业数字化转型中的新趋势在于统一平台、异构算力、企业级安全三个方面。...针对大数据开发场景，腾讯云首次正式对外发布流计算服务 Oceanus，面向大数据实时计算领域，可应用于实时点击流分析、物联网监控、实时推荐、实时金融风控等场景。
逍遥子也曾经讲过：“我们用大数据赋能了双11，赋能了我们自己的运营能力。...双11大促店铺承接页个性化技术 今年双11阿里巴巴首次实现了全面的全站个性化，包括从会场到大促承接页到店铺再到详情，而大促店铺承接页是连接会场与店铺的桥梁，大促承接页的整体活动氛围和布局由平台确定，商家可以通过页面装修工具来装修商品模块...在双11中，我们设计实现了一种能够保持非对称关系的Graph Embedding算法，来对商品进行Embedding。...千牛头条双11和热门频道 目前个性化算法支持了热门feeds流、双11频道，后续会支持更多的频道和场景。...个性化推荐召回以实时商品偏好，实时类目偏好，近期搜索，历史订购商品为基础，配合相似商品，搭配商品，类目优质商品进行扩大召回，从而构建个性化推荐的优质多样的商品池。 3.
阿里云智能计算平台事业部研究员关涛（观涛）表示，双十一的挑战从商务角度看是商品和消费者最优化匹配的问题，往下则是大数据和AI能力的挑战， 从数据来看，今年双11数据量达到970 PB，这大概是一个什么量级...就是阿里十年前开始做的飞天大数据平台。在双11中，阿里使用了全自研的一整套平台，平台包括超过10万台规模服务器集群，10+数据中心、10EB级别存储、每天千万级别的大数据和AI计算作业。...据统计，去年2018年双十一的时候，这样的实时推荐给商家的智能决策，90%都会被商家采用。...实时计算的系统层面，能够支持TPS、每天有超过万级别的在线实时在跑，每天处理超过10 Trillions of Records，包括实时分析、实时预警、实时搜索、在线机器学习、广告实时推荐，这些都是大数据和...网络、服务器、存储这些基础设施多年来发生了翻天覆地的变化，微服务，容器化，数据库等一系列的底层技术和框架的持续演进，带动了电商技术今天在搜索，个性化推荐，视频互动，消息等各个应用领域支撑和连接着数亿消费者
“我们的大数据监管现在其实做得很好，都快赶上淘宝的大数据了，能够瞬间比对出账户关系，交易偏好和逻辑，是个"神器"。”一位接近交易所人士对记者指出。 ...据21世纪经济报道记者了解，此前被披露的一系列涉嫌老鼠仓案件调查，其线索来源正是来自于交易所日常监控下的大数据分析。...上交所异动指标分为4大类72项，敏感信息分为3级共11大类154项；深交所建立了9大报警指标体系，合计204个具体项目。 ...据21世纪经济报道记者了解，交易所对“老鼠仓”等交易行为建立了专项核查和定期报告制度，目前交易所已建立实时监控机制，专项核查机制，联动监控机制，智能化监控机制四位一体的监控体系。 ...这不仅仅是证监会机关在走向“云端”，交易所的一线监管也在不断升级大数据系统，这其中还有很多他山之石与新生情况。 比如互联网传播带来的新挑战。
据WSJ报道，Google Ventures 领投了用大数据服务肿瘤医疗行业的创业公司Flatiron Health的 1.3 亿美元 B 轮融资，该轮的跟投者还有First Round Capital...据 Google Ventures 确认，这是他们迄今为止对医疗软件公司的最大一笔投资。...而此次获得 Google Ventures 领投的 1.3 亿美元融资之后，Flatiron 会将一部分资金用于收购Altos Solution—— 一家提供基于云端的肿瘤电子医疗记录公司。...收购了Altos之后，Flatiron 将可以让医生在治疗病人能够实时地使用 Flatiron 的数据库，并可实时地增添、补充电子化的诊疗信息。...在投资 Flatiron 之前，Google Ventures 还投资过为基因信息提供分析、并使 DNA 信息可搜索的DNAnexus公司，以及用大数据工具分析肿瘤的Foundation Medicine
9月29日 大数据实时分析技术公司“柏睿数据”获B＋轮过亿元融资，东方嘉富领投 9月29日 谷歌成Safari默认搜索引擎：支付苹果90亿美元 9月29日 阿里、京东、一亩田等电商平台共同发起反欺诈反虚假宣传联盟...CEO取代比尔•盖茨问鼎榜首 上周【新数据】 9月25日 微软、SAP和Adobe成立联盟 提出开放数据倡议 9月26日 百度智能小程序2个月月活破亿，将以开源策略对抗AT 9月27日 京东公布双11...柏睿数据成立于 2014 年，是一家大数据实时分析技术公司。...公司拥有自主研发的全内存分布式海量实时分析型数据库、流数据库与库内人工智能并行算法库技术，为政府、企业等不同用户提供大数据实时分析技术和解决方案。...（信息来源： https://36kr.com/p/5154976.html） 9月27日 京东公布双11细则 流量分发采取赛马机制 9月27日消息，日前，京东正在全国各大区域陆续开展11·11商家大会
一位相关从业者对量子位表示：历次电商大型活动中，从商品推荐到展示，到下单、客服、仓储物流，云计算结合大数据这样的前沿技术贯穿始终。...比如带深度学习的推荐系统会根据一个搜索词，将相同「隐含特征」商品排布在你眼前。分析、计算、调用、呈现在一两秒内就会完成。...看似朴实却左右胜负的核心工具产品 除却云端之上的前沿科技，看似朴实无华却必不可少的技术工具与产品，也在为你的618添砖加瓦。...支撑上述产品企业的，又是15年爆发的冷链物流、平台大数据精准推荐等技术及应用。 还有更多你不太注意的技术应用和产品，也在618中默默贡献协作，满足从业者们的实用需求。...数以万计的中小企业，技术与人共同卷积交织，方才成就了618和双11越来越好看的数据和越来越好的个人生活。 当成交额公布，万众狂欢时，应该致敬默默付出又一往直前的技术创造与坚守者。
目前，阿里的嵌入式芯片已经发布，而云端的神经网络芯片 Ali-NPU 的进展同样值得关注，并且将为阿里云业务带来更为直接的推进和影响。据机器之心了解，该颗芯片或将于今年晚些时候公布进展。...阿里的计算引擎包括离线和在线两个部分，比如淘宝首页的个性化推荐，涉及到 20 亿商品，数亿用户，计算量极大，可采用离线模式基于个人兴趣的事先定制好的；而搜索结果，则需要海量数据的实时化计算。...综合来看，飞天操作系统、飞天大数据平台、阿里巴巴双中台、智能网 IoT 将成为阿里「all in cloud」的四张王牌。 面向 AI 初创的阿里云 ? 把握时代机遇，阿里迎来了新面孔。...谷歌已将自主研发的 AI 芯片 TPU 应用于加速搜索、翻译、相册等功能。2018 年 2 月，亚马逊开始设计制造 AI 芯片，计划应用于云端摄像头、Echo 扬声器等以服务智能家居硬件市场。...国内百度曾公布面向云端的人工智能芯片项目「昆仑」。 据机器之心了解，阿里和腾讯还同时正在研究量子芯片，为人工智能提供无限计算能力。
2017年「流处理」热力值超过「批处理」，大数据处理进入实时阶段。 数据规模越来越大，数据结构更多样化，「数据集成」从2020年开始爆发式增长。...2025年总热力值将突破3万 按照目前热力增长趋势预测，到2025年，总热力值将突破3万， 「数据集成」、 「数据调度与编排」、 「数 据开发与管理」将成为强劲的热力增长点。...热力趋势一：用户需求多样化推动技术多元化 一套复杂体系分化为六大热点技术 搜索与分析 流处理 数据可视化 交互式分析 DataOps 数据湖 热力跃迁更加频繁，彼此交替推动 热力趋势二：一体化演进迈入...提出流批一体 （一体 1.0） 2017 Apache Beam捐献给Apache基金会，统一批处理和流处理编程范式（一体 1.0） 2019 基于Apache Flink 流批一体技术架构，在阿里巴巴双11...流式数仓发布 （一体 2.0） 2022 Delta Lake全部开源 （一体 2.0） 热力变迁背后是用户使用痛点的转移\ 多元化技术的蓬勃发展 热力趋势三：云原生大规模重构开源技术栈 发轫于云端的技术重构
但同时又强化云端服务，YunOS在云端会整合大量来自于阿里和阿里之外的大数据、金融支付、零售、文化娱乐、移动资讯、O2O等服务。轻终端重服务的玩儿法让它可让设备变得真正智能起来。...它可以兼容更多设备，尤其是计算能力弱或者计算需求弱的设备，比如手环、冰箱、微波炉；它是实时在线的系统，可以进行数据收集、云端智能处理、云端实时推送；它还更适合实现不同设备之间的互联互通，进而协同发挥。...双11YunOS生态产品集体爆发，也体现出来YunOS理念被市场认可。 对于阿里巴巴来说，YunOS携手生态伙伴加入双11大战并取得成绩，表明双11已不再是一个追求交易额的促销活动。...新的玩法、新的品牌、新的商品会在这一天让消费者接受，比如YunOS驱动的智能化生活，通过双11就让更多消费者接触并接受，人们不只是购买简单的功能性产品，还有品牌、云端服务、智能体验，更多消费者通过双11...双11已是阿里巴巴运营用户的绝佳机会。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
