首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
优选 · 文章
更多
E往无前 | 人人在用的微信支付,腾讯云大数据ES如何让它低成本高可用?
E往无前 | 人人在用的微信支付,腾讯云大数据ES如何让它低成本高可用?
《E往无前》系列将着重展现腾讯云ES在持续深入优化客户所关心的「省!快!稳!」诉求,能够在低成本的同时兼顾高可用、高性能、高稳定等特性,可以满足微盟、小红书、微信支付等内外部大客户的核心场景需求。 E往无前 |  人人在用的微信支付,腾讯云大数据ES如何让它低成本高可用? 导语:微信支付是国家重要的关键信息基础设施,服务于几千万商户和上亿国民,可用性要求高于5个9。本案例重点介绍了ES在微信支付服务中满足金融账单数据需求的同时,如何进一步降低成本,提高可用性。 Elasticsearch(下文简称为ES)经
腾讯云大数据
2023-02-27
4960
大数据云原生能力成熟度模型,重磅发布!
大数据云原生能力成熟度模型,重磅发布!
为了分享过去一年云原生产业联盟(CNIA)在标准建设、评估测试、技术研究、实践合作等方面的工作成果、探索行业最新趋势动态,云原生产业联盟于2023年1月9日举办了2022年度线上年会,发布了“大数据云原生能力成熟度模型”,并进行了标准解读。 云原生时代,数据系统的技术架构正在多样化用户需求的驱动下快速演进。容器、Serverless、CI/CD、Kubernetes等云原生技术与大数据系统的深度融合,可以有效应对海量、异构、实时的用户数据处理请求。充分利用云原生平台能力实现大数据系统的“云原生”转型升级,已
腾讯云大数据
2023-01-29
1.7K0
业内首个基于Iceberg的“云端仓转湖”生产实践探索
业内首个基于Iceberg的“云端仓转湖”生产实践探索
业务背景 作业帮成立于2015年,一直致力于用科技手段助力教育普惠,运用人工智能、大数据等前沿技术,为学生、老师、家长提供更高效的学习、教育解决方案,智能硬件产品等。作为大数据中台架构团队,我们一直探索利用有限的资源,较低的开发维护成本、高时效的数据更新和查询,为业务团队提供基础支持。 问题&痛点  ODS层数据就绪时间晚,DWS/ADS等上层数据和业务报表构建时间少。 作业帮ODS层表大概有几千张,TP90就绪时间大概在4点30左右,不同业务团队因工作时间不同,看数时间会有些差异,总体上来说基本都要求数
腾讯云大数据
2022-09-27
8280
最佳实践 | 基于腾讯云ES如何跨地域容灾?跨集群复制为您解忧!
最佳实践 | 基于腾讯云ES如何跨地域容灾?跨集群复制为您解忧!
作者:吴容,腾讯云大数据Elasticsearch高级开发工程师 腾讯云大数据ES目前已经提供了多可用区部署,即支持同地域跨机房的高可用容灾方案,满足了绝大多数客户的需求。但是依然会有部分客户希望进一步提升容灾级别,能够做到跨地域容灾。随着腾讯云ES双网卡功能的发布,使得跨地域容灾成为可能。接下来我将介绍下腾讯云ES实现跨地域容灾的详细步骤。 注:由于腾讯云ES集群之间的证书是不一致的,因此在搭建CCR环境之前,请先提工单让后端先将两个集群证书设置为一致。 一、对等连接 首先将北京和上海的两个vpc建立对等
腾讯云大数据
2022-11-11
1.2K0
腾讯云大数据获“年度金融科技创新之星”,新一代数据架构首次公布
腾讯云大数据获“年度金融科技创新之星”,新一代数据架构首次公布
在2022第三届银行业数字化创新(中国)峰会上,“华信奖”获奖名单正式公布,腾讯云大数据团队凭借领先的技术优势、丰富的金融科技服务经验,斩获“年度金融科技创新之星”,这也意味着腾讯云大数据在金融科技行业的应用创新与建设能力得到了权威认可。 据了解,“华信奖”组委会成员主要来自上海浦东国际金融学会、亚洲财金联合会、以及麦肯锡、普华永道、罗兰贝格等全球知名咨询机构。 伴随着数据要素上升为国家数字化战略的重点,如何加强数据能力建设、解决技术和架构异构、数据合规等难题,打造具备高度自主可控的核心技术与产品体系,从
腾讯云大数据
2022-12-26
4530
从“家庭码”到“线上会议”,融入疫情生活的大数据
从“家庭码”到“线上会议”,融入疫情生活的大数据
说到云计算,大家可能会觉得离自己的生活非常遥远。 但其实,如果你打开手机微信或者是听音乐的软件,或者是网上购物,或者在网上银行办事,其实在背后支撑整个数据正常流转的基石就是云计算。 因此云计算离生活并不遥远,而是紧密相关。 腾讯云大数据基础产品中心的张昆,受邀参加深圳卫视《图鉴中国-昂首阔步这十年》,作为本期图鉴青年团成员,向大家介绍他与“云计算”的故事。 2015年,在美国从事云计算工作的张昆,在与国内客户洽谈生意的过程中了解到,当时国内云计算技术还处于起步阶段。 从那个时候起,张昆就下定决心要回国,
腾讯云大数据
2022-09-19
3070
腾讯云发布多款大数据应用产品,助力企业全面释放数据价值
腾讯云发布多款大数据应用产品,助力企业全面释放数据价值
大数据产业作为战略性的新兴产业,已成为加快社会发展变革的重要引擎。在11月30日的2022腾讯全球数字生态大会大数据专场上,腾讯云大数据新发布了多款数据应用产品,并就其在金融、泛娱等行业的最佳实践进行了详细分享,为广大企业进一步实现健康发展和变革创新提供了有价值的借鉴。 腾讯云副总裁刘煜宏在开场致辞中表示:“多年来,腾讯云在大数据领域进行了不遗余力的投入,在团队、平台、技术等方面均实现了业内领先。目前腾讯云大数据平台已支撑起整个腾讯庞大的业务线,并为超过2万家外部企业提供大数据能力支持。未来,腾讯云大数据将
腾讯云大数据
2022-12-09
8670
微信 ClickHouse 实时数仓的最佳实践
微信 ClickHouse 实时数仓的最佳实践
作者:微信WeOLAP团队&腾讯云数据仓库 Clickhouse 团队 微信作为一款国民级应用,已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态,对数据分析提出了新的挑战。为了满足业务数据分析的需求,微信 WeOLAP 团队联手腾讯云,共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库,实现了 10 倍以上的性能提升。下文将由浅入深,为大家揭晓微信在 ClickHouse 实时数仓实践中积累的经验及方法。 一、微信遇到的挑战 一般来说,微信主要的数据分析场景包含
腾讯云大数据
2021-11-26
2.6K0
PB 级数据的云端迁移战事
PB 级数据的云端迁移战事
如果单纯从字面上,普通人可能无法理解要把 PB 级的数据迁移到一朵云上,难度有多大。 “这个迁移和简单的复制完全不一样,即便是拷贝,把1PB 的数据复制过来,也需要很长时间。”腾讯云大数据产品架构师李少波说。 少波说的这个正是一个月前他和另外3位同事,一起经历的一场云端迁移战事。 把时针拨到一个月之前,搜狐畅游技术有限公司(简称搜狐畅游)计划在8月初正式上线小浣熊百将传的新游戏,这款有着经典水浒卡授权的国风放置卡牌手游,预计在上线后将迅速风靡全球,这给搜狐畅游当时的大数据集群带来了严峻的挑战。 搜狐畅
腾讯云大数据
2021-09-18
1.5K0
自建迁移EMR实践案例
自建迁移EMR实践案例
自建开源大数据平台会随着企业数据的增长遇到:性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop对比优势、自建迁移上云的实践案例来介绍 EMR 是如何解决这些问题的。
腾讯云大数据
2024-06-13
3.6K0
精选 · 讨论
更多

大数据相关组件在弹性 MapReduce 页面选择后会自动安装好吗?

编辑2023-02-2485
gavin1024回答已采纳
控制台可直接安装组件。

流计算Oceanus兼容Flink原始版本吗,如何升级1.13???

编辑2021-10-12166
卖女孩的火柴
这里找客服直接要联系方式 image.png

如何在Elasticsearch中处理大数据量和高并发的情况?

编辑2023-12-26113
gavin1024
要在Elasticsearch中处理大数据量和高并发的情况,可以采用以下策略: 1. 水平分片和垂直分片:将数据分为多个分片,每个分片可以在不同的节点上并行处理。这样可以提高搜索性能和吞吐量。同时,可以针对大数据量的特点,对分片进行垂直分片,即将数据按照某个字段进行划分,以减少搜索的时间和资源消耗。 2. 分布式搜索:使用Elasticsearch的分布式搜索功能,将查询任务分配到不同的节点上进行处理。这可以提高搜索性能和并发性能,降低单点故障的风险。 3. 数据索引:对数据进行索引时,可以使用Elasticsearch的倒排索引技术,将文档中的关键字在文档中的出现位置记录下来。这样在搜索时,可以直接找到包含关键字的文档,而不需要逐篇文档扫描,从而提高搜索性能。 4. 数据压缩:对于大数据量的文档,可以使用数据压缩技术进行压缩,以减少存储空间和传输带宽。在搜索时,可以对压缩后的数据进行解压缩,以降低搜索时间。 5. 缓存:使用Elasticsearch的缓存功能,将热点数据存储在缓存中,以提高搜索性能和响应速度。当访问频繁的查询时,可以直接从缓存中获取数据,而不需要访问磁盘或网络中的数据。 举例说明:假设我们要处理一个大型电商网站的海量产品数据,这些数据包括产品名称、描述、价格、库存等信息。我们可以使用Elasticsearch将这部分数据进行分片和分布式搜索,在每个节点上并行处理这些数据。同时,我们还可以使用Elasticsearch的倒排索引技术,在搜索时直接找到包含关键词的文档,而不需要逐篇文档扫描。最后,我们可以使用数据压缩技术将大数据量的文档进行压缩,以减少存储空间和传输带宽。在搜索时,对压缩后的数据进行解压缩,以降低搜索时间。

腾讯大数据处理套件常见的应用场景有哪些?

编辑2023-02-24194
gavin1024回答已采纳
TBDS 是基于腾讯多年海量数据处理经验之上,对外提供可靠、安全、易用的大数据处理平台,常见的应用场景有数据仓库构建、实时流式数据处理、离线数据处理和数据探索挖掘等。详情请参见 应用场景。
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券