首页标签大数据解决方案

#大数据解决方案

纵横数智,助画方略。腾讯云数智方略包含大数据平台、智能推荐、数字营销、数据可视化等产品,为企业及开发者提供完整的大数据解决方案。

详解ETL银行数据仓储抽取和加载流程概述

taskctl官方频道

ETL是Extract、Transfrom、Load即抽取、转换、加载三个英文单词首字母的集合:

200

数据调度平台系统二大种类及其实现方法与流程

taskctl官方频道

调度系统,更确切地说,作业调度系统(Job Scheduler)或者说工作流调度系统(workflow Scheduler)是任何一个稍微有点规模,不是简单玩玩...

13160

什么情况下要使用国际互联网专线?

城镇云

一般情况下,国际互联网专线接入:指提供各种速率的专用链路(主要提供传输速率为2M及以上速率),直接连接IP骨干网络,实现方便快捷的高速互联网上网服务。互联网专线...

7200

2020「网络安全等级保护定级指南」最新解读,这些重点必须注意!

腾讯安全

腾讯 · 腾讯安全 (已认证)

新版《GBT 22240-2020 信息安全技术 网络安全等级保护定级指南》正式发布,新的国标将于2020年11月1日正式实施。腾讯安全平台部天幕团队联合腾讯安...

27840

腾讯Elasticsearch海量规模背后的内核优化剖析

黄华

Elasticsearch 在腾讯内部广泛应用于日志实时分析、结构化数据分析、全文检索等场景,目前单集群规模达到千级节点、万亿级吞吐,同时腾讯联合 Elasti...

1.9K171

腾讯Elasticsearch海量规模背后的内核优化剖析

黄华

Elasticsearch 在腾讯内部广泛应用于日志实时分析、结构化数据分析、全文检索等场景,目前单集群规模达到千级节点、万亿级吞吐,同时腾讯联合 Elasti...

32431

产业安全专家谈丨企业如何应用“联邦学习”打破数据孤岛,助力业务创新?

腾讯安全

腾讯 · 腾讯安全 (已认证)

随着云计算和大数据技术的不断发展,以人工智能为基础的数据分析与数据挖掘让大数据释放出巨大价值,已成为企业业务创新、业绩增长的重要手段。

16160

中台建设中的幕后意义

快乐的技术人

中台战略主要都是指通过「小前台,大中台」的架构方式,降低试错成本,加快响应速度,从而真正做到「降本增效」。

30280

【kafka】高吞吐源码分析-顺序写入与刷盘机制

皮皮熊

腾讯 · 工程师 (已认证)

kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:

15340

Hive在load data时注意事项

幽鸿

腾讯 · 高级工程师 (已认证)

create table if not exists bdp_log(         tableName string ,             dat...

11920

旁路交换机-串联设备的安全网

用户6792078

为了保护您的网络免受越来越多的外部威胁侵扰,您需要放置串联安全工具(如入侵防御系统-IPS,或防火墙),以检查网络线路上的所有流量。这样你就有更好的机会在网络攻...

13160

GPS北斗时钟服务器在电子政务系统的应用

NTP网络同步时钟

摘要:随着电子政务的不断发展,许多省份都建立了自己的政务网络,使用的网络设备和服务器日益增多,这些设备都有自己的时钟,是可以调节的,因此网络中的所有设备和主机的...

2710

Flink双流处理:实时对账实现

皮皮熊

腾讯 · 工程师 (已认证)

更多内容详见:https://github.com/pierre94/flink-notes

55980

Flink状态编程: 订单超时告警

皮皮熊

腾讯 · 工程师 (已认证)

无状态计算实现的复杂度相对较低,实现起来较容易,但是无法完成提到的比较复杂的业务场景:

391111

Flink源码走读(一):Flink工程目录

2011aad

腾讯 · 后台开发 (已认证)

导语 | Flink已经成为未来流计算趋势,目前在很多大厂已经有了大规模的使用。最近在学习Flink源码,就想把自己学习的过程分享出来,希望能帮助到志同道合的朋...

40261

Flink源码走读(二):Flink+Kafka实现端到端Exactly Once语义

2011aad

腾讯 · 后台开发 (已认证)

Flink通过Checkpoint机制实现了消息对状态影响的Exactly Once语义,即每条消息只会影响Flink内部状态有且只有一次。但无法保证输出到Si...

569100

flink学习笔记

皮皮熊

腾讯 · 工程师 (已认证)

<!--> ![Flink类型分类](./img/introduction-to-type-and-serialization-mechainisms-1.pn...

22340

批处理衰落,流处理兴起,大数据处理平台从Lambda到Kappa的演进

PP鲁

流处理引擎经历了从Storm到Spark Streaming再到Flink的三代的技术迭代,大数据处理也随之经历了从Lambda架构到Kappa架构的演进。本节...

12310

数据同步工具Flinkx的研究与实践

皮皮熊

腾讯 · 工程师 (已认证)

Flink是新型的计算框架,具有分布式、低延迟、高吞吐和高可靠的特性。其支持多种部署方式:local(单机)、standalone模式,也可以基于yarn,me...

73492

Redshift_Kinesis_Qubole_Bluedata_大数据产品介绍

王韬略

1.1K430

扫码关注云+社区

领取腾讯云代金券