首页
学习
活动
专区
圈层
工具
发布
首页标签大数据处理

#大数据处理

网页快照的结构化保存方案:对象存储 + 可搜索元数据设计

jackcode

任务听起来不复杂——每天定时抓取各大新闻网站的首页和详情页,存下来做后续的文本分析、情感识别和舆情追踪。

4110

从零开始学Flink:实时流处理实战

用户4160816

在大数据处理领域,实时流处理正变得越来越重要。Apache Flink作为领先的流处理框架,提供了强大而灵活的API来处理无界数据流。本文将通过经典的Socke...

12710

双节在即:北斗卫星校时服务筑牢交通防线精准应对

NTP网络同步时钟

在国庆中秋长假期间,面对庞大的客流量,一套精准、统一的时间系统是保障交通系统高效协同运行的“隐形基石”。基于北斗卫星的NTP网络时间服务器,正通过其纳秒至毫秒级...

12710

Python爬虫技术:招标信息抓取与关键词过滤

小白学大数据

本文详细介绍了使用Python爬虫技术实现招标信息抓取与关键词过滤的完整方案。通过合理的技术选型和模块设计,我们构建了一个高效、可扩展的招标信息监控系统。在实际...

18510

qData数据中台商业版演示站全面升级,全套演示数据 + 全新帮助中心 + 新手引导体系!

吴同

我们怀着激动的心情宣布——qData 数据中台商业版演示站 全面焕新,今日正式上线! 🎉

14700

从零开始学Flink:数据源

用户4160816

在实时数据处理场景中,数据源(Source)是整个数据处理流程的起点。Flink作为流批一体的计算框架,提供了丰富的Source接口支持,其中通过Kafka获取...

19710

从零开始学Flink:揭开实时计算的神秘面纱

用户4160816

当你在电商平台秒杀商品时,1毫秒的延迟可能导致交易失败;当自动驾驶汽车遇到障碍物时,10毫秒的计算延迟可能酿成事故。这些场景揭示了一个残酷事实:数据的价值随时间...

37310

从零开始学Flink:开启实时计算的魔法之旅

用户4160816

在凌晨三点的数据监控大屏前,某电商平台的技术负责人突然发现一个异常波动:支付成功率骤降15%。传统的数据仓库此时还在沉睡,而基于Flink搭建的实时风控系统早已...

24310

从零开始学Flink:数据转换的艺术

用户4160816

在实时数据处理流程中,数据转换(Transformation)是连接数据源与输出结果的桥梁,也是体现计算逻辑的核心环节。Flink提供了丰富的数据转换操作,让开...

13610

NTP网络时间服务器:关键领域稳健运行的基石

NTP网络同步时钟

选择安徽京准这类北斗卫星授时服务器,尤其是对于国家关键基础设施和重要行业来说,主要出于以下考虑:

16110

〔从零搭建〕数据库同步平台部署指南

奥零数据科技

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

20810

爱玛集团:All In SelectDB 构建极速统一数据平台,领航 AI 数智化实践

SelectDB技术团队

在电动车行业竞争日益激烈的今天,数据成为企业核心竞争力的重要组成部分。爱玛集团作为电动车行业的领军企业,在数智化转型的道路上同样面临着数据分散、处理效率低下、故...

4000

终于有人把数据倾斜讲清楚了

帆软BI

今天这篇文章,我不整那些虚的,就用最实在的话、最真实的踩坑经历,带你从现象到本质,把数据倾斜的解决办法摸透。

17510

Apache Doris Data Agent 解决方案:开启智能运维与数据治理新纪元

SelectDB技术团队

2025 年,被誉为 Agent 智能体的元年,基于 Agent 引发了企业数据领域前所未有的智能化变革。利用 Dify、Langchain、SpringAI ...

40810

Apache Doris 实时更新技术揭秘:为何在 OLAP 领域表现卓越?

SelectDB技术团队

过去那些“老派”的 OLAP 系统,只能批量处理账目,对实时性要求高的“流水账”就力不从心了。它们在面对高并发实时写入和复杂的分析查询时,常常会露出疲态,数据延...

47410

浩瀚深度:从 ClickHouse 到 Doris,支撑单表 13PB、534 万亿行的超大规模数据分析场景

SelectDB技术团队

浩瀚深度是国内互联网流量解析与数据智能化领域的领军企业,旗下顺水云大数据平台(StreamCloud)作为浩瀚深度自主研发的企业级的大数据平台产品,涵盖了从数据...

37210

流处理 or 批处理?大数据架构还需要流批一体吗?

帆软BI

流处理(处理实时数据流)和批处理(处理历史数据集),曾经是支撑我们实时监控和深度分析的两大支柱。

24300

构建数据驱动的敏捷运营体系

奥零数据科技

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

6810

企业如何用现代数仓架构挖掘新业务盈利点?AllData产品从目标、路径、结果给出答案

奥零数据科技

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

18510
领券