大家好,又见面了,我是你们的朋友全栈君。
维基百科定义: 大数据是指利用常用软件工具捕获,管理和处理数据所耗时间超过可容忍时间的数据集。
离线批处理,是指对海量历史数据进处理和分析,生成结果数据,供下一步数据应用使用的过程。 离线批处理对数据处理的时延要求不高,但是处理的数据量较大,占用的计算存储资源较多,通常通过MR作业、Spark作业或者HQL作业实现。
实时检索简而言之就是对系统内的一些信息根据关键词进行即时、快速搜索,实现即搜即得的效果。强调的是实时低延迟。
实时流处理,通常是指对实时数据源进行快速分析,迅速触发下一步动作的场景。实时数据对分析处理速度要求极高,数据处理规模巨大,对CPU和内存要求很高,但是通常数据不落地,对存储量要求不高。实时处理,通常通过Structured Streaming或者Flink任务实现。
在数据慢慢呈现数据处理量大、数据处理时延低、数据处理格式多样的要求下,基于模块化存储的数据仓库重要性日益增加,但同时也带来了新的问题。 随着精准营销、客户画像、互联网平台等业务的上线,需要引入非结构化数据,以及提升对实时数据的计算处理能力,需要建立大数据平台满足上述业务需求。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/135917.html原文链接:https://javaforall.cn