首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

大数据学习笔记0:大数据基本框架

Iaas、K8S、Omega都属于这一层。 计算引擎层 计算引擎层是大数据技术中最活跃的一层,直到今天,仍不断有新的计算引擎被提出。 总体上讲,可按照对时间性能的要求,将计算引擎分为三类: ❑ 批处理:该类计算引擎对时间要求最低,一般处理时间为分钟到小时级别,甚至天级别,它追求的是高吞吐率,即单位时间内处理的数据量尽可能大,典型的应用有搜索引擎构建索引、批量数据分析等。 ❑ 交互式处理:该类计算引擎对时间要求比较高,一般要求处理时间为秒级别,这类系统需要跟人进行交互,因此会提供类SQL的语言便于用户使用,典型的应用有数据查询、参数化报表生成等。 ❑ 实时处理:该类计算引擎对时间要求最高,一般处理延迟在秒级以内,典型的应用有广告系统、舆情监测等。 数据分析层 数据分析层直接跟用户应用程序对接,为其提供易用的数据处理工具。为了让用户分析数据更加容易,计算引擎会提供多样化的工具,包括应用程序API、类SQL查询语言、数据挖掘SDK等。 在解决实际问题时,数据科学家往往需根据应用的特点,从数据分析层选择合适的工具,大部分情况下,可能会结合使用多种工具,典型的使用模式是:首先使用批处理框架对原始海量数据进行分析,产生较小规模的数据集,在此基础上,再使用交互式处理工具对该数据集进行快速查询,获取最终结果。 数据可视化层 数据可视化层是直接面向用户展示结果的一层,由于该层直接对接用户,是展示大数据价值的“门户”,因此数据可视化是极具意义的。考虑到大数据具有容量大、结构复杂和维度多等特点,对大数据进行可视化是极具挑战性的。

01

架构漫谈(七):不要空设架构师这个职位,给他实权

什么是架构师   在之前的几篇文章中,经常会提到架构师这个词。我们已经定义了什么叫架构,那怎么定义架构师呢,是不是做架构的就叫架构师了? 没有这么简单,本篇尝试讨论一下这个问题。 架构师的前提条件   如果一个人在工作中,只是致力于完成自己的工作,以做好自己的工作为主要目标,那么最多只能成为一个工匠,无法成为一个架构师。因为这个过程解决的还是自己的问题,并没有时间的压力,可以随意什么时候做完都可以。   当我们所做的工作是处于社会的分工的一环,需要帮助别人解决问题,并且按时解决别人的问题成为我们自己的问题

010

浅谈电力系统中的卫星对时钟同步技术

电力系统是时间相关系统,无论电压、电流、相角、功角变化,都是基于时间轴的波形。近年来,超临界、超超临界机组相继并网运行,大区域电网互联,特高压输电技术得到发展。电网安全稳定运行对电力自动化设备提出了新的要求,特别是对时间同步,要求继电保护装置、自动化装置、安全稳定控制系统、能量管理系统和生产信息管理系统等基于统一的时间基准运行,以满足同步采样、系统稳定性判别、线路故障定位、故障录波、故障分析与事故反演时间一致性要求。确保线路故障测距、相量和功角动态监测、机组和电网参数校验的准确性,以及电网事故分析和稳定控制水平,提高运行效率及其可靠性。未来数字电力技术的推广应用,对时间同步的要求会更高。

01

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券