首页
学习
活动
专区
工具
TVP
发布

最新最全的大数据技术体系

专栏作者
717
文章
523798
阅读量
33
订阅数
2021年最新最全Flink系列教程_Flink快速入门(概述,安装部署)(一)(JianYi收藏)
下面为大家带来阿里巴巴极度热推的Flink,实时数仓是未来的方向,学好Flink,月薪过万不是梦!!
Maynor
2022-05-08
4250
Mysql高级完整版
1.中央处理器(英文Central Processing Unit,CPU)是一台计算机的运算核心和控制核心。CPU、内部存储器和输入/输出设备是电子计算机三大核心部件。其功能主要是解释计算机指令以及处理计算机软 件中的数据。 CPU核心组件: 1.算术逻辑单元(Arithmetic&logical Unit)是中 央处理器(CPU)的执行单元,是所有中央处理器的核 心组成部分,由"And Gate"(与门) 和"Or Gate"(或门)构成的算术逻辑单元,主要功能是进行二位元的算术运算,如加减乘(不包括整数除法)。 2.PC:负责储存内存地址,该地址指向下一条即将执行的指令,每解释执行完一条指令,pc寄存器的值 就会自动被更新为下一条指令的地址。 3.寄存器(Register)是CPU内部的元件,所以在寄存器之间的数据传送非常快。 用途:1.可将寄存器内的数据执行算术及逻辑运算。 2.存于寄存器内的地址可用来指向内存的某个位置,即寻址。 3.可以用来读写数据到电脑的周边设备。4.Cache:缓存
Maynor
2022-04-15
5270
今日指数项目之项目介绍和数据采集【四】
基于flink实时流计算的,金融证券项目,实时大屏展示,预警模块和离线模块的处理。
Maynor
2022-04-11
4510
❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】
manor学习大数据开发满打满算也有一年了,其中也发现不少好用的大数据开发提升效率的软件,推荐给刚入门/入行的你:
Maynor
2022-02-25
9150
大数据Flink面试考题___Flink高频考点,万字超全整理(建议)
1.下面哪个不是 Dataset的转换算子() A. readTextFile B reduce distinct D rebalance
Maynor
2021-12-30
8860
记录一下Kafka报错:timeout expired while fetching topic metadata
一开始报的不是这个错,是unable to find any brokers, 查看Kaka日志,发现根本没起来
Maynor
2021-12-07
2.6K0
2021年最新最全Flink系列教程__FlinkTable&SQL(六、七)
day06-07_FlinkSQL&Table 今日目标 了解Flink Table&SQL发展历史 了解为什么要使用Table API & SQL 掌握Flink Table&SQL进行批处理开发 掌握Flink Table&SQL进行流处理开发 掌握常用的开发案例 Flink-SQL的常用算子 Flink Table & SQL FlinkTable & SQL 是抽象级别更高的操作, 底层Flink Runtime => Stream 流程 批处理是流处理的一种特殊形态 FlinkSQL
Maynor
2021-12-07
1610
2021年最新最全Flink系列教程__Flink高级API(四)
并添加Watermark来解决一定程度上的数据延迟和数据乱序(最多延时 3 秒)问题。
Maynor
2021-12-07
2790
2021年最新最全Flink系列教程_Flink原理初探和流批一体API(二.五)
day02-03_流批一体API 今日目标 流处理原理初探 流处理概念(理解) 程序结构之数据源Source(掌握) 程序结构之数据转换Transformation(掌握) 程序结构之数据落地Sink(掌握) Flink连接器Connectors(理解) 流处理原理初探 Flink的角色分配 JobMaster 老大, 主要负责 集群的管理, 故障的恢复, checkpoint 检查点设置 taskmanager worker 小弟, 具体负责任务的执行节点 cli
Maynor
2021-12-07
4580
2021年最新最全Flink系列教程_Flink原理初探和流批一体API(二)
oolConfig config = new FlinkJedisPoolConfig.Builder() .setHost(“node1”).build(); result.addSink(new RedisSink>(config, new RedisMapperEx())); env.execute(); // * 最后将结果保存到Redis 实现 FlinkJedisPoolConfig // * 注意:存储到Redis的数据结构:使用hash也就是map // * key value // * WordCount (单词,数量)
Maynor
2021-12-07
4470
[hadoop3.x系列]Hadoop常用文件存储格式及BigData File Viewer工具的使用(三)
[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
Maynor
2021-12-06
4550
大数据Flink面试考题___Flink高频考点,万字超全整理(建议收藏)
1.下面哪个不是 Dataset的转换算子() A. readTextFile B reduce distinct D rebalance
Maynor
2021-06-29
1.8K0
2021年最新最全Flink系列教程_Flink快速入门(概述,安装部署)(一)(建议收藏!!)
下面为大家带来阿里巴巴极度热推的Flink,实时数仓是未来的方向,学好Flink,月薪过万不是梦!!
Maynor
2021-06-24
2.4K0
知行教育大数据分析数仓项目_面试题精华版
1.简介一下当前这个项目 能够介绍一下你写的项目: 我们这个大数据项目主要是解决了教育行业的一些痛点。 首先,受互联网+概念,疫情影响,在线教育,K12教育等发展火热,越来越多的平台机构涌现。但是由于信息的共享利用不充分,导致企业多年积累了大量数据,而因为信息孤岛的问题,一直没有对这些数据进一步挖掘分析,因此也不能给企业的管理决策层提供有效的数据支撑。 有鉴于此,我们做的这个教育大数据分析平台项目,将大数据技术应用于教育行业,用擅长分析的OLAP系统为企业经营提供数据支撑。具体的实现思路是,先建立企业的数据仓库,把分散的业务数据预处理,其次根据业务需求从海量的用户行为数据挖掘分析,定制出多维的数据集合,形成数据集市,供各个场景主题使用,最后用BI工具,进行前端展示。 用到的技术架构包括:mysql,sqoop,基于CM的Hive,Oozie和FineBi。由于OLTP系统中数据大多存储在mysql,所以我们最终选择Sqoop作为导入导出工具,抽取数据到数仓,并使用基于CM管理的Hive进行数据清洗+分析,然后sqoop导出到mysql,最后用FineBI展示OLAP的数据分析结果。 所以,我们的技术解决了企业的三大痛点。一是数据量太大问题,传统数据库无法满足;二是系统多,数据分散问题,无法解决数据孤岛问题;三是,统计工作量太大,分析难度高问题,无法及时为企业提供数据参考。
Maynor
2021-04-09
1.4K0
解决Windows环境下hadoop集群的运行
需要3个步骤: 1.设置hadoop在windows上的环境(这里我安装的是hadoop-2.7.1)
Maynor
2021-04-09
4820
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档