首页
学习
活动
专区
工具
TVP
发布

最新最全的大数据技术体系

专栏作者
717
文章
537744
阅读量
33
订阅数
[已解决] openai.error.AuthenticationError: No API key provided. You can set your API key in code using
在 Windows 系统中,设置环境变量有两种主要方法:通过系统属性设置和使用 PowerShell 或命令提示符。
Maynor
2023-10-17
4980
[已解决]openai.error.APIConnectionError: Error communicating with OpenAI: HTTPSConnectionPool(host=‘api
Maynor
2023-10-17
1.9K0
每天一道大厂SQL题【Day08】
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。
Maynor
2023-02-17
2260
【ES三周年】+Elasticsearch 在大数据的应用
作为一个开源的分布式全文搜索和分析引擎,Elasticsearch(以下简称ES)已经在不少企业应用中发挥了重要作用。ES最早是由Shay Banon于2010年创建,经过多年的发展,现已成为一个功能丰富、性能优越的大数据搜索引擎。本文将介绍ES的一些关键知识点、技术原理和操作实践,并结合Java代码示例进行讲解,以帮助开发者更好地了解和应用ES。
Maynor
2023-02-14
5780
【1024程序员节】RestFul,mvc拦截器,SSM基本整合-学习笔记
文章目录 1.SpringMVC文件上传 1.1 多文件上传 1.2 JSON 2. RESTFul 2.1 什么是RESTFul 2.2 使用 2.2.1 步骤 2.2.2 实现 3. spring mvc 拦截器 3.1 概述 3.2 入门案例 3.3 多拦截器 4. SSM 整合:案例 4.1 需求 4.2 环境搭建 4.3 导入配置类 4.3.1 MyBatis配置类 4.3.2 Spring配置类 4.3.3 Spring MVC配置类 4.3.4 启动配置类 4.4 查询所有 4.4.1 需求
Maynor
2022-05-08
2000
2021年最新最全Flink系列教程_Flink快速入门(概述,安装部署)(一)(JianYi收藏)
下面为大家带来阿里巴巴极度热推的Flink,实时数仓是未来的方向,学好Flink,月薪过万不是梦!!
Maynor
2022-05-08
4360
2022年Flink面试题整理
Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务: DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理,支持Java、Scala和Python。 DataStream API,对数据流进行流处理操作,将流式的数据抽象成分布式的数据流,用户可以方便地对分布式数据流进行各种操作,支持Java和Scala。 Table API,对结构化数据进行查询操作,将结构化数据抽象成关系表,并通过类SQL的DSL对关系表进行各种查询操作,支持Java和Scala。 此外,Flink 还针对特定的应用领域提供了领域库,例如: Flink ML,Flink 的机器学习库,提供了机器学习Pipelines API并实现了多种机器学习算法。 Gelly,Flink 的图计算库,提供了图计算的相关API及多种图计算算法实现。
Maynor
2022-03-28
2.5K0
大数据Flink面试考题___Flink高频考点,万字超全整理(建议)
1.下面哪个不是 Dataset的转换算子() A. readTextFile B reduce distinct D rebalance
Maynor
2021-12-30
9000
[前端学习]大数据全栈工程师之一文快速上手vue3
📷 大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。暑假给自己在家附近找了份实习,作为初级码农,啥都得懂
Maynor
2021-12-07
1.6K0
[前端学习]ES6进阶学习
async/await 📷 📷 📷 EventLoop(同步和异步) 📷 📷 📷 📷 API接口案例 总结 📷
Maynor
2021-12-07
1930
分布式实时消息队列Kafka(三)
分布式实时消息队列Kafka(三) 知识点01:课程回顾 请简述Kafka的集群架构及角色功能? Kafka:分布式主从架构 主: Controller:管理集群中的Topic、分区、副本选举 从:Broker:对外接受读写请求,存储分区数据 Zookeeper 辅助选举Active的主节点:Crontroller 存储核心元数据 请简述Kafka中Topic管理的脚本及常用选项参数? 使用命令行中的脚本命令实现管理 脚本:kafka-topics.sh 常用选项
Maynor
2021-12-07
7900
分布式实时消息队列Kafka(二)
cord.key(); //获取Value String value = record.value(); System.out.println(topic+"\t"+partition+"\t"+offset+"\t"+key+"\t"+value); } ```
Maynor
2021-12-07
4860
Flink工作中常用__Kafka SourceAPI
https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/connectors/index.html
Maynor
2021-12-07
5030
2021年最新最全Flink系列教程__FlinkTable&SQL(六、七)
day06-07_FlinkSQL&Table 今日目标 了解Flink Table&SQL发展历史 了解为什么要使用Table API & SQL 掌握Flink Table&SQL进行批处理开发 掌握Flink Table&SQL进行流处理开发 掌握常用的开发案例 Flink-SQL的常用算子 Flink Table & SQL FlinkTable & SQL 是抽象级别更高的操作, 底层Flink Runtime => Stream 流程 批处理是流处理的一种特殊形态 FlinkSQL
Maynor
2021-12-07
1640
SparkMllib介绍
1-ML算法,包含-机器学习分类算法、聚类算法、属性降维算法、协同过滤算法 2-特征化:特征抽取、特征转换、特征选择、特征降维 3-管道Pipeline:将数据处理或特征工程的流程按照管道的方式去串联 4-持久化Persistence:保存模型,保存管道 如何理解保存模型? 原因就是不可能每次都去训练模型,而将已经训练好的模型进行保存,保存在本地或hdfs中,在本地或hdfs中加载已经训练好点模型,直接可以做预测分析 5-工具:包括线性代数、统计学、数据处理科学
Maynor
2021-12-07
3460
RestFul,mvc拦截器,SSM基本整合-学习笔记
文章目录 1.SpringMVC文件上传 1.1 多文件上传 1.2 JSON 2. RESTFul 2.1 什么是RESTFul 2.2 使用 2.2.1 步骤 2.2.2 实现 3. spring mvc 拦截器 3.1 概述 3.2 入门案例 3.3 多拦截器 4. SSM 整合:案例 4.1 需求 4.2 环境搭建 4.3 导入配置类 4.3.1 MyBatis配置类 4.3.2 Spring配置类 4.3.3 Spring MVC配置类 4.3.4 启动配置类 4.4 查询所有 4.4.1 需求
Maynor
2021-12-06
2160
Spring 发送 JSON 数据提示 Unsupported Media Type 错误 “status“: 415, “error“: “Unsupported Media Type
在 POST 数据的时候,我们可能会使用 JSON 为数据源,但是在发送后,我们得到下面的错误信息:
Maynor
2021-12-06
6800
【Spark Streaming】Spark Day11:Spark Streaming 学习笔记
将每批次数据状态,按照Key与以前状态,使用定义函数【updateFunc】进行更新,示意图如下:
Maynor
2021-12-06
1K0
[hadoop3.x系列]HDFS REST HTTP API的使用(二)HttpFS
[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
Maynor
2021-12-06
9950
✨[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
Maynor
2021-12-06
2.4K0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档