首页
学习
活动
专区
工具
TVP
发布

最新最全的大数据技术体系

专栏作者
717
文章
541376
阅读量
33
订阅数
【大数据实训】python石油大数据可视化(八)
一直到2020年,我国原油产量基本处于平稳的状态,大部分原油来自国外进口;中国原油加工产量在华东、东北地区占比较大,华南地区相对较少。原油的加工企业对原油的加工有很大的影响,中国石油营业收入及净利润也十分可观。
Maynor
2023-12-21
1510
大数据技术之集群数据迁移
启动完毕后,将apache集群中,hive库里dwd,dws,ads三个库的数据迁移到CDH集群
Maynor
2023-11-03
2060
[已解决]大数据集群CPU告警问题解决
Maynor
2023-10-31
970
【大数据实训】基于当当网图书信息的数据分析与可视化(八)
(1)Linux: Ubuntu 16.04 (2)Python: 3.5 (3)Hadoop:3.1.3(4)Spark: 2.4.0(5)Web框架:flask 1.0.3 (6)可视化工具:Echarts (7)开发工具:Visual Studio Code
Maynor
2023-10-22
3760
【大数据实训】基于赶集网租房信息的数据分析与可视化(七)
(1)Linux: Ubuntu 16.04 (2)Python: 3.6 (3)Hadoop:3.1.3(4)Spark: 2.4.0(5)Web框架:flask 1.0.3 (6)可视化工具:Echarts (7)开发工具:Visual Studio Code
Maynor
2023-10-22
2880
2023年最新Python大数据之Python基础【七】管理系统
Maynor
2023-10-17
1690
Python大数据之Python进阶(六)多线程的使用
Thread([group [, target [, name [, args [, kwargs]]]]])
Maynor
2023-10-13
2400
Python大数据之Python进阶(五)线程
1. 线程的介绍 在Python中,想要实现多任务除了使用进程,还可以使用线程来完成,线程是实现多任务的另外一种方式。 2. 线程的概念 线程是进程中执行代码的一个分支,每个执行分支(线程)要想工作执行代码需要cpu进行调度,也就是说线程是cpu调度的基本单位,每个进程至少都有一个线程,而这个线程就是我们通常说的主线程。 3. 线程的作用 多线程可以完成多任务 多线程效果图:
Maynor
2023-10-13
690
Python大数据之Python进阶(七)线程的注意点
假如我们现在创建一个子线程,这个子线程执行完大概需要2.5秒钟,现在让主线程执行1秒钟就退出程序,查看一下执行结果,示例代码如下:
Maynor
2023-10-13
2000
2023年最新Python大数据之Python基础【六】变量
Maynor
2023-10-13
1270
2022年最新Python大数据之Python基础【五】(集合)
Maynor
2023-10-13
1200
2022年最新Python大数据之Python基础【五】(字典)
Maynor
2023-10-13
1420
2022年最新Python大数据之Python基础【五】(元组)
Maynor
2023-10-13
1080
每天一道大厂SQL题【Day30】腾讯QQ(一)创建表,并插入数据
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。
Maynor
2023-10-13
1440
Python大数据之PySpark(八)SparkCore加强
print(“释放缓存之后,直接从rdd的依赖链重新读取”) print(join_result_rdd.count())
Maynor
2023-10-10
1500
大数据课设,做个Hbase关键词查找文件(五)
题目:电影搜索引擎 功能:根据文档数据集,模拟用户输入一个电影关键 词后,搜索到哪些文档 难度系数:1.2 l.生成模拟数据集:用C+、Java、Python等语言编 写程序,按以下格式要求生成一个较大的模拟数据集 (不少于10000条数据)。 文档ID关键词ID1:出现次数关键词ID2:出现次数关 键词ID3:出现次数关键词ID4:出现次数.… 注意:关键词D1:6,表示关键词D1这一列的值为 6(即出现次数) 2.HBase编程:编写Java程序,实现本题功能,即在 HBase中创建一个表doc,把数据集中的数据全部插 入到doc表,然后再输入一个电影关键词,按以下格 式输出查询结果。尽可能详细描述程序的编译、在 DE环境下测试、打包、执行完整过程,附相应的截 图及程序执行结果。 文档D1:出现次数 文档D2:出现次数 文档D3:出现次数 3.测试:在HBase的Shell中测试上述Java程序的执行 结果。要求尽可能描述详细的测试过程和结果。
Maynor
2023-10-10
1390
Python大数据之PySpark(七)SparkCore案例
Maynor
2023-10-09
2090
Python大数据之PySpark(六)RDD的操作
from pyspark import SparkConf, SparkContext import re
Maynor
2023-10-08
2020
Python大数据之PySpark(五)RDD详解
rdd2=sc.textFile(“hdfs://node1:9820/pydata”)
Maynor
2023-10-04
3230
Python大数据之PySpark(四)SparkBase&Core
在哪个文件下面更改?spark-env.sh中增加YARN_CONF_DIR的配置目录
Maynor
2023-10-04
4010
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档