首页
学习
活动
专区
工具
TVP
发布

BigData_Flink

专栏作者
51
文章
105190
阅读量
13
订阅数
sublime text3配置显示空格和制表符
Perferences 中选 settings。 上面是配置显示, 下面是配置自动转换。
CoreDao
2022-01-10
9310
DataGrip如何将创建的console保存路径设置到指定目录?
当你的C盘在不断爆满的时候,当发现DataGrip的默认存储路径就在C盘,你还无可奈何。。 博主搜刮了一遍 DataGrip 的 settings ,终于找到了在哪里设置指定路径!
CoreDao
2021-12-07
5.5K0
shell特殊变量
#命令行解释器 #!/bin/bash #n为数字,$0代表该脚本名称,$1-$9代表第1到第9个参数,10以上的参数需要用大括号包含,如${10} $n #获取所有输入参数个数,常用于循环
CoreDao
2021-04-14
4400
Linux中2>&1的含义
A Linux中0、1、2的含义 名称 代码 操作符 Java中表示 Linux 下文件描述符(Debian 为例) 标准输入(stdin) 0 < 或 << System.in /dev/stdin -> /proc/self/fd/0 -> /dev/pts/0 标准输出(stdout) 1 >, >>, 1> 或 1>> System.out /dev/stdout -> /proc/self/fd/1 -> /dev/pts/0 标准错误输出(stderr) 2 2> 或 2>> System.er
CoreDao
2021-04-14
9350
Linux查看磁盘使用或数据量指令
”联手“废话不多说,直接上指令 #查询系统整体磁盘使用情况---------------------------------------------------- df -h #磁盘不够用要想办法了 #查询指定目录的磁盘占用情况--------------------------------------------------- du -h /目录 -s #指定目录占用大小汇总 -h #带计量单位 -a #含文件 --max-depth=1 #子目录深度 -c #列出明细的同时,增加汇总值 #实例:查
CoreDao
2021-04-14
2.2K0
Linux定时任务调度
定时任务调度‼️‼️ crond+玩法较多,可以设置自动校准时间,自定开启服务等 A 命令: #语法 crontab [选项] -e #编辑crontab定时任务 -l #查询crontab任务,列出当前所有任务调度 -f #删除当前用户所有的crontab任务 crontab -r #终止任务调度 service crond restart #重启任务调度 systemctl status|restart|stop crond.service #实例===========================
CoreDao
2021-04-14
3.5K0
Linux文件类型及UGO模型
A 文件的类型(5种) -普通文件 d目录 l软链接文件 c字符设备(键盘、鼠标) b块文件、硬盘 B 文件最前面的意思(UGO模型) -rw-r--r-- 可分为四部分-,rw-,r--,r--
CoreDao
2021-04-14
2.8K0
Linux统计文件夹下个数指令
A 指令 #1.统计/home文件夹下文件的个数 ls -l /home | grep "^-" | wc -l #grep过滤,保留-打头的 #^为定位符号,表示以-打头的(就是文件,不了解可以看相关中Linux文件类型) #wc表示统计 #2.统计/home文件夹下目录的个数 ls -l /home | grep "^d" | wc -l #3.统计/home文件夹下文件的个数,包括子文件夹里的 ls -lR /home | grep "^-" | wc -l #-R表示递归查询 #4.统计文件
CoreDao
2021-04-14
2.9K0
Linux如何找回root密码
A 方法一 思路:进入单用户模式,修改root密码(进入单用户模式,不需要root密码)。 前提是在电脑身边修改,不可远程修改。 步骤: 开机,在引导时输入 enter键,看到一个
CoreDao
2021-04-14
8.2K0
Linux之硬链接与软链接
2、在Linux中,元数据中的inode号(inode是文件元数据的一部分但其并不包含文件名,inode号即索引节点号)才是文件的唯一标识而不是文件名。(例如对一个文件重命名(mv)但inode号仍相同)。
CoreDao
2021-04-13
7.5K0
Yarn三种调度器
1. FIFO Scheduler 2. Capacity Scheduler 3. Fair Scheduler
CoreDao
2021-04-13
4320
面向对象之特性
面向对象之特性 A1 总述 封装、抽象、继承、多态 学习思路: 奥义+实现+意义 A2 封装(Encapsulation) 奥义: 信息隐藏或数据访问保护 类通过暴露有限的访问接口,授权外部仅能通过类提供的方式(或函数)来访问内部信息或数据。 实现: 通过访问权限控制,比如Java中的访问权限控制语法:private、public等关键字。 抽象 意义: 使属性和代码内部逻辑不可随意修改,提高diamagnetic可读性和可维护性。 类通过有限方法暴露必要的操作,提高类的易用性。
CoreDao
2021-04-13
3740
spark-yarn-cluster任务提交方式Logs出现Fails且无法访问
A1 原因 提交方式:注意用yarn-cluster提交方式的命令 日志没有收集 A2 解决 用yarn-cluster提交方式的命令命令:./spark-submit --master yarn
CoreDao
2021-04-13
3460
宝塔面板登录不上:请使用正确的入口登录面板
则在端口号后加上即可,如 http://公网ip:8888/8位随机数。访问即可。
CoreDao
2021-04-13
12.1K0
网站备案后没有找到站点
A1 问题: A2 原因: 您没有将此域名或IP绑定到对应站点! 配置文件未生效! A3 解决: 检查是否已经绑定到对应站点,若确认已绑定,请尝试重载Web服务(大部分是这个问题,添加对应站点和开放端
CoreDao
2021-04-13
3.2K1
宽窄依赖影响的是什么?
影响的是stage。 A1 原因 因为stage的切割依据是RDD之间的宽窄依赖。 stage的切割规则:从后往前,遇到宽依赖就切割stage。 A2 图解 从图中可以看出 stage中引入DAG
CoreDao
2021-04-13
3570
判断flatmap、reduceByKey、GroupByKey算子的宽窄
A1 思路 添加分区参数看是否报错 看源码参数是否有与分区相关的 A2 具体 flatmap(窄): reduceByKey(宽): GroupByKey(宽): A3 问题 宽窄依赖影响的是什么?
CoreDao
2021-04-13
3620
spark中如何判断算子宽窄?
A1 方法: 一种方法: 看参数是否可以改变分区数 可以看源码中参数是否有与分区相关的,比如numPartitions A2 例子: sortBy和map比较: sortBy最后有numPartit
CoreDao
2021-04-13
4190
spark中distinct是如何实现的?
这个过程是,先通过map映射每个元素和null,然后通过key(此时是元素)统计{reduceByKey就是对元素为KV对的RDD中Key相同的元素的Value进行binary_function的reduce操作,因此,Key相同的多个元素的值被reduce为一个值,然后与原RDD中的Key组成一个新的KV对。},最后再同过map把去重后的元素挑出来。
CoreDao
2021-04-13
1.4K0
为什么textFile用string去接收
因为spark中textFile读文件的函数沿用的MR,MR读文件是行读取器,一行一行读出来,只能string去接收。
CoreDao
2021-04-13
2030
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档