首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

大数据主要学什么,学习大数据你要会什么

- 学习大数据需要基础 1、java SE、EE(SSM) 90%大数据框架都是Java写 2、MySQL SQL on Hadoop 3、Linux 大数据框架安装在Linux...可能是1天、一周、一个月、一年) a、Hadoop :一般不选用最新版本,踩坑难解决 (common、HDES、MapReduce、YARN) 环境搭建、处理数据思想...b、Hive:大数据数据仓库 通过写SQL对数据进行操作,类似于MySQL数据库sql c、HBase:基于HDFSNOSQL数据库 面向列存储...d、协作框架: sqoop(桥梁:HDFS《==》RDBMS) flume:搜集日志文件中信息 e、调度框架 anzkaban...了解:crotabLinux自带) zeus(Alibaba) Oozie(cloudera) f、前沿框架扩展: kylin、impala

59900

Linux】vim使用

这个是在网上找一张关于vim键盘图 1. 前言 vim是Linux编辑器,功能上和记事本没有区别。不仅仅可以用来写c语言和c++,其它语言也可以在上面写。...2. vim基本概念 vim是一款多模式编辑器,但是目前掌握这3种即可,分别是命令模式(command mode)、插入模式(Insert mode)和底行模式(last line mode),各模式功能区分如下...该模式是我们后面用最频繁编辑模式。 末行模式(last line mode) 文件保存或退出,也可以进行文件替换,找字符串,列出行号等操作。 在命令模式下shift+: 即可进入该模式。...4. vim正常模式命令集 4.1 命令模式 允许使用者通过命令,来进行文本编辑控制。 像键盘是用来做输入,那么鼠标是用来对文本进行控制,例如复制粘贴,区域选择、大小写转换。...shift+6=^:将光标的位置定位到当前行开始 gg:将光标定位到整个文本最开头 shift+g=G:将光标定位到整个文本最后一行 n+shift+g=G:将光标定位到整个文本任意一行

18310
您找到你想要的搜索结果了吗?
是的
没有找到

Linuxfork使用

Linuxfork使用 fork函数可以算是Linux里有点不好明白函数了,调用一次,返回两次,虽然在平时写法中,有基本固定写法,但是有时候看起来还是有些让人头疼。...子进程所独有的只有它进程号,计时器等(只有小量信息)。因此,使用 fork()函数代价是很大。 ?...实际上,更准确来说,Linux fork() 使用是通过写时拷贝 (copy- on-write) 实现。写时拷贝是一种可以推迟甚至避免拷贝数据技术。...一般来说,在 fork() 之后是父进程先执行还是子进程先执行是不确定。这取决于内核所使用调度算法。...因此,在实际使用过程中,一般都需要对fork()返回值进行判断,看我们操作是父进程还是子进程。

3.5K41

Linux终端使用

linux图形环境下,我们可以通过鼠标点击来完成所有的管理任务,这是图形界面终端,另外一种就是文本界面的终端,在这个界面的终端下我们可以使用linux命令来控制系统完成响应工作,而这个文本终端也是服务器常用模式...linux命令控制系统工具,我们点击屏幕左上角“活动”就可以找到这个它 打开之后我们会看到linux命令行,在这里面我们可以输入linux命令来进行操作 第二种 打开文本终端,这个需要键盘上组合键...[Ctrl] + [Alt] + [F1] - [F6] ,其中F1和F2是两个可供登录图形终端,F3-F6为文本终端,现在我们使用[Ctrl] + [Alt] + [F3]打开文本终端,然后使用root...,会有对应快捷键提示 2、通用快捷键 Ctrl+r: 实现快速检索使用历史命令....以上快捷键都是在工作中可能会经常用到,不论是在图形界面打开终端还是字符界面的终端都可以使用,在这里面就不挨个演示了,各位可以在终端中使用任意字幕和空格模拟命令输入然后多多熟悉,尽快掌握。

11.7K20

Linux vi使用

Linux vi使用 vi模式转换 经常使用三种基本模式:命令模式(Command Mode),输入模式(Input Mode),末行模式(Last Line Mode),其他9种模式不做介绍,...很少会使用。...(其左边)一个字符,需输入X 删除一个词或词部分内容 为删除一个词,需将光标放置到该词开头并输入dw 为删除词部分内容,需将光标放置到该词要保存部分右边。...输入dw来删除该词余下部分 删除一行 将光标放置到该行任意处并输入dd 删除多行 ndd    包括当前行 删除到文件结尾 为删除从当前行到文件结尾所有内容(包括当前行),需输入dG 4、复制...如果是默认安装,CentOS和RHEL一般在/etc/vimrc下面,Debian和Ubuntu一般在/usr/share/vim/vimrc vi使用参考资料 http://wiki.dzsc.com

8.7K10

LinuxLinux命令行git使用

Git是一个开源分布式版本控制系统,可以有效、高速地处理从很小到非常大项目版本管理。...也是Linus Torvalds雷纳斯托瓦兹为了帮助管理Linux内核开发而开发一个开放源码版本控制软件。 2. 说白了git就是一个进行项目版本管理一个软件。...配置用户名和邮箱(否则git commit无法正常使用) 1.下面是已经配置好配置信息 git config --list // 查看git配置列表 2.配置成全局,当前普通用户所有本地仓库都有效...git config --global user.name "username" // 名字缩写即可 git config --global user.email "email"// 正常使用邮箱...第7行modified内容表示我们刚刚修改过文件.gitignore内容 第9行Untracked代表未被管理文件,这些文件是仓库中没有的文件 2.

3.4K30

LinuxLinux编辑器---vim使用

都表示强制操作 vs + 文件名进入分屏,但无论分多少屏,光标只有一个 ctrl + ww 切换光标到另一屏幕 可以不退出vim在底行模式下执行linux命令,但是需要在命令前加感叹号!...四、vim配置原理 vim配置是一人一份,一个用户配置是该用户,不影响其他用户!...每一个用户虽然用是同一个vim程序,但是大家用是不同vim配置,因为每一个用户(root和普通用户都包括),在自己家目录下,都有一个属于自己配置文件。.../install.sh 五、解决普通用户无法使用sudo提权 将用户切换为root,在root中找到/etc/sudoers文件并用vim打开,然后在下面列表中仿照root格式添加普通用户,最后在底行模式下输入...wq保存并退出 上面步骤完成之后,普通用户也可以使用sudo指令了,因为我们已经将普通用户添加至信任列表了。

2.2K30

LinuxLinux调试器--gdb使用

---- ---- 一、gdb介绍 1. gdb是linux上面的调试器,是非图形化界面纯命令行调试,用起来非常麻烦! 2....debug是给程序员用版本,添加了调试信息,用于解决软件或程序中出现问题,realease是发行给客户使用版本,并未添加调试信息,只需要给客户提供优越产品使用环境即可,至于是否能够debug调试...值得注意是:每一个二进制程序不仅仅只是一堆二进制代码,他们内部都是有特定格式Linux中形成可执行程序是elf格式。...中所添加调试信息,而realease版本是没有这些调试信息 三、gdb使用 1.显示代码: l+行号(list)指令 gdb会默认记住历史上曾经输入指令,l+0输入后gdb会从第零行开始显示部分代码...如果有断点,就停下来,如果没有断点就直接运行起来,如果想要跳到下一个断点,可以继续按fn+f5 2.取消调试:fn+shitf+f5 3.直接运行:fn+crtl+f5直接运行,有断点也不会调试 linux

3.5K30

Linux中Crontab使用

一.安装依赖 yum install cronie 二.添加 Crontab crontab -e 三.查看crontab内容 crontab -l 其中常见一些内容 例子: # 每月最后1天 0...0 L * * * 说明: Linux * * * * * - - - - - | | | | | | | |...星号(*):代表所有可能值,例如month字段如果是星号,则表示在满足其它字段制约条件后每月都执行该命令操作。...逗号(,):可以用逗号隔开值指定一个列表范围,例如,“1,2,5,7,8,9” 中杠(-):可以用整数之间中杠表示一个整数范围,例如“2-6”表示“2,3,4,5,6” 正斜线(/):可以用正斜线指定时间间隔频率...同时正斜线可以和星号一起使用,例如*/10, 示例 0 2 * * * xx.sh .每天 02:00 执行任务 0 5,17 * * * xx.sh 每天 5:00和17:00执行任务 * *

84620

linux命令tree使用

有时候我们新建完项目,想查看一下项目的目录结构,此时我们就可以使用tree命令了,但是mac电脑没有自带tree命令,我们需要安装tree。...npm来安装, npm install tldr -g 之后运行: tldr tree 打印如下: tree 以树形式显示当前目录内容...-a - 打印没有缩进行树,显示完整路径(使用-N不转义空格和特殊字符): tree -i -f - 以可读格式打印每个文件节点大小,目录显示其累积大小(类似在du命令中所示)...: tree -s -h --du - 使用通配符(glob)模式在树层次结构中查找文件,并删除不包含匹配文件目录: tree -P '*.txt' --prune - 在树层次结构中查找目录...,删除不属于所需目录目录: tree -P 文件夹名 --matchdirs --prune See also: du 以上便是tree命令使用,希望对你有所帮助。

1.2K30

Linux之gdb使用

当我们能够在windows下,使用vs 2019等编译器去进行调试时候,我们可以将在Linux使用gdb调试这两者之间进行对比: 调试这个操作,在方法上有区别吗?...(Linux和windows)其实,在调试思路上是一样,在调试操作方式上一定不一样。 因此,在学习Linuxgdb调试时,一定要抓住我们调试思路去学习。...在Linux下,我们使用是命令行调试。...在Linux中,用gcc/g++生成软件程序是release版本! (这里顺便复习一下:gcc默认:动态链接、默认release) 所以,我们需要将其变成debug。...当我们进入一个函数后(这里依然使用24行函数,也就是第一个断点函数进行举例),想要查看main函数栈堆情况,可以使用指令bt  进入这个函数后,我们只想要跑完这个函数,又不到下一个断点,那么使用指令

2.1K20

Linux篇】--awk使用

一、前述 awk是一个强大文本分析工具。相对于grep查找,sed编辑,awk在其对数据分析并生成报告时,显得尤为强大。...简单来说awk就是把文件逐行读入,(空格,制表符)为默认分隔符将每行切片,切开部分再进行各种分析处理。...map(key) 支持内置变量 ARGC               命令行参数个数 ARGV               命令行参数排列 ENVIRON            支持队列中系统环境变量使用...浏览记录个数 NR                 已读记录数 OFS                输出域分隔符 ORS                输出记录分隔符 RS                ...2、举例 只是显示/etc/passwd账户:CUT awk -F':' '{print $1}' passwd 只是显示/etc/passwd账户和账户对应shell,而账户与shell之间以逗号分割

1.7K20

Linux之gcc使用

动态库并不存在于我程序中,但是我知道这个动态库地址,每当我有使用动态库需求时就能根据这个地址去找到这个动态库。 静态链接 你觉得每次都要出去上网太不安全了,所以你就和你家长商量买一台电脑。...你家长十分开明,他们把你在网吧经常用那台电脑买回来放到了你房间。此后你再有上网需要时候就不必再跑到网吧了,而是直接在房间里就可以使用。...那么你家长从网吧买回那个你经常使用电脑让你以后不用再去网吧了,这个过程就相当于静态链接。所谓静态链接就是每次我需要使用库中函数时,直接从库中拷贝一份。...区分动/静态链接 查看链接属性 file+可执行程序文件名 知道是动态链接以后还可以使用ldd+可执行程序文件名来查看所依赖动态链接库 动态链接库:前缀为lib,后缀为.so 静态链接库...:前缀为lib,后缀为.a libc.so.6去掉前缀lib和后缀.so以及版本号.6,最后只剩下c,所以这个是C标准库 指定静态链接 当我不指定时Linux将自动采用动态链接,如果要使用动态链接就要在编译生成可执行文件时加上

3K00

Linux篇---Vi使用

一、前述 Vi类似记事本,所以用好记事本对编程效率有很大得影响,有着事半功倍效率。...vim /path/to/somefile vim +# :打开文件,并定位于第#行 vim +:打开文件,定位至最后一行 vim +/PATTERN : 打开文件,定位至第一次被PATTERN匹配到行首...,转为输入模式;     a: 在当前光标所在字符后面,转为输入模式;     o: 在当前光标所在行下方,新建一行,并转为输入模式;   O:在当前光标所在行上方,新建一行,并转为输入模式;    ...    I:在当前光标所在行行首,转换为输入模式     A:在当前光标所在行行尾,转换为输入模式     输入-->编辑: ESC 编辑-->末行: : 末行-->编辑: ESC, ESC 4、...编辑模式 移动光标 字符 h: 左;j: 下;k: 上;l: 右 单词 w: 移至下一个单词词首 e: 跳至当前或下一个单词词尾 b: 跳至当前或前一个单词词首 行内 0: 绝对行首 ^: 行首第一个非空白字符

5.2K10

Linux sed 命令使用

首先,就昨晚消息道歉,虽然整蛊大家了,但是我还是挺开心。...sed是一种流编辑器,配合正则表达式使用,sed处理文件之时,把当前处理文保存在缓冲区,sed命令处理缓冲区内容,将缓冲区内容显示在到屏幕上,sed能够对一些重复操作动作进行简化。...在当前行下面插入文本 i \ 在当前行上面插入文本 c\ 将选定行,改为新文本 D 删除模板块第一行 d 删除选择行 g 获取缓冲区内容,并替换当前模板块中文本 G 。。。。。。。。.../NewString/g' filename 全面替换标记 使用后缀 /g 标记会替换每一行中所有匹配: sed 's/StringOriginal/NewString' filename 定界符...以上命令中字符 / 在sed中作为定界符使用,也可以使用任意定界符: sed 's:StringFileOriginal:NewStringFile:g' sed 's|StringFileOriginal

3.1K100

Linux使用

Liunx使用 命令管道连接 | 命令管道符合为|,可以将两个命令进行连接,连接后第一个命令输出结果作为第二个命令输入信息 比如 ls /ect | more -10 分屏显示etc文件夹下...10行数据 Linux文件系统结构 / : 根目录 /home: 主文件夹,登录用户主文件夹 /etc :操作系统配置文件保存位置 /usr : 用于添加程序文件,用户很多应用程序和文件都放在这个目录下...root : 超级用户目录 改变当前工作目录命令 cd 目标目录 cd 没有参数时候直接返回用户主目录 cd /etc : 使用绝对路径切换当前工作目录 cd .....上传本地当前文件abc.txt到远程服务器 exit : 退出 windows 操作Linux pyttty 开源软件 Linux打包命令 tar -czvf 包文件.tar.gz 文件夹1...,我们可以使用vi编辑器修改 重启tomcat,我们使用zip安装方式安装,因此需要在Tomcatbin下执行: .

7.3K30
领券