10_尚硅谷_Sqoop_脚本调用.avi原创

好，然后正常的这些都可以，但是公司当时用的。你不可能说真的要导入的，你去走一下吧，哎，你看啊，还干什么事呢，他每天呢，之前不是讲了一个什么，可以执行一个hi口这这个文件啊，我们杠E-F还有还有印象吗？杠E执行的是什么。执行一个语句，不用进到那个汉窗口吧，杠F可以执行一个什么文件，对吧？哎，通常这种文件或者说这个命令是干什么用的，脚是不是写到脚本里面给定时任务用的呀，对吧，你每天要做分析，你不能说每天晚上12点或者一点自己手动的去走一下这个hi考，去敲一下这个mini令ma，哎，所以说你把mini令啊放在一个脚本里边，然后供那个C德也好，后面学的屋子也好，或者说有的公司用那个阿卡班也好等等啊这些调度工具来调度的吧，你不能说你光秃做这张命令他没法调度吧。同样的这个SCO呢，也是一样的，那你每天分析完数据，你是不是刚才分析的，你看我分析完数据以后，你要导到MY里边，你不能手动导吧，哎，都是通过命令它也提供了，哎这种脚本啊，这种脚本可以写在一个脚本里边来供调用的，OK，那我们把这个做一下。

嗯，HDFS到。MY吧，到MY那这块我们先写一个。Make一个。随便叫我吧，啊，来一个任务的一个，然后touch或者直接VI。叫吧，下来一个任务。导入是酷跑还是Q点？这种后缀名是它以op BT结尾的是吧，其实这个后缀名都没有关系的，但是你习惯性还是要要用它默认那种后缀名嘛，就像你那个have的一个文件一样，你给他写成点hi吧，对吧，写成它默认的一个后缀名，那这里边写什么呢？这里面其实就写什么。

写你要的命令吧，哎，写你要懂的命令啊，我们还是这个命令，就是刚才我们找到什么。导出数据到MYS当中吧，导出这数据到MYS当中，OK。把这个粘贴过来，粘过来好像这说然后怎么执行呢，这样的库吧，然后然后跟上你的。跟上你的脚本吧，啊，跟上你的脚本，那既然如果说他通过这种命令来执行的话，你你用call来做这个事情都能做了吧。对吧，哎，你把这个东西是不是写到一个什么点SH文件里边。然后你用框去执行这个DSS文件啊，对吧，这都可以的，也就是说这种无论什么框架啊，提供这种脚本的一个编写啊，都是为了方便你用定时任务来操作的，因为大数据当中，你可能每天或者每个月或者每年啊都要执行任务，你不能说人为的，而且这个任务一般都执行在凌晨一两点，因为他要对前一天的所有数据做综合嘛，你不能说我我今天要分析，我要分析今天数据，我九点就开始这个任务，那不合适吧，对吧，肯定是凌晨一两点，然后才能对前一天的数据做分析，那肯定是你不能说晚上一两点你还去。

启动一个任务吧，你自己手动启动一个任务，这不合适啊，都是这种定时任务来做的啊，定时任务来做的，那我们这个任务是在job底下有一个这个东西啊走一下。那这个走一下，正好我们可以测一下这个MY的数据，我们是不是没有删啊。看能不能插入吧，因为上一次是那个切分的错误，对吧，切分的错误。走到卖大家就知道了，因为他没有没有。

查找数据。这地方卡在这了。对吧，那感觉到卡这了吧，应该不是我电脑这么慢吧，不至于吧。哎，这卡卡在这了。等会啊，别着急别着急嘛，对吧，别着急啊，来看那个任务刷新一下。当年那个任务吧，还没走完，等他走完，等他走完。没事，我们就看一下日志。运行过程当中日志还看不了是吧。

那我们只能手动给他干掉了吧？这个走不了了，走不了了，来真走不了了，我我还是相信我的机器了，来这干掉了吧，来刷新一下这个任务还没停，七天后自动挂呀，你要七天后自动挂是吧？来刷新一下这个东西还看不了日志是吧。GPS看这个，我们得把这个这个东西给干掉，对吧，Q杠九他这个东西没。来这边一下这个APP master嘛，对吧，就是为一个任务单独启动的，他又起来了是吧，这个东西这个是假的吗？我们再跳一次对吧。假的呀，没了吧，没了这个炸是还的那个是吧，OK，那我们这个地方干掉了之后，我们看一下刷新一下。

行了吧，来进来。然后找到这个具体的任务日志。嗯。进来日志。他的日志呢？他卖端的日志呢。这个地方的错误，大家其实都知道错误是吧。啊，知道没有啊对，这这个地方什么看不了呢，手头漂亮看不了日志了是吧。这个错误就是这个地方的吗？有数据啊，什么有数据，这个是之前查的的数据啊，这的数据啊。对，就是ID冲突，但是这个地方为什么这次看不了再跑一次是吧。

先查一下啊，他还有两条是吧，再来一次。他不还不是卡在那儿吗，对吧，有什么意义呢。这次还能成功是吧？玄学啊，这个为什么看不了日志了，就很奇怪啊，这应该能看到那个是。ID冲突啊，ID冲突。啊，假外星人啊。正在运行当中，这个是看不了的。这怎么看日志啊，对吧，它在一体当中叫本都看不了，任何日志都看不了，对吧，这个这个地方的日志是什么，是关于。弄的manager的一个日志啊，不是说你任务的日志，你任务的日志还是要去这个ma端看的，跟这个地方看。

他还卡在这了，等一下是吧，那就等一下呗。行，我把这个要打开啊，把这个异常呢，大家看一看，是这个多动定义了吧，他是因为是自增的一个，这个还不是因为自增是主键吧，主键不能重复，主键不能重复，OK，那我们在这把它窗开的像个cat，然后这个table。这。然后我开始以为我我我印象当中他应该会卡在这啊，然后刚说完那句话，啪啪打脸是吧，然后跳出来一个是吧，其实卡在这卡在这，我知道他会卡一个地方，但是记错了，我以为卡在这儿，OK，然后这一块呢，你要注意啊，当时你现在不要起这个任务，因为。哎，这个东西又自己挂掉了是吧。啊，自己挂掉了就可以起了啊，我想说的就是，如果你这地方GPS你还看到那个什么master在的话，你不要急着去起任务，他起不来起不来OK，再走一下这个肯定就能走这个脚本啊，就能导进去了，就能导进去了。

所以说麦克端的一个任务最终还是要到这个地方来看啊，四。这回他就能走完了，那不会卡了。你看就是说他在控制台打印的一些错误呢，或者说刚才压根就没做是吧，还还卖个100%的呢。其实脉搏是走完了，它是什么地方出错。Outut，这块出的错吧，Map是走完，但是他这块他不把错误打印到这了，所以说我一来的时候就要求大家把那个。历史服务给配上啊，历史服务给配上，要不然你这个错根本就找不到，你还以为自己电脑卡了啊，你跑多少次都跑不了，那你此时再来看这个数据。

又能导进来吧，哎，能导进来了，这是主键的问题，主件的问题啊，正好再让大家看一下这个日志啊，报在哪了，它这个错误日志报在哪了啊是脉货端或者是六三，它相应的都会有相应的一个日志啊，相应的日志。