首页
学习
活动
专区
工具
TVP
发布

深度学习之tensorflow实战篇

专栏作者
604
文章
1403625
阅读量
84
订阅数
python 安装spark_Spark环境搭建 (Python)
—————————————————————————————————— 2018-5-11更新
学到老
2019-02-14
9400
Hadoop查看所有JOB以及如何Kill指定用户的所有Job
如何kill掉制定用户的所有job,有没有现成的命令?我看了一下hadoop job命令的提示,没有这样的命令。 其实实现kill指定用户的job也非常简单,本身hadoop job命令已经带有很多实用的job管理功能了。
学到老
2019-02-14
1.5K0
大数据与Hadoop/Linux/hive的关系
?
学到老
2019-02-14
7810
python下Kafka 教程系列(二)安装与基本操作
kafka简介(摘自百度百科) 简介: afka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。
学到老
2019-01-25
1.3K0
python下的pyspark报错集锦
出现这种错误是是在spark启动从节点时出现的。 解决的方法是,在spark-env.sh中加入一条 SPARK_LOCAL_IP=127.0.0.1 然后就完美解决报错了! D:\spark\spark-2.2.0-bin-hadoop2.7\bin找到load-spark-env.sh,之后notepad打开,增加如下,完成
学到老
2019-01-25
1.6K0
R分词继续,\"不|知道|你在|说|什么\"分词添加新词
* 中文分词常用实现: 单机:R语言+Rwordseg分词包 (建议数据量<1G) 分布式:Hadoop+Smallseg库 词库:Sougou词库,Sougou输入法官网可下载 这里只先介绍单机的实现: 1、R语言:专门用于统计分析、绘图的语言 2、Rwordseg分词包:引用了@ansj开发的ansj中文分词工具,基于中科院的ictclas中文分词算法,无论是准确度还是运行效率都超过了rmmseg4j。 * 环境准备 (Windows或Linux版本都行): R下载:http://mirrors.us
学到老
2018-03-19
1K0
Hadoop查看所有JOB以及如何Kill指定用户的所有Job
如何kill掉制定用户的所有job,有没有现成的命令?我看了一下hadoop job命令的提示,没有这样的命令。 其实实现kill指定用户的job也非常简单,本身hadoop job命令已经带有很多实用的job管理功能了。 列出Jobtracer上所有的作业 hadoop job -list 使用hadoop job -kill杀掉指定的jobid hadoop job -kill job_id 组合以上两条命令就可以实现kill掉指定用户的job for i in `hadoop job -list |
学到老
2018-03-16
1.8K0
大数据与Hadoop/Linux/hive的关系
?
学到老
2018-03-16
1.1K0
Hadoop 2016年11月24日
安装完hadoop,下面我们从视觉上看看hadoop怎么玩的。 我们可以在win7系统上,通过web界面,在浏览器地址栏输入地址,直接查看hadoop的运行情况; 10.10.11.191:500
学到老
2018-03-16
5260
hadoop常用的基本命令,HIVE复制文件,修改文件名
创建目录 hadoop dfs -mkdir /home 上传文件或目录到hdfs hadoop dfs -put hello / hadoop dfs -put hellodir/ / 查看目录 hadoop dfs -ls / 创建一个空文件 hadoop dfs -touchz /wahaha 删除一个文件 hadoop dfs -rm /wahaha 删除一个目录 hadoop dfs -rmr /home 重命名 hadoop dfs -mv /hello1 /hello2 查看文件
学到老
2018-03-16
1.9K0
hadoop-R语言-安装NLP自然语言分析包
引言: R语言是一种非常强大的分析与展示的统计科学家工具,其也提供了若干关于自然语言的分析处理工具,本文讲展示如何在Linux进行安置。 1.  自然语言处理(NLP)   对于英语体系,基于空格可以直接进行分词,而中文则不同,需要进行分词,然后进行后续处理。NLP是natural language processing的缩写,专指此类的工作。     自然语言处理包: Snowball, RWeka     文本挖掘: tm     分词工具: Rwordseg 2.  所属环境     Linux: c
学到老
2018-03-16
8320
hive数据:名词解释
问题导读 1.hive数据分为那两种类型? 2.什么表数据? 3.什么是元数据? 4.Hive表里面导入数据的本质什么? 5.表、分区、桶之间之间的关系是什么? 6.外部表和表的区别是什么? Hive的数据分为表数据和元数据,表数据是Hive中表格(table)具有的数据;而元数据是用来存储表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。下面分别来介绍。  一、Hive的数据存储   在让你真正明白什么是hive 博文中我们提到Hive是基于Hadoop分布式文件系统的,
学到老
2018-03-16
1.1K0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
热点技术征文第五期
新风口Sora来袭,普通人该如何把握机会?
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档