apache griffin本地安装部署

1.下载到本地github地址：https://github.com/apache/griffin

selenium使用webdriver,打开浏览器

from selenium import webdriver import time driver=webdriver.Chrome() driver.m...

shell定时执行

删除test1.sh的任务 sed -i '/test1.sh/d' /var/spool/cron/root 删除文件中含有test1.sh的行

oozie action参数传递

File file = new File(System.getProperty("oozie.action.output.properties"));

kettle环境搭建

1.github上面kettle的源码下载地址:https://github.com/pentaho/pentaho-kettle

通过oozieClient获取指定jobid工作流的状态信息以及节点的状态信息

<dependency> <groupId>org.apache.oozie</groupId> <arti...

Eclipse将引用了第三方jar包的Java项目打包成jar文件的两种方法

原文转载自：http://www.cnblogs.com/lanxuezaipiao/p/3291641.html

表格展示+多余数据省略+鼠标悬浮显示

该文介绍了如何在前端实现表格的根据内容自适应高度及鼠标悬浮显示标题栏。首先，需要给表格的td,th设置一些样式，包括居中显示、垂直居中显示、文本不换行、文本省略...

spark提交任务,参数的形式是JSON

spark提交任务,参数的形式是JSON 比如：spark2-submit --class com.iflytek.test.Jcseg_HiveDemo  s...

mako模板+django+分页

遇到的问题：我看网上html页面大家通过page2.next_page_number和page2.preivous_page_number获取上一页和下一页的页...

org.apache.spark.sql.AnalysisException: Table or view not found: `traintext`.`train`; line 1 pos 14;

该文介绍了如何使用Spark SQL读取Hive表中数据的方法。首先介绍了Spark SQL的基本概述，然后给出了一个示例代码，展示了如何读取Hive中的数据。...

hive脚本的三种执行方式

1.hive控制台执行，安装了hive之后直接命令行输入hive，进入控制台。 2.hive -e "sql语句",直接输入就会有结果，sql语句根据具体情况自...

hive基本概念

用oozie命令行的方式在yarn上运行spark任务

本文介绍了如何使用oozie命令行的方式在yarn上运行spark任务，包括准备环境、上传jar包、配置job.properties和workflow.xml文...

OneHotEncoder介绍单属性多属性scala实现

       因为项目的需要，将数据库中表的属性向量化，然后进行机器学习，所以去spark官网学习了一下OneHotEncoder,官网的相关介绍比较少，主要是...

Word2Vec

本文介绍了如何使用Spark 2.0处理文本数据，通过Word2Vec将文本转为向量，并利用聚类、分类和回归算法进行文本分析。实验结果表明，Word2Vec对文...

Jcseg分词器的实现详解

本文介绍了如何使用基于Java的jieba分词库和HanLP中文分词库进行中文分词。首先介绍了jieba分词库的使用方法，包括安装、配置和分词。然后介绍了Han...

文本型数据的向量化:TF-IDF

本文介绍了如何使用TF-IDF将文本型数据向量化，并使用PCA降维，最后使用Spark MLlib的IDFV方法进行分类。首先，使用TF-IDF将文本转换为数值...

scala的maven项目读取配置文件

降维:主成分分析(PCA)

本文主要介绍了一种在技术社区中，基于用户行为，自动为用户推荐相关技术内容的算法。该算法通过分析用户的行为数据，挖掘用户的技术偏好，从而为用户推荐精准、高质量的技...