腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

成长道路

专栏作者

31

文章

51179

阅读量

36

订阅数

oozie action参数传递

hive 编程算法 shell sql spark

File file = new File(System.getProperty("oozie.action.output.properties"));

2019-07-02

1.9K0

spark提交任务,参数的形式是JSON

spark提交任务,参数的形式是JSON 比如：spark2-submit --class com.iflytek.test.Jcseg_HiveDemo spark_hive.jar {"tab

2017-12-28

1.4K0

org.apache.spark.sql.AnalysisException: Table or view not found: `traintext`.`train`; line 1 pos 14;

该文介绍了如何使用Spark SQL读取Hive表中数据的方法。首先介绍了Spark SQL的基本概述，然后给出了一个示例代码，展示了如何读取Hive中的数据。在代码中，使用了Spark SQL的DataFrame API和SQL查询来读取数据。最后，给出了在代码中使用Hive配置文件的示例。

2017-12-28

5.6K0

用oozie命令行的方式在yarn上运行spark任务

yarn node.js spark 大数据 xml

本文介绍了如何使用oozie命令行的方式在yarn上运行spark任务，包括准备环境、上传jar包、配置job.properties和workflow.xml文件、执行命令、查看oozie和yarn的界面、查看yarn的日志文件等步骤。

2017-12-28

2.2K0

OneHotEncoder介绍单属性多属性scala实现

spark java 编程算法

因为项目的需要，将数据库中表的属性向量化，然后进行机器学习，所以去spark官网学习了一下OneHotEncoder,官网的相关介绍比较少，主要是针对单属性的处理，但是项目的要求是多属性

2017-12-28

9940

本文介绍了如何使用Spark 2.0处理文本数据，通过Word2Vec将文本转为向量，并利用聚类、分类和回归算法进行文本分析。实验结果表明，Word2Vec对文本向量化效果良好，聚类和分类算法可以有效地对文本进行分类。

2017-12-28

1K0

降维:主成分分析(PCA)

本文主要介绍了一种在技术社区中，基于用户行为，自动为用户推荐相关技术内容的算法。该算法通过分析用户的行为数据，挖掘用户的技术偏好，从而为用户推荐精准、高质量的技术内容。同时，该算法还可以不断自我学习，不断优化推荐效果。

2017-12-28

7450

SparkStreaming小例子

本文介绍了一个基于Spark Streaming的实时计算例子，通过使用Ncat工具从标准输入读取数据，并实时计算输入数据的单词计数，并将结果输出到控制台。该例子中使用了Spark Streaming对来自标准输入的数据进行流式处理，并使用Ncat工具将处理结果输出到控制台。通过运行该例子，可以实时地看到输入数据的单词计数结果。

2017-12-28

1.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态