腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据智能实战

大数据与人工智能方向的论文复现、技术探索、工程实践的点滴记录和积累。

专栏作者

256

文章

390728

阅读量

56

订阅数

spark dataframe操作集锦（提取前几行，合并，入库等）

python scala bash bash 指令

spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。

2022-05-07

1.3K0

scala Calendar中获取月份遇到“坑”

calendar.get(Calendar.MONTH) 月份是从0开始的你设置是12 其实系统以为是1月，所以用0来表示1月，你如果想表示12月那就应该设置calendar.set(2011,11,31); 这样就会读出来是数字12

2022-05-07

4180

spark dataframe新增列的处理

scala bash bash 指令 spark

利用withColumn函数就能实现对dataframe中列的添加。但是由于withColumn这个函数中的第二个参数col必须为原有的某一列。所以默认先选择了个ID。

2022-05-07

7560

Spark 1.5.2(Scala 2.11）版本的编译与安装

打包 spark scala

Spark于11月9号又将几个BUG解决之后，release一个较新的版本。作为spark的追随者，于是开始重新进行spark的编译。

2022-05-07

4070

Spark R安装成功的步骤

spark java scala ruby on rails

网上有很多关于spark R的安装过程，但是按照那个过程总是出错。当然最常见的问题是：

2022-05-07

2600

Hive V1.2.1源码的解译

hive hadoop java spark scala

在利用spark sql on hive的过程中，访问Mysql总是报错，其报错的日志总是显示：

2022-05-07

2390

Kafka源码的编译（0.8.2.1)

kafka 分布式 scala

Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。

2022-05-07

1450

Spark1.5.1源码(Scala 2.11.7)的编译步骤

打包 spark hive scala

在编写spark程序的过程中，如果以master=local的方式是可以正常搞定的，然而如果将master设置为spark集群的方式则总是报各种错，通过源码查看，主要是AKKA通信与序列化之间的问题，而其核心原因是scala版本不匹配的问题。默认从apache官网下载的BIN包只支持2.10的，而2.11版本的还需要自己搞定。

2022-05-07

3110

Waiting for lock on */.ivy2/.sbt.ivy.lock to be available问题的解决

在进行SBT编译过程中，经常会碰到这样的问题。。。 Waiting for lock on */.ivy2/.sbt.ivy.lock to be available Waiting for loc

2018-01-09

2.3K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态