14.4 Spark-SQL基于Cassandra数据分析编程实例

版权声明:本文为王小雷原创文章,未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/81058073

14.4 Spark-SQL基于Cassandra数据分析编程实例

本节主要内容:

Spark对Canssandra数据库数据的处理,通过Spark SQL对结构化数据进行数据分析。

  • 创建Gradle项目,引入依赖
  • 创建Spark Session连接
  • 写入Cassandra数据库
  • 读取Cassandra数据库
  • Spark注册SQL 临时视图执行Distinct操作

完整源码Spark2Cassandra.java

完整项目源码

14.3.1 引入依赖

compile group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.3.1'
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.3.1'
compile group: 'com.datastax.spark', name: 'spark-cassandra-connector_2.11', version: '2.3.0'

14.3.2 创建Spark Session

SparkSession spark = SparkSession
        .builder()
        .appName("Java Spark SQL basic example")
//            .config("spark.some.config.option", "some-value")
        .config("spark.cassandra.connection.host", "192.168.56.110")
        .config("spark.cassandra.auth.username", "busuanzi")
        .config("spark.cassandra.auth.password", "busuanzi.org")
        .config("spark.cassandra.connection.port", "9042")
        .getOrCreate();

14.3.3 写入Cassandra数据库表

ds1.write()
        .format("org.apache.spark.sql.cassandra")
        .options(new HashMap<String, String>() {
            {
                put("keyspace", "busuanzi_org");
                put("table", "top_n_url");
            }
        }).mode("append").save();

查询Canssandra数据库

14.3.4 读取Cassandra数据库表

Dataset<Row> ds = spark.read()
        .format("org.apache.spark.sql.cassandra")
        .options(new HashMap<String, String>(){
            {
                put("keyspace", "busuanzi_org");
                put("table", "top_n_url");
            }
        }).load();
ds.show();

14.3.5 Spark SQL Distinct去重

将ds DataFrame注册为SQL临时视图

ds.createOrReplaceTempView("dsv");

Spark SQL去重

ds.select("username", "projects", "comment").distinct().show();

完整源码Spark2Cassandra.java

完整项目源码

14.3.6 在IDEA运行项目设置

源码获取 https://github.com/wangxiaoleiAI/big-data

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券