如何使用spark-scala从表中获取空值的计数？

使用Spark-Scala从表中获取空值的计数可以通过以下步骤实现：

导入必要的Spark库和函数：

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

创建SparkSession对象：

val spark = SparkSession.builder()
  .appName("Count Null Values")
  .getOrCreate()

读取表数据并创建DataFrame：

val tableDF = spark.read.format("jdbc")
  .option("url", "jdbc:mysql://localhost:3306/database_name")
  .option("dbtable", "table_name")
  .option("user", "username")
  .option("password", "password")
  .load()

请将database_name替换为实际的数据库名称，table_name替换为实际的表名称，username和password替换为实际的数据库用户名和密码。

使用isNull函数和sum函数计算空值的数量：

val nullCount = tableDF.select(tableDF.columns.map(c => sum(col(c).isNull.cast("integer")).alias(c)): _*)

打印每列的空值数量：

nullCount.show()

完整的代码示例：

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

val spark = SparkSession.builder()
  .appName("Count Null Values")
  .getOrCreate()

val tableDF = spark.read.format("jdbc")
  .option("url", "jdbc:mysql://localhost:3306/database_name")
  .option("dbtable", "table_name")
  .option("user", "username")
  .option("password", "password")
  .load()

val nullCount = tableDF.select(tableDF.columns.map(c => sum(col(c).isNull.cast("integer")).alias(c)): _*)
nullCount.show()

这段代码将连接到MySQL数据库中的指定表，并计算每列的空值数量。你需要将database_name、table_name、username和password替换为实际的值。请确保已经正确配置了Spark和MySQL的依赖。

腾讯云相关产品和产品介绍链接地址：

如何使用spark-scala从表中获取空值的计数？

scala、apache-spark、apache-spark-sql

我有一个表名为"data“的表，它有5列，每列包含一些空值。我想要计算每一列的空值，我怎么才能为这个结果写代码呢！对一列进行计数很容易，但我如何编写代码来计算表格中的每一列。null |11 |null | +----------------+----------------+--------+---------+-------------

浏览 6提问于2018-09-05得票数 0

回答已采纳

3回答

查找未使用的CRM字段

dynamics-crm-2011、dynamics-crm、dynamics-crm-2013、dynamics-crm-4、dynamics-crm-2015

我们目前正在使用CRM 2015 ONLINE，我们需要从CRM组织中查找并删除未使用的字段。此外，我们认为通过删除未使用的字段-尤其是Lookup和Picklist/Option Set-type字段，可以获得一定的性能提升。因为这些类型的字段迫使CRM在每次引用它们时从其他数据库表中获取信息，所以当您知道永远不会有任何东西可以获取时，尝试获取

浏览 21提问于2015-08-19得票数 0

1回答

无法在转换步骤结束时获取系统数据

pentaho、kettle、pentaho-spoon、pdi

我想将转换开始时间和结束时间记录到表中。但是我得到了错误，字段start_date是必需的，但是找不到！。步骤2:使用表输入获取表A中记录的计数。步骤3:使用筛选器检查表A是否为空(计数= 0)，如果为空</e

浏览 2提问于2017-08-01得票数 0

2回答

如何避免使用SQL中的空记录进行计数

sql、sql-server、stored-procedures

当我试图从sql表中的列中获取值的计数时，它会返回该列所有值的记录，但我需要的是，如果列中有空记录，那么count不应该得到空记录，而应该计数其他记录。下面是我的查询，用于计数列的值 SELECT COUNT( dt_UserTTrainingDate2) as a FROM ref_Cour

浏览 4提问于2014-04-25得票数 3

回答已采纳

2回答

当SQL查询中的联接条件包含`file.id =-1‘时，它将返回所有行。为什么？

sql、postgresql

我在PostgreSQL上调用了这个查询，它返回了所有表行的计数！from left join users u on f.user_id = u.id我为最后一部分尝试了另一个值，它总是返回所有行的计数！

浏览 1提问于2021-09-22得票数 1

回答已采纳

2回答

如何查询表A或表B中的值？

sql、sql-server、database、purchase-order

从"PO_LIST_NO" B表(接收进度表)中获取和"PO_NO"，然后从A表中获取值。在主表(接收计划)中，必须在"PO_ID“或"RS_ID”中有一个值。如果主表(接收计划)的值位于PO_ID列，则RS_ID列必须为NULL。另一方面，如果主表(接收计划)的</em

浏览 4提问于2015-09-09得票数 4

4回答

不同的数面

sql、count

我想知道以下4个简单查询在结果和功能方面的区别：

浏览 5提问于2010-09-07得票数 2

1回答

在spark dataframe中保存双精度数据类型

scala、apache-spark

在下面的spark-scala代码中，双精度数据类型的值以不同的方式存储。虽然在表中，但所有列都是字符串类型。黑斑鹿也有同样的结果。有人知道如何确保保存和检索精确的值吗？

浏览 36提问于2019-04-01得票数 0

2回答

存储行数还是只计算行数？

mysql、database、database-design

为了举例说明我的情况，请考虑一个像堆栈溢出这样的问答平台。基本上有questions和answers表。显示特定问题答案的数量的最佳做法是什么？还是使用MySQL在answers表中计算答案的行数？我在这个选项中关注的是对数据库的

浏览 5提问于2012-03-01得票数 1

回答已采纳

1回答

是否将包含计数器列的hbase表映射到外部配置单元表？

hive、hbase

我正在尝试映射配置单元中的表以查看hbase表。我使用多个列这样做没有问题，但不确定如何使用计数器列进行管理。这个是可能的吗？当我扫描hbase表时，计数器列的一个示例值是\x00\x00\x00\x00\x00\x00\x00\x01。我怀疑我在配置单元表中设置的列类型不正确。我已经尝试了int和strin

浏览 1提问于2016-12-01得票数 0

1回答

oracle数据库查询过程中使用的索引

oracle、index、statistics

我是一个使用和学习甲骨文数据库的新用户。= 168schema2发生了什么事，为什么schema2不使用index range scan？在schema2上运行schema2之后，我从解释这是index range sc

浏览 0提问于2020-09-29得票数 0

1回答

使用row.getLastCellNum()检索非空单元格的数量

java、excel、apache、apache-poi

我正在尝试获取一行中非空数的单元格。| 1 | 2 | 3 | | | |使用(int) row.getLastCellNum();我还注意到，如果我从excel工作表</em

浏览 3提问于2017-09-05得票数 0

2回答

VBA中的DCount()总是返回一个空值

ms-access、vba、ms-access-2013、dcount

我试图使用DCount()函数从我的表中返回一个计数。我的问题是它总是返回一个空值。我应该如何重写这个VBA语句，这样它才能返回准确的计数？

浏览 2提问于2017-10-18得票数 0

回答已采纳

1回答

在mysql中获取空日期和非空日期的计数

mysql

我在mysql中有一个名为cfixed表的表，如下所示我需要得到Null的计数，而不是Null的日期，如下所示我编写了一个mysql查询，用于获取null和null日期的计数，如下所示用于获取非空日期，但不显示0计数。SELECT date, COUNT(*) counts FROM cfixed WHERE fixed IS NOT NULL GROUP

浏览 3提问于2016-07-11得票数 0

回答已采纳

3回答

在PostgreSQL中查找非NULL的列

sql、postgresql、information-schema

我为每个表分配了一个值来计算可为空的列的数量。count(*) FROM INFORMATION_SCHEMA.COLUMNS GROUP BY table_name; 现在我必须修改它来计算“有属性”非空“的列。还是只会检查天气列名不为空？

浏览 5提问于2011-03-18得票数 49

1回答

如何在多列特定日期的sql中获取数据并计数空值和非空值

mysql、sql

我需要帮助来获取数据，并在一个表中的多列特定日期的sql中计数空值和非空值。我知道如何获得单个查询中的特定日期的空值和非空值，如下所示，但我不知道如何将其与所有列合并，在一个查询中计算值为null和null。wmwhse1.RECEIPT

浏览 13提问于2022-10-03得票数 0

2回答

单表中的多行计数

sql、select、db2

如何使用db2查询从单个表中获取多个记录的计数？假设我想使用以下方法获得1条记录的计数：我需要的是对每个记录在不同的行中对同一表中的多个记录进行计数<

浏览 4提问于2015-02-26得票数 1

回答已采纳

2回答

如何获取sql中给定行中具有空值的列的计数？

mysql、sql、multiple-columns、notnull

我有一个有115列的表。在7列中，我需要获取给定行中具有非空值的列的计数。

浏览 33提问于2020-09-15得票数 0

回答已采纳

1回答

如何才能找到使用DynamoDb表读取容量的方法？

amazon-web-services、amazon-dynamodb、aws-lambda、access-control

我们有一个DynamoDB表，我们认为它可以关闭和删除。我们关闭了查询它的web服务的调用方(并且可以在web服务器上看到调用方降为零)，但是AWS控制台仍然显示读取容量消耗大于零。但是，与读取有关的所有其他图形都没有显示数据:获取延迟、放置延迟、查询延迟、扫描延迟、获取记录、扫描返回的项计数和查询返回的项计数都是空的。在我知道正在使用的其

浏览 1提问于2017-11-16得票数 5

回答已采纳

2回答

用于计算表中的行数的SQL查询

ms-access、ms-access-2003

我在ms access 2003中有一个表(MYTABLE)，它具有以下列:表名、列名和计数。我想通读该表并为每个表和列动态地创建一个SQL语句，运行SQL以获取计数并更新表中的' count‘列。例如Tablename columnname count从年龄不为空<em

浏览 2提问于2013-09-28得票数 1

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

如何使用spark-scala从表中获取空值的计数？

相关·内容

如何使用spark-scala从表中获取空值的计数？

查找未使用的CRM字段

无法在转换步骤结束时获取系统数据

如何避免使用SQL中的空记录进行计数

当SQL查询中的联接条件包含`file.id =-1‘时，它将返回所有行。为什么？

如何查询表A或表B中的值？

不同的数面

在spark dataframe中保存双精度数据类型

存储行数还是只计算行数？

是否将包含计数器列的hbase表映射到外部配置单元表？

oracle数据库查询过程中使用的索引

使用row.getLastCellNum()检索非空单元格的数量

VBA中的DCount()总是返回一个空值

在mysql中获取空日期和非空日期的计数

在PostgreSQL中查找非NULL的列

如何在多列特定日期的sql中获取数据并计数空值和非空值

单表中的多行计数

如何获取sql中给定行中具有空值的列的计数？

如何才能找到使用DynamoDb表读取容量的方法？

用于计算表中的行数的SQL查询

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐