检索spark数据集中某列的特定行号数据

文章/答案/技术大牛

发布

2回答

apache-spark、apache-spark-sql

我有一个如下的数据集 +---------++---------++---------++---------++---------++---------++---------+ 现在，如果必须获取第4行列值，则为JKL。String dataTemp = df.select("column1").collectAsList().get(3).getAs("column

浏览 48提问于2019-12-31得票数 1

回答已采纳

1回答

如何在PySpark的Pandas中使用iloc获得相同的结果？

apache-spark、pyspark、apache-spark-sql

在Pandas dataframe中，我可以使用data.iloc[1:1000,:]获取前1000行。如何在PySpark中做到这一点？

浏览 24提问于2021-01-11得票数 1

回答已采纳

3回答

我们可以为Spark中的行提供一个序列Id吗？

java、apache-spark

我是spark的新手，我在数据文件中有大约10000行要读取 .builder().getOrCreate(); 我有一个向数据集中的每一行添加行号</

浏览 2提问于2020-05-28得票数 0

1回答

以列的形式查询一行数据

sql

我有一个表，其中每行包含256个值，这些值代表一系列相关的数值结果。我正在查询特定的行号，但希望返回列中的数据，因为我要将数据可视化为图形的应用程序要求它是单列。例如，我查询了第2行中的所有256列数据，但需要结果是某列中的这256个值。在excel中，这只是一个简单的转置。我看过UNPIVOT函数，但它似乎

浏览 20提问于2020-09-25得票数 0

1回答

如何用PySpark中某列的第一个非空值填充该列的空值

apache-spark、pyspark、apache-spark-sql

我正在尝试用数据帧中某列的第一个不为空的值填充该列的空值。我想要填充的数据帧如下所示，我希望'id_book‘列的所有行都具有相同的编号 ? Window.partitionBy('id_book').orderBy('id_book', 'date').rowsBetween(0,sys.maxsize

浏览 55提问于2021-03-16得票数 0

1回答

基于视图模型的数据网格行选择/聚焦

wpf、mvvm

根据要求，我在主页中有一个动态数据网格(用户可以选择要显示的列)。目前我正在使用MVVM设计模式。我的数据网格中的一列是“行号”(1，2，3，…)250)。根据新的要求，我需要在这个主屏幕中添加一个文本框。一旦用户在此测试框中输入行号，并单击“enter”键，我需要选择/聚焦数据集中相应的行。我如何从Vie模型中实现这一点？如何从视图模型中选择数

浏览 3提问于2013-05-07得票数 1

1回答

从2005年到2014年更新Server时C# SqlBulkcopy插入的不同行为

c#、sql-server、sqlbulkcopy

我有一个包含以下列的表Employee：现在，当我们使用SqlBulkCopy将数据从C#应用程序保存到Server 2005数据库时，它将按照Datatable行的相同顺序插入行。但是，当我们将数据保存到Server 2014中时，行的顺序会根据聚集索引列发生变化。通过具有时间戳列<e

浏览 1提问于2019-05-21得票数 0

回答已采纳

2回答

相对于数据存储，HDF5用于数据检索的效率有多高？

hadoop、apache-spark、hdfs、hdf5、bigdata

我想将一个键控500 to的表转储到HDF5中，然后检索匹配特定键的行。对于一个HDF5文件，所有数据访问之类的项都使用一个整数“行”号，因此我似乎必须在HDF5之外实现一个‘键到行号映射’。对于使用HDFS的Hadoop或Spark这样的分布式系统，检索难道不是更有效吗？我应该使用分布式系统来实现map/hashfunction吗？

浏览 2提问于2016-07-09得票数 3

回答已采纳

1回答

从字符串“”到类型整数的转换无效

mysql、sql、vb.net、tostring

请帮忙这是我的第一篇帖子。我的密码 Dim strName As String Dim strState As String

浏览 0提问于2015-07-22得票数 0

回答已采纳

1回答

如何从数据集中检索特定列？

c#、sql-server、ado.net

下面是查询数据库的行。standardResults = SqlHelper.ExecuteDataset( CommandType.Text,对于每一列，我试图在dataset对象上悬停或向下钻取内容，但我无法确定我需要的数据位于何处。谢谢你的帮助。

浏览 4提问于2015-12-09得票数 1

回答已采纳

1回答

我在Excel中处理一个大型数据库程序，我正在尝试检索特定命名区域的行号和列号。以下代码用于工作(temp_entryvalue是范围的名称)： temp_datafile_row = Workbooks(datafile_filepath).Worksheets(temp_datafile_worksheet有点疑难解答，这里的问题似乎是与temp_entryvalue关联的范围隐藏在excel表格中，但是名称是定义的</e

浏览 0提问于2017-12-20得票数 3

回答已采纳

3回答

如何在Spark中读取ORC文件时保留分区列

apache-spark、apache-spark-sql、orc

在Spark中读取ORC文件时，如果在路径中指定分区列，则该列将不会包含在数据集中。例如，如果我们有那么dfWithColumn将有一个reg

浏览 1提问于2018-09-13得票数 5

1回答

替换特定列的数据

r、matrix、dataframe

我正在连接我的Vertica数据库并检索大量数据。所有列中的数据集中都有NAs。但我希望从特定列中找到NAs，并将其替换为0。谢谢！

浏览 3提问于2013-09-19得票数 1

回答已采纳

3回答

如何计算一天从卡夫卡主题中获取的信息数量？

apache-spark、apache-kafka、parquet、spark-structured-streaming、delta-lake

我从Kafka主题中获取数据，并以Deltalake(拼花)格式存储它们。我希望找到在特定的日子中获取的消息的数量。My thought ：我想使用spark读取存储数据的目录，并在特定的一天使用".parquet“的文件进行计数。这会返回一个计数，但我不确定这是否正确。这条路对吗？是否还有其他方法来计算某一天(或某段时间)从卡夫卡主题中获取的信息数量

浏览 0提问于2019-07-16得票数 4

4回答

在PySpark dataFrame中给特定单元格赋值

python、apache-spark、dataframe、pyspark

我希望使用Spark DataFrame的PySpark在特定的单元格中更改一个值。简单的例子--我创建了一个模拟Spark DataFrame [ (45.7 miami 1 6.1 houston 例如，我想为

浏览 4提问于2018-05-17得票数 7

回答已采纳

1回答

使用行号列表作为标准填充字段

r、criteria

我有一个行号列表，表示数据集中包含异常值的行。我想在原始数据集中添加一个“离群值”列，该列标记包含异常值的行，但我不知道如何在r中使用行号作为标准。示例：id <-c("a","b","c","d")df<-data

浏览 0提问于2018-04-06得票数 0

回答已采纳

3回答

使用LINQ获取满足特定条件的datatable行号

c#、linq

如何获得满足特定条件的datatable行号数组？例如，我有一个列为"DateTime“的数据表。我想检索其中"DateTime“等于变量startTime的数据表的行号。我知道如何检索实际的行，但不知道datatable中的行号。如有任何帮助，我们将不胜感激:)

浏览 0提问于2012-02-15得票数 1

回答已采纳

1回答

从散列集中的表中获取特定列的数据

java、jdbc、hashset

我正在从数据库中检索一些表，并将这些表名存储在一个散列集中。我用来检索表的代码如下ResultSet rs = md.getTables(null, null, "%", null); hash. add(rs. getString(3) ) ;现在我有了散列集中的表。现在，我想从

浏览 0提问于2017-10-04得票数 0

1回答

过滤Vector类型的"features“列

apache-spark、apache-spark-sql

我正在开发一个程序，在该程序中，我需要根据特定条件显示数据集中的特定行。这些条件适用于我为机器学习模型创建的features专栏。这个features列是一个向量列，当我试图通过传递一个Vector值来过滤它时，我得到了以下错误： Exception in thread "main" java.lang.RuntimeException: Unsupported literal type class org.apache.s

浏览 1提问于2017-07-07得票数 2

1回答

如何在蜂巢内部建立索引？

hadoop、hive、bigdata

索引只不过是表的特定列上的指针。创建索引意味着在表的特定列上创建指针。如果在表中索引了某列，当查询该特定列时，如何指出该列的数据？

浏览 2提问于2017-12-06得票数 1

回答已采纳

点击加载更多