PySpark每一天出现的次数

文章/答案/技术大牛

发布

3回答

python、apache-spark、pyspark、apache-spark-sql

我有一个PySpark数据帧，它看起来像这样： +------+-------------------++------+----------|2020-06-20 01:11:12|+------+-------------------+ 我正在尝试找出每天使用不同端口的次数例如，生成的数据帧应如下所示： +------------+----------------+ |window | p

浏览 44提问于2020-12-15得票数 0

回答已采纳

1回答

将每个二元语法从列表格式移动到Pandas或Pyspark数据帧中的新行

python、pandas、apache-spark、text、pyspark

我有pandas和pyspark数据帧，每天每行都有二元组的列表。我想打破列表，并将每个二元组合移动到一行，计数按降序排列。如下所示是我拥有的数据帧。我已经按event_dt进行了排序。在“merged”列中，显示了二元语法的列表。例如，“漂亮的相遇”和“相遇后付费”是两个二元语法。双连词的列表每天都在继续... ? 现在，我想要将每个biagram移动到同一日期的新行。例如，“nice meet”将在一行中，而“meet postpaid”将在另一行中，而event_dt列则

浏览 40提问于2020-10-23得票数 0

回答已采纳

1回答

Apache特征提取Word2Vec示例和异常

python、scala、exception、apache-spark、word2vec

A.以下是我的配置：火花版本: 1.4.1 (版本也在1.4.0中)B.示例源代码：inp = sc.textFile(1.4.1-bin-hadoop2.6\python\lib\pyspark.zip

浏览 1提问于2015-08-15得票数 1

1回答

大熊猫在火花源中计数

pandas、apache-spark、hadoop、pyspark

目前正在尝试将我从pandas创建的脚本转换为pyspark，我有一个数据帧，其中包含以下形式的数据： index | letter0 | a2 | b4 | a6 | b 我想创建以下数据帧，其中存储了字母的每个实例的出现次数，例如，第一次看到"a“时，它的出现次数为0| 3 6

浏览 4提问于2019-06-20得票数 0

回答已采纳

3回答

如何使用pyspark计算出现的次数

python、apache-spark、pyspark

我正在尝试使用pyspark来计算出现的次数。假设我有这样的数据： (2,[u'a',u'c',u'd']),(3,[u'a']) ]) count = sc.parallelize([(u'a',0),(u&#

浏览 0提问于2016-04-12得票数 6

3回答

绘制Pandas DataFrame中的引用数

python、matplotlib、pandas

我有一个有两列的DataFrame。其中一个包含时间戳，另一个包含某个操作的id。大概是这样的：2000-12-29 00:20:00 action22000-12-31 00:20:00 action2我想知道在某一天内执行了多少个特定类型的操作也就是说，对于每一天</

浏览 1提问于2014-01-24得票数 13

回答已采纳

1回答

如何使用pySpark将items行中的数组列单元格转换为计数？

arrays、pyspark、dataset、transformation

我有一个在一列中有多个值的数据集，并且我想计算每个值在数据集的所有行中出现的次数。+ 1 ++ val3 + 2 ++---------+-------+ 代码在pySpark我有一个包含数组列的数据集，但我不知道如何正确使用它。我寻找了许多可以帮助我的示例和函数，但我没有找到，而且由于pySpark数据集是不可变<em

浏览 15提问于2019-10-06得票数 0

回答已采纳

1回答

计数与pyspark* dataframe中的某个值匹配的键值*

python、json、apache-spark、pyspark、apache-spark-sql

我有一个pyspark dataframe，它有一个值为string json的列。如何计算与字典内列表中的某个值匹配的值，并以列的形式返回报告？]}} +--------------------------------------------------------------------------+ 我想计算一下列表中有多少“升级”键是假的。因此，理想的数据帧将如下所示： +---------------------------------------------

浏览 18提问于2020-12-11得票数 0

回答已采纳

2回答

按不同的星期统计日期名称的出现次数

mysql、count

我有一个包含datetime字段的MySQL表。对于不同的星期，如何计算每一天名称的出现次数？任何指导都非常感谢，谢谢！

浏览 2提问于2012-03-06得票数 1

回答已采纳

1回答

使用UDF从Apache中的其他列创建新列

python、apache-spark、pyspark、apache-spark-sql

我正在尝试从Apache中的另一列中创建一个新列。2018-05-26T00:00:00.000+0000 5 Thursday我尝试过 & & 手册中的建议/worker.py", line 262, in main File "/databricks/spark/python/pyspark/worker.p

浏览 0提问于2018-10-26得票数 0

回答已采纳

1回答

如何在List<DateTime>中获取特定日期的日期个数？

c#、lambda

Good day，我有一个列表，有一些日期，我需要获取一周中一天的天数，例如，在一个int变量中获取周日的天数，另一个int变量表示周一……List<int> SundayDates= DateList.FindAll(x => x.DayOfWeek = DayOfWeek.Sunday) 但它说它是只读的( DateList是我存储日期和想要获取日期的列表)。

浏览 18提问于2018-07-07得票数 2

回答已采纳

1回答

统计pyspark数据帧中的出现次数

python、amazon-web-services、pyspark、apache-spark-sql、aws-glue

我需要计算pyspark数据帧中重复值的出现次数，如下所示。简而言之，当值相同时，它会累加，直到值不同为止。当该值不同时，将重置计数。我需要它出现在一个专栏里。0 || 1 || 2 || 3 || 3 |+------+ 我需要的是

浏览 43提问于2020-09-09得票数 0

2回答

pyspark:计算每个不同值的出现次数

pyspark

我认为这个问题与：有关因此，我想计算每个不同的值(在本例中为1和2)在A列中出现的次数，并输出类似如下的内容 distinct_values

浏览 6提问于2018-12-06得票数 0

回答已采纳

1回答

取数查询，按天求和，按小时/分钟计数

sql、subquery、ms-access-2010、nested-query

我的挑战是每一天，我需要计算"105“在A列中出现的次数和"100”在B列中出现的次数。我不需要计算每个实例"105“出现的次数，而是每一分钟"105”出现的次数。A B2:28 1 15:12 1 0Date A B

浏览 4提问于2021-03-04得票数 0

回答已采纳

3回答

Excel计算列范围内的指定值，但每列只计算一次。

excel、excel-formula

我一直在试图计算一个值在一个范围内出现的次数，但每列只显示一次。我如何使它每列计算一次，但跨多个列(在实际数据中，一年中的每一天都有一列) 谢谢

浏览 5提问于2020-09-07得票数 1

回答已采纳

1回答

Pyspaprk计算符合条件的出现次数

pyspark、group-by、count、conditional-statements

在pyspark中，我有每个国家的df格式的数据，我想要计算当值小于100时出现的次数。以及当值小于1000时出现的次数。低于1000的3。Ru有1低于100，3低于1000等等。如何获取此信息？有没有一种方法可以按国家分组并统计满足某个条件的事件？如果是这样的话，就有可能使每个条件不同。

浏览 8提问于2020-09-06得票数 1

回答已采纳

2回答

如何为dataframe中的每个单独类别绘制一周中的每一天

python、pandas、matplotlib

我正在尝试为每个“cat”列绘制一周中每一天发生的事件的图表。因此，绘制一周中每一天出现的次数的计数，将它们绘制在子图上。因此，例如，在上面的数据框中，将有4个子图。对于每个子图，我们将有7个条形图代表各自日期的计数。如果任何人有任何建议，那将是非常棒的，谢谢。

浏览 29提问于2019-02-25得票数 0

回答已采纳

1回答

Google Sheets:如何计算2列中的匹配值

google-sheets、countif

在D列中，我列出了一年中每一天的人员1的3个字母的城市代码(共366行) 在G列中，我列出了人员2的3个字母的城市代码，也是一年中的每一天。我想知道如何计算代码匹配的次数的公式？换句话说，Person 1和Person 2在同一城市的次数是多少？此外，计算每个城市有多少匹配天数的公式，例如，它们都在“LDN”、“BCN”等中的天数。

浏览 28提问于2020-02-02得票数 4

回答已采纳

1回答

在满足条件时使用列表值修改列值- PySpark

python、pyspark

我想在一个条件下从一个列表中为dataframe列赋值，但是我的代码只适用于硬编码的替换，而不是像list这样的动态版本。而且我不能将列表直接转换为dataframe列‘s，因为它的长度比列的长度短得多 .otherwise(network_data1.NoUserConnections)) 我还可

浏览 3提问于2021-12-14得票数 -1

回答已采纳

2回答

如何在AWS Glue / Py Spark脚本中将UnPivot列分成行

pyspark、pivot、unpivot、amazon-athena、aws-glue

我每年都有一个大型嵌套json文档(比如2018年、2017年)，它每个月(1月至12月)和每一天(1-31天)都有汇总数据。"4": { "n": 5 }} 我使用了AWS Relationalize.apply函数将上述层次数据转换为平面结构每个月和每一天，表中都会有很多列。，我无法得到正确的答案。是否有一种解决方案，AWS Glue/PySp

浏览 0提问于2019-01-03得票数 0

点击加载更多