1回答
当前有一个数据帧，我想在最后一行中放置一个ASCII字符。我有一个大约有17列的pandas数据帧，并创建了一个带有新行的新数据帧。]) newrow.loc[0] = [chr(26),'','','','','','','','',''
浏览 9提问于2020-07-08得票数 0
使用spark.read.csv和encoding='utf-8'将带有外来字符的数据帧加载到Spark中，并尝试执行一个简单的show()。>> df.show()
File "<stdin>", line 1, in <module>
File "/usr/lib/
浏览 2提问于2016-09-23得票数 17
我有一个包含3列(col1字符串、col2整数、col3字符串)的数据帧(df)，如下所示，但是有上百万条记录：Tes#t 456 mnopqrstTest's 789 hdskfdss
当我尝试用下面的语句使用PySpark来写数据时，Col1中的特殊字符丢失了，并且在hdfs中创建目录时被ascii字符<
浏览 0提问于2017-09-08得票数 0
我有一个从熊猫数据帧创建的样本spark数据帧-from(pdf) # this is spark dfdf.printSchema()
|-- input1: long (nullable = true)
|--input2: string (nullable =
浏览 3提问于2020-09-09得票数 0
2回答
我有一个CSV文件和一个头文件，它必须作为数据帧通过Spark(2.0.0和Scala 2.11.8)读取。当我尝试将spark中的csv数据作为数据帧读取时，我遇到了问题，因为标题包含列(No.指项目)具有特殊字符“。我尝试用来读取csv数据的代码是：
val spark = SparkSession.builder().appName(&qu
浏览 0提问于2017-09-06得票数 3
我知道如何使用spark-csv ()将csv文件读取到spark中，但我已经将csv文件表示为字符串，并希望将此字符串直接转换为数据帧。这个是可能的吗？
浏览 4提问于2016-08-24得票数 7
回答已采纳
让我们考虑包含以下数据的csv文件 Id、职务、年份 1，,2000 CSV读卡器代码： var inputDFRdd = spark.emptyDataFrame.rdd .option("mode", "FAILFAST")
.option("delimiter).rdd.zipWith
浏览 49提问于2021-09-16得票数 0
1回答
我有一个星火数据框架(带有R中的"sparklyr“包)，其中包含来自3个数据源(新闻、博客和twitter)的单词计数。我试图使用collect()将数据从Spark复制到R的内存中。在使用sparklyr计算了几个具有文本挖掘功能的单词之后，我有以下内容：
# Source: spark<?> [??.：\0表示<
浏览 2提问于2021-04-18得票数 1
我已经使用Scala使用df.show()验证了数据帧是否包含非ascii UTF-8字符。Spark-SQL还显示了正确的编码。但是，当我使用SparkR尝试showDF(df)时，UTF-8字符不能正确显示。如何让showDF(df)显示UTF8字符？最初是LOCALE="" & LANG="en_US.UTF-8"...
1)将其设置为LANG="xx_XX.UTF-8"，其中X
浏览 1提问于2015-11-21得票数 2
1回答
我有一个包含两列的spark dataframe : Stars (数值)和categories (标签字符串，例如："Restaurant，Italien，High-end")。我希望重新创建数据帧，这样类别就变成了标签的计数。在上面的示例中，类别将变为3。 我曾尝试将数据帧视为熊猫数据帧，但似乎不起作用。我是Spark的新
浏览 22提问于2020-04-13得票数 0
spark.read \ .option('rootTag', 'tags')df = spark.read.format('xml').options(rowTag='file').load('ted_en-20160408.xml')
但也有错误。Please find packages at h
浏览 2提问于2021-09-30得票数 0
我有一个13M行的pyspark数据帧，我想把它转换成pandas数据帧。然后，将根据其他参数以不同的频率(例如1秒、1分钟、10分钟)对数据帧进行重新采样以进行进一步分析。从文献[，]中，我发现使用以下任何一行都可以加快pyspark到pandas数据帧之间的转换：
spark.conf.set("spark.sql
浏览 11提问于2021-11-19得票数 0
当我将pandas数据帧转换为spark时，spark会自动剥离字符串列/删除前导和尾随空格。如何停止？sparkframe = spark.createDataFrame(pandas_df)示例'‘->’‘或'ab’-> 'ab‘
浏览 12提问于2020-11-06得票数 1
1回答
我需要在Spark SQL中传递参数。例如，我有以下查询作为Val时间戳=spark.sql("select timestamp from tablea ")，现在，我有另一个查询要在where类Spark.sql中传递这个时间戳(s“select但是上面的查询返回不匹配的表达式错误。有没有人能提个解决方案
浏览 1提问于2020-02-04得票数 0
我正在尝试将数据从Elasticsearch加载到Mongo DB。我希望在写入_id时保留elasticsearch中存在的相同Mongo值。我可以这样做，但是Elastic search中的_id字段是字符串类型，我想在将其转换为Mongo ObjectId数据类型后将其推送到Mongo DB中。来自elasticsearch的数据被加载到一个数据帧中
浏览 19提问于2019-08-06得票数 2
1回答
我想为spark数据帧的单个列中的每个字符串删除字符串的最后两个值。我想在spark数据帧中实现这一点，而不是将其移动到pandas，然后再移回来。下面是一个数据帧示例，# | age| name|# | 350|Michael|
# | 290|
浏览 1提问于2019-06-04得票数 1
2回答
我们有一个问题，一个生产者将一些Unicode字符串推送到一个应该是ASCII的字段中。目前这项工作是纯SQL可配置的，因此我想知道是否有可能只使用Spark SQL将Unicode字符串转换为ASCII，类似于this问题中给出的解决方案(当然，这将导致不支持字符的可能数据丢失，但这不是一个问题
浏览 122提问于2020-12-16得票数 0
1回答
如何将此数据帧中的所有值转换为ASCII？ 我已经将一个字符串拆分为多个字符(如下所示)，现在我想将该数据帧中的值转换为ASCII。accounts['Identifier'].dropna()\
.apply(lambda x: pd.Series(list(x))).add_prefix('id_') 它
浏览 23提问于2019-01-22得票数 0
回答已采纳
当数据加载到框架中时，如何将file_name列添加到数据帧中？因此，我希望数据帧中的每条记录都显示file_name。我对此做了一些研究，发现它看起来应该可以工作，但它实际上不加载任何文件名，只加载文件本身中的数据。import org.apache.spark.sql.functions._
val df = sp
浏览 12提问于2019-10-09得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
