示例数据： FWD,29052016:09:01,10.56| FWD,29052016:10:53,11.23| FWD,29052016:15:40,23.20
浏览 2提问于2019-03-07得票数 0
我正在尝试将spark数据框中的列拆分为多个值。因此，我分隔了要拆分的列，并检查了其类型：O: pyspark.sql.dataframe.DataFrame
当我使用以下命令分割字符串时TopicModelVectorSplit = TopicModelVector.select('TopicModelVector').map(lambda line
浏览 0提问于2016-06-22得票数 0
我使用以下代码将数据填充到Bigtable中： } }else{ }我们有30个Bigtable节点，我的数据流作业是与100个工作人员一起工作，整个过程必须处理大约100亿行数据，<e
浏览 19提问于2016-08-26得票数 2
1回答
我刚刚开始使用databricks/pyspark。我正在使用python/spark 2.1。我已将数据上载到表中。该表是一个充满字符串的单列。我希望对列中的每个元素应用一个映射函数。我将表加载到数据帧中：我能看到的唯一方法
浏览 1提问于2017-07-31得票数 18
回答已采纳
我有一些导出的行，我想导入到当前处于活动状态的数据库中。在执行批量插入之前，我是否应该禁用与数据库交互的应用程序，以便BI是唯一正在执行的操作？
我认为这将是最佳实践，但只是想与社区确认一下。
浏览 0提问于2011-05-27得票数 0
回答已采纳
我在我的核心数据源中有一个表，其中包含一些带有NSDate的文章。我基本上想将NSManagedObject分成几天，这样你就可以滚动浏览并按日期分开文章。
实现这一目标的最好方法是什么？我的上下文是按日期降序查询出来的，所以只需要将它分成UITableView部分的几天，而不是一个大部分。
浏览 0提问于2010-08-29得票数 1
回答已采纳
我已经将数据从文本文件加载到Spark，在数据类型拆分更改之后。如何在不更改数据类型的情况下拆分数据，或者如何将拆分的数据转换为原始数据类型？我的代码conf = SparkConf().setMaster("local&quo
浏览 2提问于2020-10-22得票数 0
我计划拆分来自procedure的行数，然后将它们装载到表中，并使用循环继续将某些行装载到表中。现在，我必须根据过程中的某些字段从过程中检索几
浏览 0提问于2018-11-28得票数 0
1回答
使用Pyspark时，当将数据文件中的数据导入到Azure SQL Db表时，我将得到以下错误。错误本身是不言自明的.但是数据文件和目标表有大约100列，其中75列作为字符串列。并且，错误没有指定错误所在的列。问题：在pyspark中，如何确定错误所在的列？来自数据
浏览 3提问于2022-08-07得票数 0
我使用sqoop创建和导入hive表，并使用pyspark获取数据。该表由一个字符串字段、一个整型字段和多个浮点型字段组成。我可以通过hue hive sql查询获得整个数据。但是，当我使用pyspark sql编程时，可以显示非浮点型字段，而浮点型字段总是显示空值。色调配置单元sql结果：
zeppelin pyspark输出：
hive表的
浏览 18提问于2017-06-29得票数 0
使用最新的SQL update和字符串拆分函数，如何将拆分数据重新插入到我的表中？.*, SS.valueouter apply string_split(firstname, ' ') AS SS使用该方法，我将FirstName列拆分为两个值，并在两个单独的</
浏览 11提问于2016-06-29得票数 1
我使用toPandas()将pyspark数据帧转换为pandas数据帧。但是，因为某些数据类型不对齐，所以pandas会将数据帧中的某些列强制转换为object。我也不能使用.str.contains，因为即使包含数值的列是dtype object，在使用.str时它也会出错。(作为参考，我尝试做的是，如果数据帧中的列实际上具
浏览 1提问于2020-06-23得票数 1
我想对排序后的Pyspark数据帧进行基于时间的训练测试拆分。假设前300行将在训练集中，下200行将在测试拆分中。我可以用以下命令选择前300行： train = df.show(300) 但是如何从Pyspark dataframe中选择最后200行呢？
浏览 14提问于2019-03-13得票数 1
它有一个d类型的<U26，即26个字符的unicode字符串。我试图找出如何解决'���‘的字符串格式错误。进口相关包裹from pyspark.sql import SQLContext
from pysp
浏览 0提问于2019-03-19得票数 1
回答已采纳
我正在为每日增量加载过程编写一个脚本，使用Pyspark和一个Hive表，该表最初已经装载了数据。我一直试图通过左侧创建一个UC dataframe，将INC dataframe和BASE dataframe连接到两个PK列src_sys_id & acct_nbr上，其中INC dataframe我没有运行sql函数或查询w/Pyspark的丰富经验，所以任何建议或帮助都是值得赞赏的</e
浏览 4提问于2022-03-03得票数 0
3回答
如果我的数据的源和目标是相同的DB，那么是否有人能帮助我理解为什么我们需要使用PySpark或SprakSQL等？
例如，假设我需要从表X和表Y中将数据加载到PostgresDB中的表X中。仅仅在Postgres中使用数据而不是使用SprakSQL或PySpark</
浏览 8提问于2022-08-17得票数 0
我有一个数据集，如下所示我正在尝试使用pyspark标记或过滤列表中包含单词的行所以本质上它应该返回第一行和第三行。它应该返回第二行，因为树的末尾是s。我只想要全字匹配。
我的想法是字符串拆分字符串列，循环遍历引用列表，有没有更好的方法？
浏览 2提问于2020-10-28得票数 1
1回答
我正在使用spark，并且有一个包含用户ID和产品评论的数据框架。我需要过滤来自评论的停止词，我有一个文本文件和停止词来过滤。from pyspark.sql.functions import col
stopWords = spark.read.text('/FileStore/tables
浏览 6提问于2022-04-16得票数 1
回答已采纳
3回答
我正在研究如何拆分字符串并将信息存储在datatable中。我可以让拆分和存储正确地工作，但问题是我如何尝试使用拆分。这是一个字符串示例：itemid是项的唯一id，在/n之后是用户选择了多少项后，逗号分隔条目。我有这样一个数据表：
DataTable table = new DataTab
浏览 1提问于2011-11-30得票数 0
回答已采纳
8回答
需要拆分函数，它将接受两个参数，字符串拆分和分隔符拆分字符串，并返回一个包含Id和Data.And列的表如何调用拆分函数，它将返回一个包含Id和Data列的表。Id列将包含序列，数据列将包含字符串的数据。
浏览 8提问于2015-02-23得票数 30
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
