如何在pyspark和sql中应用多个条件并在一个数据帧中追加到同一个表中
在pyspark和SQL中，可以使用多个条件来筛选数据，并将结果追加到同一个表中。下面是一个完善且全面的答案：
在pyspark中，可以使用DataFrame API或SQL语句来实现多个条件的筛选和数据追加操作。
- 使用DataFrame API：
- 使用DataFrame API：
- 使用SQL语句：
- 使用SQL语句：
以上代码示例中，首先创建了一个SparkSession对象，然后使用read方法读取原始表数据。接着，定义了多个筛选条件，可以根据实际需求自行修改条件表达式。使用DataFrame API时，通过filter方法将多个条件应用于原始表数据，得到筛选后的数据。使用SQL语句时，先将原始表数据创建为临时视图，然后使用SELECT语句结合多个条件进行筛选。最后，使用write方法将筛选后的数据追加到目标表中。
需要注意的是，上述代码中的"原始表路径"和"目标表路径"需要根据实际情况进行替换，以指定数据的读取和保存位置。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云PySpark：https://cloud.tencent.com/product/spark
- 腾讯云数据仓库CDW：https://cloud.tencent.com/product/cdw
- 腾讯云数据湖DLake：https://cloud.tencent.com/product/dlake
- 腾讯云数据集成DTS：https://cloud.tencent.com/product/dts
相关·内容
2回答
如何在pyspark和sql中应用多个条件并在一个数据帧中追加到同一个表中
python、sql、python-3.x、apache-spark、pyspark
如果id和class_gp组合已经出现在前一周，那么这些组合将在当前周/未来一周删除。101 1 20200121 E 101t1 = df1.where("week_id = '20200101'")
浏览 17提问于2020-05-14得票数 0
2回答
无法创建火花会话
python、machine-learning、networking、pyspark、jupyter-notebook
当我创建火花会话时，它会抛出一个错误。无法创建火花会话
41 # sc = SparkContext(conf=conf)
~/anaconda3/lib/python3.5/site-packages/pyspark, master=local[*]) c
浏览 3提问于2019-05-03得票数 2
1回答
如何在Dataframe，Pyspark中用多个条件更新行
python、dataframe、pyspark
如何在DataFrame(Pyspark，而不是scala)中更新某些条件下应该发生更新的行？我们不知道在设计时会有多少条件，也不知道它们是什么，所以条件和更新值将在运行时应用。表T1： | Emp_LName | Emp_FName | Sal | Sal_Grade | | Carson |
浏览 29提问于2021-11-03得票数 2
1回答
循环遍历包含要执行并附加到dataframe的查询的列表
scala、apache-spark、apache-spark-sql
我需要遍历列表中的每个元素，对数据库运行此查询，并将结果附加到相同的dataframe (df)中。你能告诉我如何做到这一点吗？ PS :我正在使用spark scala来解决这个问题。
浏览 16提问于2021-02-09得票数 0
回答已采纳
1回答
使用Pandas Dataframe的SQL Server合并？
python、sql、sql-server、pandas
我有一个要合并回SQL表的数据帧-不是熊猫意义上的合并，这将是一个连接，而是一个SQL合并操作，根据数据帧和表之间的比较更新/插入表中的记录。我可以看到一些替代方法，比如将数据帧写入新表并在SQL中进行合并，或者删除基于主键的任何现有记录并使用to
浏览 20提问于2020-05-17得票数 1
2回答
需要使用远程API在同一个码头服务器上运行多个相同映像、相同配置的容器。
.net、docker、autoscaling、docker-container
我是码头新来的，谢谢你的耐心
如何在具有相同公开端口的同一主机上运行多个容器。如何使用Docker.NET远程API在同一个码头服务器上创建同一个映像的
浏览 1提问于2019-06-24得票数 0
回答已采纳
1回答
如何在Pandas中将多个地块文件附加到一个数据框中
pandas、apache-spark、parquet、snappy
我正在用Spark和Pandas解压snappy.parquet文件。我有180个文件(我的Jupyter笔记本中有7 7GB的数据)。在我的理解中，我需要创建一个循环来抓取所有的文件-用Spark解压它们并附加到Pandas表中？以下是代码 findspark.init()
spark = SparkSes
浏览 27提问于2019-12-04得票数 0
回答已采纳
1回答
不能将列转换为bool
apache-spark、pyspark、apache-spark-sql
我正在尝试使用时间更新PySpark数据帧中的列。我正在使用数组检查多个条件。我得到了错误'Cannot convert column into bool'。我假设这是因为我使用in来检查一个值列表。该错误提供了其他选项，如和(&)和(或)，但不能用于in。是否有什么方法可以对所有的值进行检查，而不是链接几个there语句？
浏览 1提问于2018-05-23得票数 0
回答已采纳
2回答
PySpark DataBricks中2个数据帧与计数的交集
apache-spark、pyspark、data-science、pyspark-sql、databricks
我希望在新列上匹配2个数据帧(列)的交叉值，并将交叉值存储在unique_ID _column-1中，还可以获得new_column_3中的交叉点数据计数。这段代码是我在PySpark(DataBricks)中执行的。我不知道如何在pyspark上写交叉口的代码。您的及时响应/支持将不胜感激。
浏览 0提问于2018-08-30得票数 0
1回答
使用PySpark在HDFS中保存和追加文件
apache-spark、pyspark、apache-spark-sql、hdfs
我在PySpark中有一个名为df的数据框架。我已将此df注册为temptable，如下所示。df.registerTempTable('mytempTable')
现在，我将从这个临时表中获得某些值，如列max_id的id
min_id = sqlContext.sql("select nvl(min(id),0) a
浏览 2提问于2017-06-01得票数 2
回答已采纳
1回答
使用SparkSession.builder时如何设置profiler_cls？
python、apache-spark、pyspark、profiling
我有一个python代码库，它使用pyspark的SparkSession.builder创建一个SparkSession。现在我想要分析正在运行的python代码。如果我直接调用SparkContext构造函数，我就可以传入一个profiler_cls参数。然而，使用构建器，似乎没有一种方法可以做到这一点。我是不是遗漏了什么？目前，它将默认使用BasicProfiler，但我想使用https://pypi.org/project/pyspark-flame
浏览 22提问于2019-02-17得票数 0
2回答
根据选择的行子集添加列值
python、dataframe、apache-spark、pyspark、apache-spark-sql
我有一个类似下面的数据帧，它是从impala表中读入的。我正在尝试基于sql查询添加列。例如，我想用这个查询select * from df where ConditionA = Y and ConditionB = N添加一个新的列ConditionAB，对于result中的行，ConditionAB列值应该是Y，而df中的其余行应该是值N(参见示例输出)。我有几个sql查询作为条件，并希望有<e
浏览 12提问于2021-05-14得票数 0
回答已采纳
1回答
PySpark:将临时视图转换为表，并在本地驱动器中保存为.CSV
python、pyspark
我正在PySpark 2.4中创建一个PySpark查询的临时视图。我的数据源是MS SQL Server 2017。此方法正在创建一个名为file.csv的文件夹，并在此文件夹中生成一个以part-00000-fd4c62bd-f208-4bd3-ae99-f81338b9ede1-c000.csv开头的csv文件。因此，如果我每天运行我的.py文件(使用像crontab这样的调度程序)，这肯定不是一个好的选择。
浏览 0提问于2019-04-01得票数 1
1回答
大数据结构
bigdata
一步一步地解释下面的代码。还要解释两个join语句要实现的目标。(2,"Rose",1,"2010","20","M",4000), \
(4,"Jones",2,"2005","10
浏览 2提问于2021-10-28得票数 0
1回答
用列列表激发SQL插入选择？
apache-spark
当我阅读Spark/Hive文档时，将插入到带有列列表的表中，在Spark2.4和更早版本中不支持。input_table( cola, colb, colc, cold, cole)
output
浏览 1提问于2019-01-09得票数 4
回答已采纳
1回答
使用Pyspark处理具有不同JSON模式行的单个数据集
python、json、apache-spark、pyspark、databricks
我使用的是PySpark，我需要处理附加到单个数据帧中的日志文件。大多数列看起来都是正常的，但其中一列在{}中有JSON字符串。基本上，每一行都是一个单独的事件，对于JSON字符串，我可以应用单独的Schema。但我不知道在这里处理数据的最好方法是什么。 示例： ? 这个表稍后将帮助我以所需的方式聚合事件。它成功地在单个列中工作： from pyspark.sql.types
浏览 15提问于2021-09-01得票数 0
5回答
Apache Spark Codegen阶段超过64 KB
apache-spark、pyspark、codegen、janino
当我在创建关于200+列的30+列上进行功能工程时，我得到了一个错误。这不是作业失败，但显示了错误。我想知道怎样才能避免这种情况。Spark - 2.3.1 Python - 3.6输入数据-8分区拼图文件与快速压缩。at org.apache.spark.sql.execution.SparkPlan$$anonfun$execute$1.apply(SparkPlan.scala:127)
at org.apache.spark.sql<
浏览 7提问于2018-06-17得票数 18
2回答
是否可以使用DynamoDB完成以下事务？
java、transactions、amazon-dynamodb
我有两张桌子，Table1和Table2说。Table1具有如下属性的项：<attr1、attr2、attr3>在上面的2行中，粗体的属性是分区键，斜体的属性是范围键。我的API获得attr1作为输入，使用它我必须从Table1访问一个项，然后从返回的项中使用attr3，我必须从Table2访问一个项(我有attr3 4<code>E 221</code>值)。我希望这两个步骤作为一个<
浏览 4提问于2021-05-31得票数 0
回答已采纳
1回答
使用version - asp.net动态数据存储
c#、asp.net、sql、xml
我的要求如下，存储由两个阶段组成，如公共/个人。公共阶段，所有表对所有用户都是通用的，每个用
浏览 2提问于2014-01-17得票数 0
1回答
使用检查点从胞表读取和更新同一个表
hive、pyspark、spark-checkpoint
我正在使用spark版本2.3，并试图将spark中的蜂巢表读取为：from pyspark.sql.functions import*在这里，我添加了一个新列，其中包含了从system到现有的dataframe的当前日期
import pyspark.sql.functi
浏览 0提问于2018-12-06得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
