spark sql :找出计划养老金超过工资20%的人的Id，姓名，工资
Spark SQL是Apache Spark中的一个模块，用于处理结构化数据。它提供了一种编程接口，可以使用SQL查询语言或DataFrame API来进行数据分析和处理。
针对这个问题，我们可以使用Spark SQL来找出计划养老金超过工资20%的人的Id、姓名和工资。具体步骤如下：
- 首先，我们需要加载包含人员信息的数据集。可以使用Spark SQL提供的数据源读取函数，如
spark.read.csv()来加载CSV文件，或者使用其他适合的数据源读取函数。 - 接下来，我们需要创建一个临时视图或注册一个表，以便能够使用SQL查询语言进行数据分析。可以使用
createOrReplaceTempView()方法或createOrReplaceGlobalTempView()方法来创建临时视图。 - 然后，我们可以使用SQL查询语言编写查询语句，以找出计划养老金超过工资20%的人的Id、姓名和工资。查询语句可以使用
SELECT语句来选择需要的列，使用WHERE子句来过滤符合条件的记录，使用JOIN语句来关联多个表等。 - 最后，我们可以使用Spark SQL提供的结果输出函数，如
show()方法或write.csv()方法，将查询结果展示或保存到指定的位置。
在腾讯云的生态系统中，可以使用腾讯云的云原生数据库TDSQL来存储和管理结构化数据。TDSQL是一种高性能、高可用的云数据库，支持MySQL和PostgreSQL引擎。您可以使用TDSQL来存储人员信息数据，并使用Spark SQL连接和查询TDSQL中的数据。
以下是腾讯云TDSQL的相关产品和产品介绍链接地址：
请注意，以上答案仅供参考，具体实现方式可能因实际情况而异。
相关·内容
1回答
我需要有一个数据库，不知道腾讯云有没有这样的服务？
数据库、sql
我需要有一个数据库，超过50T的，像网盘一样，可以存储。因为经常要传输超过单个30G以上的文件，腾讯云能解决吗
浏览 164提问于2021-05-08
7回答
如何在Oracle中编写SQL查询以查找max和min薪资以及员工姓名
sql、oracle、oracle11g、aggregate-functions
我有一张员工桌。请与数据一起在表格结构下面找到。
我想找出最高工资和最低工资以及员工姓名。
预期产出将是：
为了找出最高工资和员工姓名，我编写了以下查询：
SELECT name,salary FROM employee where salary
= (select max(salary) from employee);
为了找出最低工资和员工姓名，我写了一个查询：
SELECT name,salary FROM employee where salary
= (select min(salary) from employee);
但我无法合并这两个查询。
请有人指导我
浏览 0提问于2018-12-25得票数 2
回答已采纳
1回答
查询执行计划是否存储在postgresql中？
postgresql、explain
我试图找出PostgreSQL查询执行计划是否存储在某个地方(可能是对pg_stat_statements和pg_prepared_statements的补充)，其可用时间是否超过会话的持续时间。据我所知，PREPARE确实在pg_prepared_statements中缓存了一条sql语句，尽管据我所知，该计划本身似乎在任何视图中都不可用。
我不确定是否有文档解释了PostgreSQL查询计划的生命周期，但从文档中听起来，PostgreSQL根本不缓存查询计划。这个准确吗？
谢谢!
浏览 1提问于2018-01-17得票数 1
回答已采纳
1回答
spark sql :找出计划养老金超过工资20%的人的Id，姓名，工资
sql、mysqli、apache-spark-sql、pyspark-sql
使用SQL查询，我试图提取计划养老金超过工资的20%的记录的Id、姓名和工资。
下面是我的SQL查询：
sqlContext.sql("""select Id,Name,Salary from work where Pension >= Salary/20*100 order by Id asc""").show()
下面是我的SQL查询正在访问的表：
[
Row(Id=1, Name=u'Anu', Mail=u'Anu1@gmail.cpm', Age=23, Salary=15000, Pens
浏览 4提问于2017-07-19得票数 0
1回答
如何在Azure数据库中使用JDBC从PostgreSQL中读取表数据？
apache-spark、pyspark、apache-spark-sql、azure-databricks
我正在尝试使用pyspark读取Azure云订阅中可用的postgreSQL表，但是得到了下面的错误。我知道，当我们使用load函数时，我们也应该包括这个格式。但是由于这个PostgreSQL实例可以在不同的azure订阅中使用，所以我根本无法访问PostgreSQL数据库，如果是这样的话，如何推断模式呢？或者是否有更好的方法从databricks读取数据。
df = spark.read.option("url", "jdbc:postgresql://{hostname}:5432&user={username}&password={xxxxx}&a
浏览 6提问于2020-09-05得票数 0
1回答
如何避免每次执行查询时的查询准备(解析、规划和优化)？
apache-spark、apache-spark-sql、spark-streaming
在我们的Spark流应用程序中，使用60秒批处理，我们在一个DF上创建一个临时表，然后对它运行大约80个查询，如下所示：
sparkSession.sql("select ... from temp_view group by ...")
但是，考虑到这些查询相当繁重，包含大约300列的求和列，如果我们不必分析sql并为每个微批生成一个查询计划，那就太好了。
没有一种方法可以生成、缓存和重用查询计划吗？即使每个查询只保存50 us，每批也会节省我们大约4s。
我们在CDH/纱线上使用Spark2.2。谢谢。
浏览 0提问于2018-03-31得票数 5
2回答
SparkSQL到底是什么？
apache-spark、mapreduce、apache-spark-sql、bigdata
我对这个“大数据”技术的世界非常陌生，最近我开始阅读有关星火的报道。不断出现的一件事是SparkSQL，但我始终无法理解，那就是它确实如此。
是否应该将SQL查询转换为对您提供的数据执行操作的MapReduce？但是，就功能而言，dataframes不是已经基本上是SQL表了吗？
或者是某种技术允许您连接到SQL数据库并使用Spark查询它？在这种情况下，这里的火花有什么意义--为什么不直接使用SQL？还是您可以将结构化SQL数据与平面数据结合使用？
我再次强调，我对所有这一切都是非常陌生的，我可能会或不可能说出我的心里话:)。所以，请纠正我，如果你看到我明显误解了什么，请原谅我。
浏览 0提问于2016-01-18得票数 3
回答已采纳
1回答
在分析的逻辑计划中，SubqueryAlias节点是什么？
apache-spark、apache-spark-sql
我有一个简单的sql，如下所示
test("SparkSQLTest") {
val spark = SparkSession.builder().master("local").appName("SparkSQLTest").getOrCreate()
spark.range(1, 100).createOrReplaceTempView("t1")
val df = spark.sql("select id from t1 where t1.id = 10")
df.expl
浏览 0提问于2018-06-04得票数 0
回答已采纳
2回答
分析/分析PostgreSQL上的查询
sql、postgresql、plpgsql、postgresql-8.4
我刚刚继承了一个旧的PostgreSQL安装，需要做一些诊断来找出这个数据库运行缓慢的原因。在MS SQL上，您可以使用诸如Profiler之类的工具来查看正在运行的查询，然后查看它们的执行计划。
对于PostgreSQL，有什么工具可以用来做这件事呢？我非常感谢任何人的帮助，因为我是Postgres的新手。
浏览 6提问于2015-03-05得票数 13
2回答
对dataframe的200万次查询
apache-spark、apache-spark-sql
我需要对大小为100亿行的三列表t (s，p，o)运行200万次查询。每一列的数据类型为字符串。
只有两种类型的查询：
select s p o from t where s = param
select s p o from t where o = param
如果我将表存储在Postgresql数据库中，则使用Java ThreadPoolExecutor需要6个小时。
你认为Spark能更快地处理查询吗？最好的策略是什么？以下是我的想法：
将表加载到一个dataframe中，并启动对dataframe的查询。
将表加载到parquet数据库中，并对该数据库启动查询
浏览 4提问于2020-07-13得票数 1
4回答
hive、pig、map-reduce用例之间的区别
hadoop、mapreduce、hive、apache-pig
map-reduce、hive、pig之间的区别
pig :它是一种数据流语言，它可以处理任何数据，基本上用于将半结构化、非结构化数据转换为结构化数据，以便可以使用窗口函数等在hive高级分析中使用。
Hive :处理结构化数据，并提供sql类型的查询语言。
我知道在后端，猪和蜂窝都使用map -reduces。
我知道map-reduce对于程序员、hive或pig for sql来说都是很好的工具
我只想知道是否有任何特定的用例，我们去蜂巢，猪和地图-缩减
基本上，我们决定我们必须在这里使用猪蜂巢，或者我们必须使用地图-reduce。
浏览 0提问于2014-10-29得票数 0
1回答
spark.sql()和spark.read.format("jdbc").option("query“、"")之间有什么区别？
python、apache-spark、pyspark、apache-spark-sql
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。我这样假设是对的吗？
浏览 3提问于2021-08-16得票数 3
回答已采纳
6回答
大咖问答——计算机视觉的原理和最佳实践，你知道多少？
人脸识别、文字识别、图像处理、图像识别
相信大家对本期腾讯云开发者社区技术沙龙【计算机视觉的原理及最佳实践】还意犹未尽，所以我们请来了沙龙的五位分享嘉宾在本版块为各位开发者们继续解答关于计算机视觉的问题。同时，对本场沙龙感兴趣的小伙伴也可以点击链接直达沙龙活动页，观看沙龙回放并下载沙龙资料。
【分享嘉宾介绍】
image.png
范锦
腾讯云资深技术专家
冀永楠
腾讯云资深技术专家
陈琪
华图在线高级产品经理
卓伟
腾讯云高级研发工程师
周吉成
腾讯云高级产品经理
【问答内容】
1. 图像识别系统的原理和应用方法
2. 腾讯云API搭建图像识别应用的优势？
3. 人脸识别技术在各领域的解决方案
4. 文字识别的技术难点
5. 搭建人
浏览 911提问于2019-04-12
2回答
SparkSQL JDBC (PySpark)到Postgres -创建表并使用CTEs
python、postgresql、apache-spark、jdbc、pyspark
我正在进行一个项目，将Python概念证明(POC)移植到PySpark。POC极大地利用了Postgres，特别是PostGIS地理空间库。大部分工作由Python在调用数据以进行最终处理之前向Postgres发出命令组成。
传递给Postgres的一些查询包含CREATE TABLE、INSERT、CREATE TEMP TABLE和CTE WITH语句。我正试图确定是否可以通过JDBC从Spark将这些查询传递给Postgres。
有人能确认这个功能在Spark中是否可以用于其他数据库吗？为了明确起见，我希望将纯英语的SQL查询传递给Postgres，而不是使用可用的SparkSQL A
浏览 5提问于2020-02-06得票数 1
回答已采纳
2回答
探索和优化您的系统(PostgreSQL和Hibernate)的SQL性能？
java、performance、optimization
假设您继承了一些广泛使用SQL查询的项目。
让我们假设Hibernate用作ORM，PostgreSQL用作数据库，但这不是重点。
一个问题是:您能提出一个计划来依次扫描系统并优化SQL查询的性能吗？
我建议该计划采取以下步骤：
检查哪些查询执行时间最长--如何在PostgreSQL中执行？
检查哪些查询执行得最频繁--我们如何在PostgreSQL中执行？
找出哪些查询没有使用索引--我们如何在PostgreSQL中做到这一点？
找出连接池是否没有任何延迟地运行--我们如何在PostgreSQL中做到这一点？
检查Hibernate的缓存使用情况:是否缓存了前两点的查询？-我们如何在Hibe
浏览 0提问于2013-04-04得票数 3
回答已采纳
2回答
云上的大数据实现
hortonworks-data-platform、cloudera-cdh、bigdata
有人能告诉我‘云上的大数据实现’是什么意思吗？
我一直使用亚马逊S3来存储数据和使用hive进行查询，我读到这是云实现之一。我想知道这究竟意味着什么，以及所有可能的实施方法。
谢谢，Sree
浏览 2提问于2016-06-15得票数 1
回答已采纳
8回答
腾讯智能云为开发者带来哪些便利？
腾讯云、服务、开发、开发者、腾讯
腾讯云在云+未来峰会上推出了智能云。使得普通开发者能够快速上手进行开发。能够有效节省自身开发成本，我想知道究竟带来了哪些便利？有哪些服务极大提升了开发效率和用户体验？
浏览 872提问于2018-05-24
1回答
PostgreSQL“提供”PHP是什么意思？
postgresql、php
在https://www.enterprisedb.com/downloads/postgres-postgresql-downloads上：
PostgreSQL运行在所有主要操作系统上，包括Linux、UNIX (AIX、BSD、HP、macOS、Solaris)和Windows。It提供了以下编程语言：PL/pgSQL、PL/SQL、Java、Python、Ruby、C/C+、PHP、Perl、Tcl、Scheme。Postgres还提供了以下库接口: OCI、libpq、JDBC、ODBC、.NET、Perl、Python、Ruby、C/C+、PHP、Lisp、Scheme和Qt。
我
浏览 0提问于2021-10-05得票数 8
1回答
使用联接选择数据
mysql
我现在才开始学习SQL，并试图找出这样的场景：
我们有三张桌子：
客户(ClientID，姓名，姓氏，年龄)
产品(ProductID，名称，价格)
购买(PurchaseID，Date，ClientID，ProductID)
什么是最好的SQL查询，它将显示客户购买的数量(他们购买了多少产品)？
它必须只显示客户谁做了超过1次购买。
结果应该包含以下字段:全名、采购数量。
浏览 0提问于2019-03-02得票数 1
回答已采纳
3回答
分析用数据存储
sql-server、postgresql、hadoop、apache-spark
为了分析的目的，我必须储存一些数据。
数据源每月生成2TB数据。
数据是每月收集的(不是实时的).
数据是完全结构化的。
有不同的100+列的数据。
SQL的可用性很重要。
工程师/开发人员资源有限。
我计划使用Postgres (可能有面向列的扩展)，但是这样的数据量(每年超过20 to )是不可行的。我还对Hadoop/Spark进行了研究，但是它看起来有点庞大(考虑到数据是完全结构化的)。我不考虑基于云的解决方案，以及昂贵的解决方案(最好是免费许可)。
您是否愿意建议，为了分析目的，哪些数据存储可以用于大量的结构化数据？
浏览 0提问于2020-12-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
