开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >Spark结构流中的临时视图

问Spark结构流中的临时视图
EN

Stack Overflow用户

提问于 2020-07-03 05:27:08

回答 1查看 839关注 0票数 0

在ForeachBatch Function Structured Straming中，我想创建在微型批次中接收的数据帧的临时视图

func(tabdf, epoch_id):
    tabaDf.createOrReplaceView("taba")

但是我得到了下面的错误：

org.apache.spark.sql.streaming.StreamingQueryException: Table or view not found: taba
Caused by: org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'taba' not found

请任何人帮助我解决这个问题。

apache-spark-sql

spark-streaming

spark-structured-streaming

pyspark-dataframes

电商安全场景方案

帮助电商行业客户一站式解决Web安全、黑产羊毛党对抗、高危漏洞、BOT工具、恶意入侵门户服务器等安全问题

EN

回答 1

Stack Overflow用户

发布于 2020-07-06 05:09:52

流查询使用自己的SparkSession，它是从启动查询的SparkSession克隆而来的。foreachBatch提供的DataFrame是从流查询的SparkSession创建的。因此，您无法使用原始SparkSession访问临时视图。

一种解决方法是使用createGlobalTempView/createOrReplaceGlobalTempView创建全局临时视图。请注意，全局临时视图绑定到系统保留的数据库global_temp，您需要使用限定名称来引用全局临时视图，例如SELECT * FROM global_temp.view1。

票数 3

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/62709024

复制

相关文章

Ruby 连接到 MySQL 并执行SQL查询

require 'mysql' m = Mysql.new("localhost","ruby","secret","maillist") r = m.query("SELECT * FROM people ORDER BY name") r.each_hash do |f| print "#{f['name']} - #{f['email']}" end </pre> require 'mysql' m = Mysql.new("localhost","ruby","secret","maill

用户8983410

2021/11/02

1.5K0

配置Oracle Gateway 12连接到SQL server 2014

最近的工作中需要基于Oracle连接到SQLserver2014，我们可以通过配置Gateway的方式来实现这个功能。这个Gateway的实质是透过dblink来实现的。即把SQLserver模拟成一个远端的Oracle实例，这个实例由Gateway来负责进行接收，转发等等。本文简要描述其配置过程。

Leshami

2018/08/13

2.9K0

配置Oracle Gateway 12连接到SQL server 2014

问与答94：如何替换多个相同的数据并依次编号？

Q：我有一个工作表，我想将里面多个相同的数据进行替换，并按顺序依次编号，如何使用VBA代码实现？例如下图1的列B中有多个“完美Excel”，使用VBA代码将其替换为“excelperfect”并加上数字编号，即“excelperfect1”、“excelperfect2”、“excelperfect3”……等。

fanjy

2021/02/22

1.5K0

问与答94：如何替换多个相同的数据并依次编号？

数据库SQL语句大全——最常用的SQL语句

正则表达式数据处理函数排序搜索

检索数据：检索单个列： SELECT pname FROM product 检索多个列： SELECT pname,market_price,is_hot FROM product 检索所有列： SELECT * FROM product 过滤检索结果中的重复数据： SELECT DISTINCT market_price FROM product DISTINCT关键字： 1、返回不同的值，使用时放在列名的前面 2、多查询一个及以上列时，除非你查询的所有列的数据都不同，否则所有行都将被检索出来

说故事的五公子

2019/09/29

3K0

sql语句update中多个case/when的写法

又如： update xxxx_xxxx set xxx_type= CASE WHEN xxx_type = '0' THEN 'YXLX-0' WHEN xxx_type= '1' THEN 'YXLX-1' WHEN xxx_type= '2' THEN 'YXLX-2' END where YYY_type='1'

微风-- 轻许--

2022/04/13

3.4K0

sql语句update中多个case/when的写法

Mybatis 执行后参数未拼接到 SQL语句中

本文由小马哥创作，采用知识共享署名4.0 国际许可协议进行许可本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名

IT小马哥

2020/03/18

1.2K0

如何安装，运行和连接到远程服务器上的Jupyter Notebook

开源 python scala html ubuntu

Jupyter Notebook是一个开源的交互式Web应用程序，允许您使用40多种编程语言编写和运行计算机代码，包括Python，R，Julia和Scala。来自Project Jupyter的产品，Jupyter Notebook对于迭代编码非常有用，因为它允许您编写一小段代码，运行它并返回结果。

尘埃

2018/11/20

16.6K0

sql server 连接查询_连表查询语句

连接查询包括合并、内连接、外连接和交叉连接，如果涉及多表查询，了解这些连接的特点很重要。

全栈程序员站长

2022/10/05

3.4K0

if sql语句_SQL IF语句介绍和概述

sql sql server 数据库 linux 数据结构

This article explores the useful function SQL IF statement in SQL Server.

全栈程序员站长

2022/09/13

2.4K0

if sql语句_SQL IF语句介绍和概述

批量运行多个R脚本并打印运行状态

https 网络安全 github git 开源

曾老师曾经有一篇推文《批量运行多个R脚本》，介绍了批量运行R脚本的思路，同时也提出了一些问题，今天就这个学徒作业，我们来探究一下。

小汪Waud

2023/02/20

9330

批量运行多个R脚本并打印运行状态

sql数据库查询语句大全_sql基本语句大全

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至举报，一经查实，本站将立刻删除。

全栈程序员站长

2022/10/05

2.1K0

SQL语句在MYSQL中的运行过程和各个组件的介绍

缓存 sql 数据库云数据库 SQL Server

连接器：权限校验，查看登录用户是否有权限访问数据库，如果出错就会出现（Access denied for user）然后运行程序就结束了如果连接成功连接器就会去查看这个用户的权限，即以后的权限逻辑都是依赖于次权限，在连接过程中如果长时间没有操作则会在默认的时间内进行断开连接（wait_timeout)。

袁新栋-jeff.yuan

2020/08/26

1.9K0

Redis服务器运行多个数据库以及切换数据库的影响

在Redis服务器中，数据库是由Redis数据结构和键值存储系统支持的。Redis服务器提供了多个数据库，每个数据库都是由唯一的一个数值标识符表示。默认情况下，Redis服务器提供16个数据库，标识符从0到15。

一凡sir

2023/09/20

5280

Redis服务器运行多个数据库以及切换数据库的影响

数据库中的having语句_sql的having语句

area having max min sum

HAVING语句通常与GROUP BY子句及聚集函数COUNT，AVG，SUM，MAX，MIN语句联合使用，用来过滤由GROUP BY语句返回的记录集，通常跟在GROUP BY后边作用相当于WHERE。

全栈程序员站长

2022/10/03

2.2K0

多个FeignClient使用相同的name

FeignClient标签默认使用name属性作为bean name，name属性同时为服务名。如果指定了contextId属性，则使用contextId作为bean name。如此可为一个服务创建多个FeignClient： @FeignClient(name = "my-service-id", contextId = "my-service-id-api1") public interface Api1FeignClient { } @FeignClient(name = "my-service

路过君

2020/12/17

3.5K0

SQL语句distinct的多个字段去重问题

https 网络安全数据库云数据库 SQL Server sql

Group_concat介绍与例子_HashMap黑龙江分Map的博客-CSDN博客_group_concat

全栈程序员站长

2022/11/03

2.9K0

SQL数据库查询语句

count distinct having null select

select语句除了可以查看数据库中的表格和视图的信息外,还可以查看SQL Server的系统信息、复制、创建数据表。其查询功能强大，是SQL语言的灵魂语句，也是SQL中使用频率最高的语句。

全栈程序员站长

2022/08/29

4.3K0

讲解SQL数据库语句

（1）完全函数依赖：（学号、课程号） →f 成绩（2）部分函数依赖：（学号、课程号） →p 姓名（3）传递函数依赖：学号→所属系号，所属系号→宿舍楼号，学号→t宿舍楼号

达达前端

2019/07/03

1.9K0

点击加载更多

相似问题

在代码中处理大数字

50

如何在Shell命令中对大数字进行舍入？

21

Safari在HTML5输入数字字段中对大数字进行舍入

11

防止JavaScript Number函数对大数字进行舍入

41

在Django FloatField中使用逗号分隔大数字

221

活动推荐

提供大模型在企业的应用构建、高效便捷

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例