我使用的是Spark SQL 2.1, 我可以在Spark SQL中以临时视图的形式从mysql/oracle中读取数据: val url = "jdbc:mysql://localhost:3306/db1"
val user = "root"
val pass = "root"
val sql =
s"""
CREATE OR REPLACE TEMPORARY VIEW foobar
USING org.apache.spark.sql.jdbc
OPTIONS (url &
我正在尝试通过SparkSQL选择周日录制的所有记录。我做了以下几次尝试,但都是徒劳的。
SELECT * FROM mytable WHERE DATEPART(WEEKDAY, create_time) = 0
SELECT * FROM mytable WHERE strftime("%w", create_time) = 0
如何在SparkSQL中获取星期几?
我需要使用sparksql.I在我的hive表中插入一些值。我使用以下代码。 val filepath:String = "/user/usename/filename.csv'"
val fileName : String = filepath
val result = fileName.split("/")
val fn=result(3) //filename
val e=LocalDateTime.now() //timestamp 首先,我尝试使用Insert Into Values,但后来我发现此
我想知道我是否可以像这样在sparksql中使用update查询:
sqlContext.sql("update users set name = '*' where name is null")
我得到了错误:
org.apache.spark.sql.AnalysisException:
Unsupported language features in query:update users set name = '*' where name is null
如果sparksql不支持update查询,或者我写的代码不正确?
我在找一种最简单的锁定文件的方法。下面的代码通过php代码从mysql导出一个.csv文件:
<?php
require_once('connect_db.php');
$fdate = $_POST['fdate'];
$tdate = $_POST['tdate'];
//Selecting Items based on Date
$result = mysql_query("SELECT item_no, qty, discount_price, date FROM sold_items WHERE date BETWEEN
需要关于阿帕奇方解石的建议。我们有一些SQL查询运行在Teradata上。现在,我们希望在Hadoop/Spark上运行这些sql查询(按原样),也许使用Apache方解石。
我们在Spark (2.6.3)中和Apache方解石中尝试了这些SQL查询,但很少有查询不运行。问题是,如果我们定义一个派生变量(AS),并试图在相同级别的同一查询中使用它,那么它在SparkSQL和方解石中不起作用,而是在Teradata中工作。示例查询:
select EMPNO, sum(deptno) as sum_dept,
case when sum_dept > 10 then 1 else
工作(身份、职级)
数据:
work
------------------
1 | A
1 | B
1 | C
1 | D
2 | A
2 | C
2 | B
3 | C
我需要找到所有的in与他们的计数有共同的秩,它应该显示只有当秩的计数大于2,并打印它们的降序。我已经为此编写了一个mysql查询,但是,我对SparkSQL和HIVEQL还是新手。所以请帮帮我怎么做。例如,使用上述结果集的数据应该是:
mysql查询是:
select a.id,b.id
from work as a, work as b
where a.id>b.id
group by a.id,b.id havin
我试着在SparkSQL中做group by,这很好,但是大多数行都丢失了。
spark.sql(
"""
| SELECT
| website_session_id,
| MIN(website_pageview_id) as min_pv_id
|
| FROM website_pageviews
| GROUP BY website_session_id
| ORDER BY website_session_id
|
|
|""".stripMargin).show(10,truncate = f
OS:Windows 2008 R2 MYSQL:MySQLServer5.6
错误:
2015-04-02 14:31:52 2956 [ERROR] InnoDB: .\ibdata1 can't be opened in read-write mode
2015-04-02 14:31:52 2956 [ERROR] InnoDB: The system tablespace must be writable!
2015-04-02 14:31:52 2956 [ERROR] Plugin 'InnoDB' init function returned error