我有hql文件,它有大量的单元查询,我想使用Spark执行整个文件。
这就是我尝试过的。
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
通常,为了执行单独的查询,我们这样做:
sqlContext.sql("SELECT * from table")
但是,当我们有具有数百个查询的hql文件时,我常常这样做。
import scala.io.Source
val filename = "/path/to/file/filename.hql"
for (line <- So
我在一家食品电子商务公司工作,正在重新设计优惠券服务。
优惠券可以有很多规则,比如:
a)for what users it is valid
b)For what restaurants it is valid
c)For what area it is valid
d)min amount
etc etc
当前系统处理所有这些规则,每个规则都表示为一列MySQL:
但是,由于优惠券的规则会不断变化,我们不能创建列everytime.Or,对吧?有没有一种方法可以让它变得通用,同时又不会失去查询的能力,比如:
a)what all coupons belong to this restaur