腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

浪淘沙

专栏作者

86

文章

79155

阅读量

18

订阅数

MaxCompute SQL调优

1.JOIN连接，MapJoin优化(SELECT /* + MAPJOIN(b) */)

2022-01-06

1.5K0

Mysql编码设置

云数据库 SQL Server 数据库 sql

缺省是latin1编码，会导致中文乱码。修改库的编码： mysql> alter database db_name character set utf8; 修改表的编码：

2019-05-26

4.9K0

Redis面试问题

缓存云数据库 Redis unix 数据库 sql

Redis是一个key-vakue存储系统，支持五种存储结构：String,Hash,List,Set,Sorted Set。与memcached一样为了保证效率，将数据储存在内存中。区别的是Redis会周期的把更新的数据写入磁盘或者把修改操作写入追加的文件中，并在此基础上实现了主从同步。

2019-05-26

8330

数据仓库问题总结

数据库 sql sql server mapreduce

1.在关系模型中，实现“关系中不允许出现相同的元组”的约束是通过 “主键” 完成的。

2019-05-26

8110

MyBatis学习笔记

mybatis jdbc 数据库 sql xml

MyBatis 1.MyBatis是一个优秀的持久层框架，对jdbc的操作数据库的过程进行了封装，使开发者只需要关注SQL本身。而不用花费精力去处理例如注册驱动，创建connection,创建statement,手动设置参数，结果集等jdbc繁杂的过程。 2.MyBatis配置： SQLMapConfig.xml 全局配置文件，配置了mybatis的运行环境等信息。 mapper.xml sql映射文件,配置了操作数据库的sql语句。需要在SqlMapConfig.xml里边加载。

2018-10-18

4280

java学习day18----JDBC操作基本操作

java jdbc 数据库 sql api

1.JDBC了解 JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更高级的工具和接口，使数据库开发人员能够编写数据库应用程序。 2.开发步骤 1.创建一个java项目 2.导入mysql的数据库驱动jar包驱动包 3.注册驱动 Class.forName(“”) 4.获取与数据库的链接 5.得到代表发送和执行SQL语句的对象 Statement 6.执行语句 7.如果执行的是查询语句，就会有结果集，处理 8.释放占用的资源 3.代码

2018-10-18

3910

Spark 实现两表查询(SparkCore和SparkSql)

spark sql access java apache

1.将两张表的数据提取出来，转换成DataFrame，创建两个view。实现join查询

2018-10-18

1.4K0

SparkSql学习笔记一

spark sql 分布式 hive mapreduce

1.简介 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。为什么要学习Spark SQL？我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！同时Spark SQL也支持从Hive中读取数据。 2.特点 *容易整合 *统一的数据访问方式 *兼容Hive *标准的数据连接 3.基本概念 *DataFrame DataFrame(表) = schema(表结构) + Data(表结构，RDD) 就是一个表是SparkSql 对结构化数据的抽象 DataFrame表现形式就是RDD DataFrame是组织成命名列的数据集。它在概念上等同于关系数据库中的表，但在底层具有更丰富的优化。DataFrames可以从各种来源构建， DataFrame多了数据的结构信息，即schema。 RDD是分布式的Java对象的集合。DataFrame是分布式的Row对象的集合。 DataFrame除了提供了比RDD更丰富的算子以外，更重要的特点是提升执行效率、减少数据读取以及执行计划的优化 *Datasets Dataset是数据的分布式集合。Dataset是在Spark 1.6中添加的一个新接口，是DataFrame之上更高一级的抽象。它提供了RDD的优点（强类型化，使用强大的lambda函数的能力）以及Spark SQL优化后的执行引擎的优点。一个Dataset 可以从JVM对象构造，然后使用函数转换（map， flatMap，filter等）去操作。 Dataset API 支持Scala和Java。 Python不支持Dataset API。 4.创建表 DataFrame 方式一使用case class 定义表 val df = studentRDD.toDF 方式二使用SparkSession直接生成表 val df = session.createDataFrame(RowRDD,scheme) 方式三直接读取一个带格式的文件(json文件) spark.read.json("") 5.视图(虚表) 普通视图 df.createOrReplaceTempView("emp") 只对当前对话有作用全局视图 df.createGlobalTempView("empG") 在全局(不同会话)有效前缀:global_temp 6.操作表：两种语言:SQL,DSL spark.sql("select * from t ").show df.select("name").show

2018-10-18

8000

Spark Core 学习笔记

spark mapreduce 数据分析分布式 sql

1：Spark Core：内核，也是Spark中最重要的部分，相当于Mapreduce SparkCore 和 Mapreduce都是进行离线数据分析 SparkCore的核心：RDD（弹性分布式数据集），由分区组成 2：Spark Sql：相当于Hive 支持Sql和DSL语句 -》Spark任务（RDD）-》运行

2018-10-18

2.1K0

hive hadoop 数据库 sql 云数据库 SQL Server

Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

2018-10-18

1.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态