腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

扎心了老铁

专栏作者

89

文章

205942

阅读量

41

订阅数

springboot动态多数据源

java maven 数据库 sql

参考文章：https://www.cnblogs.com/hehehaha/p/6147096.html

2019-05-25

8890

springboot mybatis redis 二级缓存

mybatis 云数据库 Redis 缓存 sql

前言什么是mybatis二级缓存？二级缓存是多个sqlsession共享的，其作用域是mapper的同一个namespace。即，在不同的sqlsession中，相同的namespace下，相同的sql语句，并且sql模板中参数也相同的，会命中缓存。第一次执行完毕会将数据库中查询的数据写到缓存，第二次会从缓存中获取数据将不再从数据库查询，从而提高查询效率。 Mybatis默认没有开启二级缓存，需要在全局配置(mybatis-config.xml)中开启二级缓存。本文讲述的是使用Redis作为缓存，

2018-03-05

1.7K0

python使用上下文管理器实现sqlite3事务机制

python sql 嵌入式数据库云数据库 SQL Server

如题，本文记录如何使用python上下文管理器的方式管理sqlite3的句柄创建和释放以及事务机制。 1、python上下文管理(with) python上下文管理(context)，解决的是这样一类问题，在进入逻辑之前需要进行一些准备工作，在退出逻辑之前需要进行一些善后工作，上下文管理可以使得这种场景变得清晰和可控。 with语句是python上下文管理的基本用法，例如读写文件 with open('filea', r) as f: f.readlines() file使用的就是上下文管理机制，这

2018-03-05

2.6K1

使用spark与MySQL进行数据交互的方法

spark 云数据库 SQL Server hive sql

在项目中，遇到一个场景是，需要从Hive数据仓库中拉取数据，进行过滤、裁剪或者聚合之后生成中间结果导入MySQL。对于这样一个极其普通的离线计算场景，有多种技术选型可以实现。例如，sqoop，MR，HSQL。我们这里使用的spark，优点来说是两个：一是灵活性高，二是代码简洁。 1）灵活性高相比sqoop和HSQL，spark可以更灵活的控制过滤和裁剪逻辑，甚至你可以通过外部的配置或者参数，来动态的调整spark的计算行为，提供定制化。 2）代码简洁相比MR来说，代码量上少了很多。也无需实现MySQ

2018-03-05

5.8K0

数据迁移过程中hive sql调优

sql 数据迁移

本文记录的是，在数据处理过程中，遇到了一个sql执行很慢，对一些大型的hive表还会出现OOM，一步一步通过参数的设置和sql优化，将其调优的过程。先上sql select t1.create_time from ( 　　select * from beatles_ods.route where year=2017 and month=07 and day=01 ) t1 left outer join ( 　　select * from (select *,row_number() over(pa

2018-03-05

6320

Elasticsearch-sql 用SQL查询Elasticsearch

es 2 数据库 sql

Elasticsearch的查询语言(DSL)真是不好写，偏偏查询的功能千奇百怪，filter/query/match/agg/geo各种各样，不管你是通过封装JSON还是通过python/java的api进行封装，都非常不方便。最近发现了一个插件，Elasticsearch-SQL可以用sql查询Elasticsearch，感觉这个轮子造的真是好。 Elasticsearch-sql的项目地址：https://github.com/NLPchina/elasticsearch-sql 1、简介 Elas

2018-03-05

3.9K0

java使用spark/spark-sql处理schema数据

java spark sql 大数据

1、spark是什么？ Spark是基于内存计算的大数据并行计算框架。 1.1 Spark基于内存计算相比于MapReduce基于IO计算，提高了在大数据环境下数据处理的实时性。 1.2 高容错性和高可伸缩性与mapreduce框架相同，允许用户将Spark部署在大量廉价硬件之上，形成集群。 2、spark编程每一个spark应用程序都包含一个驱动程序（driver program ），他会运行用户的main函数，并在集群上执行各种并行操作（parallel operations） spark提供的最

2018-03-05

9880

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态