腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

我是攻城师

专栏作者

492

文章

962709

阅读量

119

订阅数

spark on yarn 如何集成elasticsearch

spark yarn es 2 云数据库 SQL Server

📷 随着spark越来越流行，我们的很多组件都有可能和spark集成，比如说spark处理完的数据写入mysql，redis，或者hbase，elasticsearch，spark本身不包含db的依赖的，这就需要自己解决依赖的jar包，这里大致有两种处理思路处理依赖问题：（1）使用maven将整个依赖打成一个fat的jar，这样所有的依赖都会在一个jar包，这样的好处就是一个jar包包含所有依赖，不需要额外考虑依赖的问题，但是弊端也非常明显如果依赖多的话jar包的体积会非常大超过100M都很正常

我是攻城师

2018-05-14

1.2K0

ElasticSearch并发操作之乐观锁的使用

es 2 安全数据库云数据库 SQL Server oracle

绍了关于ES嵌套索引的增删改，本篇就接着上篇主题继续深入聊一下，上篇的添加和更新操作，其实是不安全的，所有的数据库db系统都会存在并发问题像关系型数据库MySQL，Oracle，SQL Server默认采用的是悲观锁。在ElasticSearch中采用的乐观锁，下面先熟悉下什么是乐观锁和悲观锁：悲观锁(Pessimistic Lock), 顾名思义，就是很悲观，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到

我是攻城师

2018-05-14

1.6K0

centos7安装mysql

云数据库 SQL Server yum java

centos7的默认yum源已经没有mysql-server这个库了在centos6.x里面我们可以使用下面的命令，方便的安装mysql Java代码 yum install -y mysql-server 在centos7.x里面，我们执行这个命令会发现找不到这个包： Java代码 [root@es2 ~]# yum install mysql-server 已加载插件：fastestmirror Loading mirror speeds from cached

我是攻城师

2018-05-14

2.4K0

MySQL的InsertOrUpdate语法

云数据库 SQL Server lucene/solr es 2 数据库

MySQL的插入语法提供了类似insertOrUpdate的语法，这种方式大部分存储系统都有类似的机制比如在Solr或者ElasticSearch中，如果主键一样的就更新，不一样就添加，只不过在数据库里可以是主键单个或多个字段，也可以是单个索引或多字段联合唯一索引，逻辑都一样。比如表里面有id,age,name,address,score四个字段联合唯一索引是id+age+name（表里只有索引没有主键，后面单说）向一张空表插入下面的数据 Java代码 INSERT INTO pe

我是攻城师

2018-05-14

3.8K0

使用shell分页读取600万+的MySQL数据脚本

jdbc 云数据库 SQL Server sql linux 数据库

shell-mysql （1）脚本背景: 由于要在Linux上，远程读取mysql的表的数据，然后做一定清洗后，把数据上传至Hadoop集群中，使用Java写吧，感觉太麻烦了，得在Win上开发好，还得打成jar包，上传到Linux上，如果那里出了问题，还得重复这样，非常不方便，那就用shell写一个吧，也不需要什么jdbc驱动包，只需要在Linux上装个MySQL的客户端即可，用一行yum命令即可搞定，所以就花了点时间，封装了一个小脚本（2）功能介绍: 直接在Linux下使用shell脚本远

我是攻城师

2018-05-11

1.9K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态