专栏首页.NET技术elasticsearch同步mongodb--mongo connector的使用

elasticsearch同步mongodb--mongo connector的使用

部署准备

python-3.6.4-amd64.exe

mongodb-win32-x86_64-3.4.6-signed.msi  (如果已经安装可以忽略)

注意点!

之前我写的一篇文章用的是elasticsearch 6.0版本的。但是mongo connector只支持到5.x版本,因此我选用了5.5版本。

另外mongodb作为副节点不可有额外的数据库,使用前请保证清空。

Mongodb副本集搭建(已搭建可忽略)

步骤1:在两台服务器上安装好 mongodb-win32-x86_64-3.4.6-signed.msi ,安装好的目录新建一个配置文件mongodb.config,内容如下

dbpath=C:\Program Files\MongoDB\Server\3.4\data\db
logpath=C:\Program Files\MongoDB\Server\3.4\data\log\mongo.log

 步骤2:同时根据上面配置文件里的路径新建相应的文件夹db、log。调出cmd->

"C:\Program Files\MongoDB\Server\3.4\bin\mongod" --config  "C:\Program Files\MongoDB\Server\3.4\bin\mongodb.config"  --serviceName "mongodb" --install --replSet myDevReplSet

 注意!上面安装服务路径是绝对路径,而且replSet名称在两台服务必须保证相同。

调出服务界面,启动mongodb。

步骤3:选择其中一个节点作为主节点。

可以通过cmd或者工具连接到mongodb,我用的是robo 3T。使用敲出以下命令:

config = {
    _id : "myDevReplSet",
    members : [
        {_id : 0, host : "192.168.20.80:27017" },
        {_id : 1, host : "192.168.15.32:27017" }
     ]
 }
rs.initiate(config)
#查看集群状态
rs.status()

安装Python

安装已经下载好的 python-3.6.4-amd64.exe ,调出cmd->

pip install elastic2-doc-manager[elastic5]
#等待安装完毕

pip install mongo-connector[elastic5]

mongo-connector -m 192.168.20.80:27017 -t 192.168.20.81:9200 -d elastic2_doc_manager

 将会有log输出到相应位置,可以打开查看,如果输出以下日志,并且任务管理器显示了mongo-connector进程,证明启动成功。

结尾

搭建的时候,遇到不少阻力,搭建时竟然保证版本的对应性。其次mongo connector的同步效率并不如意,而且是单线程跑的,偶尔会挂,有需求的可以写一个守护进程程序提高可用性。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • .net core实践系列之短信服务-架构优化

    通过前面的几篇文章,讲解了一个短信服务的架构设计与实现。然而初始方案并非100%完美的,我们仍可以对该架构做一些优化与调整。

    陈珙
  • .net core实践系列之SSO-同域实现

    SSO的系列还是以.Net Core作为实践例子与大家分享,SSO在Web方面复杂度分同域与跨域。本篇先分享同域的设计与实现,跨域将在下篇与大家分享。

    陈珙
  • .NET-架构优化实战-梳理篇

      程序员输出是他敲写的代码,那么输入就是他思考好的设计。因此不做设计是不存在,设计只分优秀的设计和糟糕的设计。为了避免过度设计浪费成本,需要针对现有业务与问题...

    陈珙
  • 微软全新 Edge 真香!或许它注定会成为最佳浏览器

    自从 2019 年微软发布基于 Chromium 开发的全新 Edge 浏览器,我便第一时间用上了这款让人翘首以盼已久的浏览器。

    GitHubDaily
  • Android--SDK4.4-5.0的沉浸式状态栏适配

    aruba
  • 用于保密、隐私和存储的嵌套尾式卷积码(multimedia)

    考虑一个密钥协议问题,该问题具有一个生物特征或物理标识符、一个用于密钥登记的终端和一个用于重建的终端。提出了一种嵌套式卷积码设计,该设计在登记时进行矢量量化,在...

    用户6869393
  • 一份贪心算法区间调度问题解法攻略,拿走不谢

    比如说一个算法问题使用暴力解法需要指数级时间,如果能使用动态规划消除重叠子问题,就可以降到多项式级别的时间,如果满足贪心选择性质,那么可以进一步降低时间复杂度,...

    AI科技大本营
  • CentOS操作系统搭建FastDFS分布式文件系统

    沈唁
  • Zynq-7000 ARM端MIO的使用

    Xilinx Zynq-7000 芯片的PS端MIO(multiuse I/O)所在位置如下图红色框所示。MIO(0:15)在bank0上,MIO(1...

    FPGA开源工作室
  • 通过关注最成功的伙伴来阻止叛逃者的入侵(CS.GT)

    根据空间公共物品博弈的标准协议,合作者不仅投入到自己的博弈中,也投入到相邻伙伴组织的博弈中。在这项研究中,我们放松了这个假设,让合作者决定更喜欢哪个相邻的组,而...

    用户7236395

扫码关注云+社区

领取腾讯云代金券