elasticsearch同步mongodb--mongo connector的使用

陈珙

发布于 2018-09-12 09:52:30

1.3K0

发布于 2018-09-12 09:52:30

文章被收录于专栏：技术、架构与思维技术、架构与思维

部署准备

python-3.6.4-amd64.exe

mongodb-win32-x86_64-3.4.6-signed.msi （如果已经安装可以忽略）

注意点！

之前我写的一篇文章用的是elasticsearch 6.0版本的。但是mongo connector只支持到5.x版本，因此我选用了5.5版本。

另外mongodb作为副节点不可有额外的数据库，使用前请保证清空。

Mongodb副本集搭建（已搭建可忽略）

步骤1：在两台服务器上安装好 mongodb-win32-x86_64-3.4.6-signed.msi ，安装好的目录新建一个配置文件mongodb.config，内容如下

dbpath=C:\Program Files\MongoDB\Server\3.4\data\db
logpath=C:\Program Files\MongoDB\Server\3.4\data\log\mongo.log

步骤2：同时根据上面配置文件里的路径新建相应的文件夹db、log。调出cmd->

"C:\Program Files\MongoDB\Server\3.4\bin\mongod" --config  "C:\Program Files\MongoDB\Server\3.4\bin\mongodb.config"  --serviceName "mongodb" --install --replSet myDevReplSet

注意！上面安装服务路径是绝对路径，而且replSet名称在两台服务必须保证相同。

调出服务界面，启动mongodb。

步骤3：选择其中一个节点作为主节点。

可以通过cmd或者工具连接到mongodb，我用的是robo 3T。使用敲出以下命令：

config = {
    _id : "myDevReplSet",
    members : [
        {_id : 0, host : "192.168.20.80:27017" },
        {_id : 1, host : "192.168.15.32:27017" }
     ]
 }
rs.initiate(config)
#查看集群状态
rs.status()

安装Python

安装已经下载好的 python-3.6.4-amd64.exe ,调出cmd->

pip install elastic2-doc-manager[elastic5]
#等待安装完毕

pip install mongo-connector[elastic5]

mongo-connector -m 192.168.20.80:27017 -t 192.168.20.81:9200 -d elastic2_doc_manager

将会有log输出到相应位置，可以打开查看，如果输出以下日志，并且任务管理器显示了mongo-connector进程，证明启动成功。