如何用elasticsearch构架亿级数据采集系统

咱们要做啥?

基于Elasticsearch,可以为实现,大数据量(亿级)的实时统计查询的方案设计,提供底层数据框架。

本小节jacky会在非生产环境下,在 window 系统下,给大家分享本部分的相关内容。

(一)Elasticsearch的安装

2.1 版本选择:elasticsearch-rtf

第1步:安装java

验证java是否安装成功:

这里java要兼容elasticsearch,必须安装java8以上的版本

第2步:下载elasticsearch-rtf

第3步:在bin目录下用命令行安装elasticsearch

第4步:查看9200访问接口,如果看到以下界面,说明我们的elasticsearch就安装成功了

(二)head 插件的安装

第1步,在github中下载head插件

第二步:下载npm

下载安装npm的前置环境-nodejs

验证npm是否下载成功

第三步:安装cnpm

npm就相当于python中的pip,中央仓库在国外,下载速度极慢,所以选择淘宝镜像的cnpm代替npm;

第4步:安装head插件

第5步 : 运行head插件

head 文件下:cnpm run start

elasticsearch安全策略规定:elasitcsearch默认不允许使用第三方的服务,为了可以满足head这个代理服务可以访问elasticsearch,我们要对elasticsearch进行一些配置上的改动;

第6步 : 重新配置elasticsearch

我们看到显示未连接,我们需要配置elasticsearch-rtf(搜索引擎)连接,在elasticsearch-rtf/config/elasticsearch.yml 这个文件里配置,在文件的最后面写入:

第7步:重启elasticsearch-rtf(搜索引擎)后就可以连接了

(三)Kibana 插件的安装

注意:Kibana的版本要对应elasticsearch-head里信息里的版本

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181101G1742Y00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券