展开

关键词

ELFK日志系统

最近的工作涉及一套日志系统,用了业界成熟的ELFK方案,这里将过程记录一下。 日志系统安装elasticsearch群照手把手教你一个 Elasticsearch 群文章所述,elasticsearch群中节点有多种类型:主节点:即 Master 节点。 ,这样其还是存在单点故障的,官方议在本机部署一个Elasticsearch 协调(Coordinating only node) 的节点,这里配置成协调节点的地址。 部署测试至此一个较完整的ELFK日志系统就好了,用浏览器访问http:10.211.55.12:5601,在kibana的界面上简单设置下就可以查看到抓取的日志了:? 总结分布式日志,ELFK这一套比较成熟了,部署也很方便,不过部署起来还是稍显麻烦。

1.3K30

Redis坑总结

先澄清一下,整个过程问题都不是我解决的,我在里面就是起了个打酱油的角色。因为际上我负责这个项目,整个过程也比较清楚。之前也跟具体负责的同事说过,等过段时间带他做做项目复盘。 负责解决这个问题的同事小A就问我:那是不是再一套将两套Redis群分开就解决了。 至此,解决环境问题的方法有了答案:每套环境要两套Redis群,两个环境4套Redis群来解决问题。 往往,一个答案只是一系列问题的开始。 时间线 我们的方案是直接在使用Redis的服务上连接它的两套Redis群,只改下端口,多跑两个进程。 为了验证这个猜想,我了一个一个节点的群,手动cluster addslots了0到16383个slot。群判断16384个slot都分配完毕,自动状态改成OK。

27220
  • 广告
    关闭

    云产品限时秒杀

    云服务器1核2G首年50元,还有多款热门云产品满足您的上云需求

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    TKE上EFK日志系统

    1.创新的namespace创一个新的namespace为logging,该命名空间来部署EFKimage.png2.创ES的svckind: ServiceapiVersion: v1metadata elasticsearch clusterIP: None ports: - port: 9200 name: rest - port: 9300 name: inter-nodeimage.png3.创ES 的StatefulSet资源3.1创StorageClass需要创一个SC,用来后续ES创时候动态挂载PVC,在腾讯云中,如果挂载了卷,又起了多个pod,可以用自动动态挂载PVCimage.pngvolumeClaimTemplates elasticsearch spec: accessModes: storageClassName: cbs resources: requests: storage: 10Giimage.png4.创kibana retry_max_interval 30 chunk_limit_size 2M queue_limit_length 8 overflow_action block image.png5.2部署fluentdfluentdt需要收所有节点的日志

    31040

    如何一个视频网站

    下面介绍一下整个流程,详细的我也不清楚【所需材料】网站空间、域名、站源码、插件、解析插件可以用海洋CMS、苹果CMS或者我以前介绍的两个CMS https:www.hishare.site650 .html【第一步 网站】把源码上传到网站空间,设置好域名解析,完成网站的【第二步 数据】一般网站程序自带插件,也可以去淘宝购买插件。 的意思就是把各大视频网站的视频数据抓取到你的网站,电影介绍,海报啊,分类啊,评分啊之类信息。 【第三步 设置视频解析】数据完成但是你没有办法让这些视频直接在你的网站播放,这就需要视频解析了,一般解析插件不仅可以解析普通视频也可以解析VIP视频。购买的,才靠谱。 推荐CK视频解析 http:www.ckmov.com【第四步 投放广告】注册广告联盟,获取广告代码投放广告,现盈利。

    4.9K70

    金山词霸每日一句接口

    c=dailysentence&m=getdetail&title=2018-11-06&_=1541655200812接口 运行这个接口能到之前100天的。 一言接口 之后可以把这个每日接口使用宝塔计划监控为每日即可。

    41231

    docker 现redis

    摘要:接触docker以来,似乎养成了一种习惯,安装什么应用软件都想往docker方向做,今天就想来尝试下使用dockerredis群。 Redis Cluster 用哈希分区规则中的虚拟槽分区。所有的键根据哈希函数映射到0 ~ 16383,计算公式:slot = CRC16(key)&16383。 760e4d0039c5ac13d04aa4791c9e6dc28544d7c7 172.17.0.2:6379@16379 myself,master - 0 1528705602000 2 connected 0-5461 可以看到我们现在现了三主三从的一个高可用群 但是,际应用化场中,多是公网跨主机访问,问题明朗了,想着群这东西最好还是设置成共享主机公网ip比较好,于是解决如下:在docker运行时,执行网络模式为:host。 ,有多少端口多少个文件,最终运行一个容器,挂载一个配置到容器中用于覆盖主机中的配置。

    43310

    CentOS7下开源日志分析系统LogAnalyzer

    CentOS7下日志分析系统LogAnalyzerLogAnalyzer是一款Web界面syslog日志分析工具。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。

    38020

    Redis 战篇之

    Redis 群进入正题。 依据 Redis Cluster 内部故障转移现原理,Redis 群至少需要 3 个主节点,而每个主节点至少有 1 从节点,因此一个群至少包含 6 个节点,三主三从,并且分别部署在不同机器上。 目前 Redis Cluster 的有两种方式:手动方式,即手动执行 cluster 命令,一步步完成流程。自动方式,即使用官方提供的群管理工具快速。 两种方式原理一样,自动方式只是将手动方式中需要执行的 Redis 命令封装到了可执行程序。生产环境下推荐使用第二种方式,简单快捷,不易出错。不过本文战演示两种方式都会提及。 手动方式启动节点群的第一步就是要先把参与群的每个节点启动起来。

    41930

    接口测试平台

    通过平台化,降低管理成本和执行成本,即根据业务场、用例类型等维度进行分类管理,可视化执行。 比如将回归用例设置每天早晨在稳定环境执行,用来检测今日功能是否正常。创定时任务,到定时时间,会自动执行接口用例。? 技术现用例工程管理将根据git地址下载源码,编译;用例节点管理将包名,类名,方法名拆分成节点存入库中,根据节点信息可以生成用例;用例管理分为:回归用例,冒烟用例,需求用例三个类型。 根据使用者的测试场不同创用例,执行方式分为立即执行和定时执行。执行任务管理状态有:执行成功,执行失败,执行中,部分执行成功。执行完成会生成执行报告,查看执行结果。 ? 提供统一的用例管理调度能力。 未来预期:降低场型、链路型接口测试的编码成本,将场接口测试变为通过模板和组件的方式生成代码+本地调试补充的模式。

    28450

    MySQL现高可用

    本节所讲内容: l MySQL 群概述 l 战:MySQL 1  MySQL群概述和安装环境 MySQLCluster是MySQL适合于分布式计算环境的高用、高冗余版本。 Cluster的汉语是“群”的意思。它用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器。 NDB引擎是分布式的,它可以配置在多台服务器上来现数据的可靠性和扩展性,理论上通过配置2台NDB的存储节点就能现整个数据库群的冗余性和解决单点故障问题。 :MySQL 1.  : # mkdir -p usrmysql-cluster 2  mysql群 经过复杂的初始配置,我们终于要群了。

    73241

    .NET Core+MongoDB

    启动 MongoDB卸载方法apt 卸载方法tgz 卸载方法指定启动的配置通过配置文件通过参数MongoDB 绑定IP、端口测试远程 IP 连接加上密码验证设置账号密码开启登录验证停止 MongoDB群副本故障转移方案设计例名称如何创群启动两个例 如果不生效,请自行找方法解决,这里不再赘述~停止 MongoDBmongod --dbpath varlibmongo --logpath varlogmongodbmongod.log --shutdown群按照此方法 议使用 docker 一次性搞好,自己手动在物理机上面安装,太折腾了。接下来,我们要根据官方文档,简单的副本群。 官方文档地址:https:docs.mongodb.commanualreplication副本副本是一组 MongoDB 例来维护相同数据。 但是怎么配置原有的 MongoDB 例,使其成为 Primary - Secondary 群呢?Google 了很久。

    11920

    践】docker简易RabbitMQ

    RabbitMQ31.摘要本文介绍RabbitMQ普通群模式和镜像群模式的操作指南。2. 内容RabbitMQ有2种群模式,分别是普通群模式和镜像群模式。 故普通群模式 但凡数据节点挂了,容易造成数据丢失但镜像群模式可以保证群只要不全部挂掉,数据就不会丢失,当相对于性能来说,镜像群模式会比普通群模式多出消耗数据的传输。故取决于业务场进行取舍。 是否成功。(5)安装keepalived 现HA Keepalived说明Keepalive简介Keepalived是Linux下一个轻量级别的高可用解决方案。 real_server 192.168.9.144 15676 { weight 1 --- 给每台的权重,0表示失效(不知给他转发请求知道他恢复正常),默认是1 } } }3.参考(1)RabbitMQ 高可用 40009737articledetails112004194(2)Docker下配置KeepAlive支持nginx高可用https:www.cnblogs.comjake-jinp12713324.html(2)消息中间件—RabbitMQ(群原理与

    25820

    Redis

    主从的差不多说完了,本文我们来看看群如何。Redis群架构如下图:? ruby版本可能不适用,如果安装失败,可以参考这篇文章解决(https:blog.csdn.netfengye_yuluarticledetails77628094)首先我们对群做一个简单规划 ,假设我的群中一共有三个节点,每个节点一个主机一个从机,这样我一共需要6个Redis例。 注意创过程的日志,每个redis都获得了一个编号,同时日志也说明了哪些例做主机,哪些例做从机,每个从机的主机是谁,每个主机所分配到的hash槽范围等等。 好了,redis我们先说这么多,有问题欢迎留言讨论。

    42600

    zookeeper

    zookeeper 群之前,我们首先要明白为什么要选择三台机器,2台不可以吗? 5台服务器,投票选举半数为2.5,可以分成1,4两个群,或者2,3两群,这两个群分别都只能选举一个群,满足zookeeper数目。   以上分析,我们从容错率以及防止脑裂两方面说明了3台服务器是群的最少数目,4台发生脑裂时会造成没有leader节点的错误。 ps:你也可以不配,这不是群的必要操作,只不过如果你不配置环境变量,那么每次启动zookeeper需要到安装文件的 bin 目录下去启动。   执行完毕后,分别查看群节点状态:  出现如下即是成功:?  三台机器,slave1 成功的通过了选举称为了leader,而剩下的两台成为了 follower。

    28750

    storm

    storm群 系统centos7 1、安装Java jdk  1.7 2、安装zookeeper 3.4.8 3、安装Python2.7X 4、安装storm0.9 5、安装git 6、安装maven 存放数据的目录   softwarezookeeper-3.4.8data目录 进入 softwarezookeeper-3.4.8目录,创 mkdir data 把刚刚安装的zookeeper-3.4.8 如果是伪群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 例通信端口号不能一样,所以要给它们分配不同的端口号。 妈的,用service iptqbles stop 关闭防火墙,以为关了,原来一直没关,害得我分布式群折磨了我十多个小时,IP可以ping通,查看报错日志现找不到主机路由,用上面那个命令无论怎么关防火墙都没用 #supervisor工作进程端口号 supervisor.slots.ports:     - 6700     - 6701     - 6702     - 6703 #存放数据目录,要自己创

    55370

    Hadoop

    1342sshd tcp 0 0 ::ffff:192.168.6.71:8088 :::* LISTEN 2012java tcp 0 0 ::1:25 :::* LISTEN 1421master 创一个测试目录

    45060

    Storm

    Storm一、Storm 准备三台服务器,角色分配如下:    yun01:Zookeeper、nimbus。    yun02:Zookeeper、supervisor。    1、安装JDK略2、安装zookeeper群    参见: Zookeeper群的3、安装Storm    解压安装包即可4、配置Storm1.storm.yaml    修改$STORM_HOMEconf 1>必须修改的项  storm.zookeeper.services:    配置zookeeper群的主机名称。  nimbus.host:    指定了群中nimbus的节点。 它会使用指定的参数运行topology_class中的main()方法,同时上传topology_jar文件到nimbus以分发到整个群。提交后,Storm群会激活并且开始运行topology。 storm remoteconfvalue conf-name    用来查看远程群中的配置参数值。6、把topology提交到群中    案例:改造之前的单词计数案例,将其在群中运行。

    60430

    zookeeper

    最近公司用到了zookeeper做群管理,这里按步骤记录一下其中的一些经验,也给后来的同学一些参考。由于这里只有一台服务器,因此的其是伪群,多台服务器的流程类似。 环境:发行版:CentOS-6.6 64bit内核:2.6.32-504.el6.x86_64 CPU:intel-i7 3.6G内存:2G步骤:1. It is probably not running.说明进程启动失败或群未立成功,这时需要查看对应目录中的zookeeper.out日志去找到相应的原因并去解决它。8. 测试连接zookeeper群# cd zookeeper-server1;binzkCli.sh -server localhost:2181? 可以看到这里已经连接成功了,而且能查看节点情况,说明zookeeper群已经开始工作了。版权声明:本文为博主原创文章,未经博主允许不得转载。

    50070

    Hadoop

    目标在3台服务器上 Hadoop2.7.3 群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序思路(1)准备基础设施 准备3台服务器,分别命名为 master 配置完成后,把 master 上的 hadoop 目录复制到 slave1 slave2 (3)启动 hadoop 在 master 中进行 hdfs 初始化,执行启动命令,打开相应网页查看状态信息过程准备基础设施 可以正常访问的话,可以说明群启动成功了,但不一定可以正常运行,还需要下面的际验证 测试验证 (1)hdfs 操作 创目录 $ hdfs dfs -mkdir -p userhadoopinput 上传文件,把现有的一些配置文件上传到刚刚创的目录中 $ hdfs dfs -put homehadoopetchadoopkms*.xml userhadoopinput 如果没有返回错误信息,说明操作成功 注:在执行过程中,如果长时间处于 running 状态不动,虽然没有报错,但际上是出错了,后台在不断重试,需要到 logs 目录下查看日志文件中的错误信息 环境完成,内容较长,感谢阅读,希望对想要

    1.2K91

    Zookeeper

    目标 在 3 台服务器上 Zookeeper 的群环境,配置完成后,验证是否正确可用思路 (1)在3台服务器上安装 Zookeeper (2)修改各个 Zookeeper 的配置文件(3)启动各个 ID说明文件在定义的数据目录下创一个名为 myid 的文件,例如上面配置文件中指定的数据目录为 varzookeeper,那么 myid 文件的路径就是varzookeepermyidmyid 的内容就是一个数字 172.17.0.2 中,myid 文件的内容为 1172.17.0.3 中,myid 文件的内容为 2172.17.0.4 中,myid 文件的内容为 3在 3 台服务器上都配置完成 zoo.cfg,并创好 状态正确,完成了5操作测试下面执行几个ZK客户端命令,看是否可以正常操作节点列表?初始状态下只有默认的 zookeeper 节点 添加节点??获取节点数据?删除节点? 测试的几个操作都正确执行,Zookeeper 群可以正常工作了

    54350

    相关产品

    • 数字文博采集与建模

      数字文博采集与建模

      数字文博采集与建模(DMAM ),基于人工智能视觉识别技术,能快速准确采集实景,自动生成数字3D场景,以微米级精度实现文物三维互动。通过三维数字化技术,能实现720°VR实景漫游、虚拟漫游,为您提供如临现场的空间漫游体验。

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券