最近有朋友反应说绿盟软件扫描系统,发现系统有7840端口使用,需要更改7840端口,因为属于不安全端口,需要进行修改,但是通过更改DYNAMICPORTLIST后,扫描依然出现7840.
OGG简介(GoldenGate) OGG 是一种基于日志的结构化数据复制软件 OGG 能够实现大量交易数据的实时捕捉,变换和投递,实现源数据库与目标数据库的数据同步,保持最少10ms的数据延迟。
正文共: 2265字 19图 预计阅读时间: 6分钟 2.3为MySQL数据库设置OGG 2.3.1在Slave数据库上安装OGG 从Oracle Edelivery网站上下载OGG forMySQL,本例中使用ogg4mysql12.2.0.1.zip。登录Slave数据库服务器,在oracle用户下创建OGG的安装目录/u01/oggs,开始安装OGG。OGG的安装非常简单,把安装介质直接解压到OGG的安装目录即可。 进入OGG命令行界面,如图 📷 2.3.2 在Slave库上设置OGG抽取进程 1.
本文阐述了从Oracle实时同步到Hadoop集群的架构实践,分析了如何实现高效、稳定、易维护的同步方案。通过在两个集群上部署OGG,利用Oracle GoldenGate技术实现数据的实时同步,并阐述了如何通过业务逻辑编排实现多个集群之间的数据同步。同时,本文还提供了同步后的数据治理方案,以保障数据的一致性和可用性。
https://cloud.tencent.com/developer/article/1004462
当所有在Extract 启动之前的开始的交易都完成后,我们就可以使用RMAN 备份生产 端的数据库了。备份数据库的过程中一定要密切监控Extract 进程的状态,保证其一 直正常运行:
先说为啥是第二版呢,这里有两个原因,一是因为第一版大概是去年这个时候写的,没有考虑到序列同步的问题,如果你的数据库使用了序列,第一版是没有配置序列实时同步的,这样就导致了迁移完成后如果不单独导入系列,业务就没法使用,所以还需要处理序列。第二个原因是因为去年写的第一版大概是因为封面图使用了 O 注册商标,还是说文章抄袭了 O 享有的著作权,被北京某德事务所投诉,微信直接删除了这篇文章并清除了我历史关键字回复功能。。。点背,没办法,我也没办法申诉,只能默默认了。下面开始正文:
由于公众号单篇文章的限制,上一篇文章只讲OGG Microservices for oracle数据库安装与配置,对于如何通过WEB端配置数据同步、如何通过命令行查看与管理服务、进程以及简单故障处理都没有讲解,所以本篇主要讲解如何通过WEB端来配置数据同步(与GGSCI命令行创建与管理抽取、传输以及应用进程类似)以及如何通过adminclient来直接查看与管理服务以及进程。
GoldenGate这些年在数据迁移中是大放光彩,简称OGG,对于很多DBA来说,学会这项技能也会给自己加分不少。 Oracle在10g开始推出的GRID的概念,分为了以下四个层面。 1)存储层面 ASM 2)数据库服务 RAC 3)应用 Stream 4)管理 Grid Control 现在来看看这四个方面的发展。 ASM如果说在10g是试水,那么在11g中是走向成熟,12c作为标配。 RAC呢,自不必说,其实已经远远超出了它本身的含义,数据库的组件那么多,唯独这个组件是很多大企业的首选,
GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。
查看目标端的SCN号,记录该SCN号(得到该SCN号之后,启动复制进程时,使⽤该SCN号)
https://blog.csdn.net/m0_50546016/article/details/112525017
场景1:数据库SWITCHOVER切换之前停止OGG CLASSIC EXTRACT进程,切换之后修改OGG访问新主库,OGG EXTRACT进程RBA不移动也不会报错.
环境: 源端:Oracle12.2 ogg for Oracle 12.3 目标端:Kafka ogg for bigdata 12.3 将Oracle中的数据通过OGG同步到Kafka
对于 Flink 数据流的处理,一般都是去直接监控 xxx.log 日志的数据,至于如何实现关系型数据库数据的同步的话网上基本没啥多少可用性的文章,基于项目的需求,经过一段时间的研究终于还是弄出来了,写这篇文章主要是以中介的方式记录下来,也希望能帮助到在做关系型数据库的实时计算处理流的初学者。
最近有朋友在群里面咨询oracle resetlogs后,goldengate无法继续抽取日志,如何能够继续工作.
实验环境: 源端:192.168.1.30,Oracle 10.2.0.5 单实例 目标端:192.168.1.31,Oracle 10.2.0.5 单实例
ggsci是R中的一个包,提供了一系列颜色给ggplot2调色。里面包括了一些知名杂志期刊或者软件(甚至是知名科幻电影、动画等)的经典配色风格,对于科研绘图是相当有帮助的。下边介绍一下这个包的用法和内容,如果想要自己查看说明,可以在R中输入
最近有朋友反馈说OGG所在磁盘空间满,手动清理磁盘空间后,无法启动OGG进程,当时想想不应该,以前遇到很多次,空间满后,手动清理空间,如果mgr配置自启动或者手动启动进程,都是瞬间搞定。朋友说关闭mgr后,重启进程还是一样是abend状态,但是查看进程日志却无任何日志输出。
从去年开始便一直使用的是 ogg 19c,但今年年中时候发现 Oracle 官方居然将 Linux x64 位的 ogg 下载链接下架了,不知为何无法下载到这个版本了(PS:有需要的前去我的墨天轮地址下载:https://www.modb.pro/download/761440),微服务版本也没有了,现在只能从官网看到 21c 的安装包。
环境:参考:OGG学习笔记02-单向复制配置实例 实验目的:了解OGG简单故障的基本处理思路。
OGG学习笔记04-OGG复制部署快速参考 源端:Oracle 10.2.0.5 RAC + ASM 节点1 Public IP地址:192.168.1.27
Automatic archival是Disabled状态,因为Oracle默认是不开启自动归档的
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/53895301
在这篇文章开始之前,先跟大家推荐一位 PG 大佬公众号,一直深耕 PostgreSQL 多年,混迹于各大互联网公司和各种大会,也属于数据库老司机,云计算泥石流,开源 RDS —— Pigsty 大本营,感兴趣的朋友可以关注下。
说 明:源端 Oracle 数据库版本 19c, ogg 19.1 源端也可以是 11.2.0.4 db,ogg 版本 12.3.0.1.2 目标端:Kafka 版本 kafka_2.11-2.0.0(本次不涉及) ogg for bigdata 12.3.2.1.1
一般情况下只会设置palette 参数,指定主题名称,其它均为默认参数【即每种主题的字号,磅值,图边距等均可修改】。
写在最后:有时间我们会努力更新的。大家互动交流可以前去论坛,地址在下面,复制去浏览器即可访问,弥补下公众号没有留言功能的缺憾。
有时候随着业务的需要,需要将 Oracle 的部分数据通过 Kafka 进行分析,以获取最大的数据价值。那么就需要通过 OGG 抽取数据同步到 Kafka 了,搭建过程可查看上文,今天记录下遇到的一个罕见的错误,问题是这样的,通过 OGG 同步 Oracle 11g 数据到 Kafka 的一个应用进程 rep1,运行一段时间突然异常 ABENDED,查看日志报错如下:
前面几天发布了一篇使用 OGG 21c 遇到的几个问题之后,居然在新的周一后又发现了一个与 OGG 相关的问题,那是什么问题呢?且听小哥我慢慢道来。说来也简单就是使用 OGG21c 在中间机配置好了远程捕获 EXTRACT 进程,将数据导入到目标端 19c 后,源端捕获进程有很大的延迟,按照这个延迟来看,本地的归档日志也都删除了,可这个捕获进程呢没有任何报错,延迟一直在增大。
是时候把生信技能树平台交给后辈了,前面我介绍了;ggplot2绘图基础功不扎实?看完这5个资源 有一个学员从头到尾学完了这些资源,成长为了绘图小牛,还有自己的公众号,我先邀请他投稿一个笔记,后面有机会再推荐他的公众号!
D:\Oracle官方文档\E11882_01\install.112\e24326\toc.htm
这个月我们同事对原来生产环境的 19c RAC 进行 schema 级别的拆分,将其从 RHEL7.6 RU 19.15 的两个 schema 拆分迁移到 RHEL7.9 RU 19.21 的 RAC 上,迁移前后表空间和 schema 名不变,唯一改变的则是 RU 补丁版本和数据库名及 IP 地址,同时也配置了 Oracle 到 Kafka 的数据同步,所以需要重新部署 OGG 来同步新迁移的数据,Oracle 到 Kafka 的数据同步可以参考我这篇使用 OGG12.3 同步 Oracle 部分表到 Kafka。
Oracle GoldenGate Command Interpreter for Oracle
前些天给同事准备一套模拟环境用于测试一个OGG问题: 环境架构:Oracle 11.2.0.4 RAC + 单实例11.2.0.4 ADG(同时作为OGG源端,OGG版本19.1.0.0.4) + 单实例19.3多租户(其中1个PDB作为OGG目标端,OGG版本19.1.0.0.4) 现象概述:发现OGG进程abended,原因是主库归档满,但是实际已配置归档自动清理脚本(归档空间使用大于90%时清理),进一步查看发现根源是归档清理失效,报错RMAN-08137,导致的影响有很多,首先主库无法进行测试数据写入,其次ADG备库产生延迟,然后OGG源端抽取进程因超时报错OGG-02149导致abended..
我们在进行R进行画图时,常常会感叹默认配色难看,又不愿去找配色。因此,本期给大家推荐R包ggsci[1]解决以上问题。
源端环境:RHEL 6.5 + Oracle 11.2.0.4 RAC + OGG 19.1.0.0.4 目标端环境:RHEL 7.6 + Oracle 19.3 + OGG 19.1.0.0.4 故障现象:源端表结构某字段数据类型长度增加,并插入对应数据,目标端因还是之前的数据类型长度,导致应用进程无法更新对应数据进而导致ABENDED,一般来说,只需目标端依据源端修改为一致的字段长度即可,但这里发现依然会ABENDED,且报错信息不变。
今天给大家介绍一个快速绘制火山图(volcano map) 拓展工具包-ggVolcano,绘图结果为ggplot2对象,也就可以灵活进行相关主题的设置。详细介绍如下:
目前,比较常用的数据同步软件有 CDC(Oracle Change Data Capture 变更数据捕获)、迪思杰(DSG)、九桥软件 DDS、OGG 、Debezium、Flink CDC、阿里 dataX 等等,今天在来聊聊 OGG 基础知识(注意:以下为两年前的旧文分享)。之前也有关于 OGG 基础知识的介绍文章,感兴趣的可点此链接查看。
randomcoloR和paletteer的使用方式类似,都提供了直观的函数来生成和应用颜色方案。randomcoloR 包可以生成随机的颜色方案,非常适合当你需要快速创建一个颜色方案时使用。
最近在修图,遇到的问题就是,往往我自己认为配色很不错,一旦发到老板手上,就会被无情的打回,让我换一个新的配色。直到前几天,我搜到一个非常不错的R包“ggsci”,终于完美地解决了我的问题,制作出了让老板满意的配图。今天的推文,就和大家简单谈谈这个好用的工具。
一个组别如果分别在多个时间点被采集数据,这种情况就归属于重复测量设计,就不能采用ggbetweenstats了,因为已经违反了独立性的原则。
使用OGG中间件(框架)实时采集Oracle数据库表的数据,同步到Kafka分布式消息队列中。 OGG 是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志:online log或归档日志:archive log获得数据的增删改变化(数据量只有日志的四分之一左右);
我之前在《使用SQL计算宝宝每次吃奶的时间间隔(数据保障篇)》中提到数据实时同步的方案,其中有一种是数据表通过OGG进行同步,当时没有详细展开测试,只给了之前学习OGG时的配置示例。由于之前很少接触OGG的管理运维,最近在进行实际测试时遇到些问题,虽然不难,但也是初学者常遇到的问题,所以记录下这个过程。
一篇优秀的SCI论文,除了要有好的结果外,如何对结果进行可视化展示、如何对可视化图形进行配色都是SCI的加分项,今天小编给大家介绍的就是CNS级的文章配色,让你再也不用为文章配色而纠结!
OGG学习笔记01-基础概述 OGG(Oracle Golden Gate),最近几年在数据同步、容灾领域特别火,甚至比Oracle自己的原生产品DataGuard还要风光,主要是因为其跨平台、跨数据库、跨版本的强大特性。
之前OGG配置文件中都会明文记录密码,而在OGG12c及以上版本中,有一个特性credentialstore,可以用来杜绝明文密码,提升安全性。 这里测试添加credentialstore并配置数据库用户ogg别名为user,至此可以使用dblogin useridalias user登陆ogg:
ggplot2是目前主流的绘图R包,有着丰富的扩展包。今天来推荐一个极其强大的配色R包——paletteer包。据R包作者介绍,这个包收集了52个R包的2100种调色板,R用户可以通过paletteer[1]包来直接调用其他R包的调色板。下面来学习下怎么使用这个R包[2]。
领取专属 10元无门槛券
手把手带您无忧上云