为了维护世界的和平,为了童鞋们的电脑少挂几次,为了俊俊学长不总被骚扰 ,于是,就有了本贴,
刚接触OGG的时候,很容易被众多的版本搞晕,虽然官方有提供各版本对应认证OS和DB的表格。 个人认为一个比较简单的方式,是直接去edelivery.oracle.com下载OGG,选定一个大版本后,这里以11.1(一个较旧的版本,这里只是举例说明),再选择自己可能用到的OS,得出的列表如下:
OGG 微服务架构(Microservices Architecture)起始于12.3版本,采用各种服务来管理,通过WEB接口来创建进程、启动进程以及管理底层进程等操作以及具备完善监控功能包括进程、线程等性能数据,以前非微服务架构称为经典架构(Classic Architecture)。
https://edelivery.oracle.com/osdc/faces/SoftwareDelivery
源端和目标端的文件不一样,目标端需要下载Oracle GoldenGate for Big Data,源端需要下载Oracle GoldenGate for Oracle!
大神们在群里讨论微服务的高可用,主要是XAG不支持adminclient接口,只支持ggsci接口,经过查看官方文档说明,最新版本XAG已经支持adminclient接口,ORACLE CLUSTER不仅仅支持ORACLE DATABASE也可以来管理各种资源实现高可用,OGG高可用管理主要依赖XAG插件。本文主要讲述如何通过ORACLE CLUSTER加上XAG实现OGG Microservices微服务的高可用。
Oracle11gR2的具体版本是11.2.0.1.0,适用于64位的Linux平台,包含两个软件包,名称分别为:
先说为啥是第二版呢,这里有两个原因,一是因为第一版大概是去年这个时候写的,没有考虑到序列同步的问题,如果你的数据库使用了序列,第一版是没有配置序列实时同步的,这样就导致了迁移完成后如果不单独导入系列,业务就没法使用,所以还需要处理序列。第二个原因是因为去年写的第一版大概是因为封面图使用了 O 注册商标,还是说文章抄袭了 O 享有的著作权,被北京某德事务所投诉,微信直接删除了这篇文章并清除了我历史关键字回复功能。。。点背,没办法,我也没办法申诉,只能默默认了。下面开始正文:
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/53895301
架构 📷 📷 环境准备 -- 创建专用网络 docker network create --subnet=172.72.6.0/24 pg-network -- PG A docker rm -f lhrpga docker run -d --name lhrpga -h lhrpga \ -p 64320:5432 --net=pg-network --ip 172.72.6.20 \ -e POSTGRES_PASSWORD=lhr \ -e TZ=Asia/Shanghai \
当所有在Extract 启动之前的开始的交易都完成后,我们就可以使用RMAN 备份生产 端的数据库了。备份数据库的过程中一定要密切监控Extract 进程的状态,保证其一 直正常运行:
在这篇文章开始之前,先跟大家推荐一位 PG 大佬公众号,一直深耕 PostgreSQL 多年,混迹于各大互联网公司和各种大会,也属于数据库老司机,云计算泥石流,开源 RDS —— Pigsty 大本营,感兴趣的朋友可以关注下。
说 明:源端 Oracle 数据库版本 19c, ogg 19.1 源端也可以是 11.2.0.4 db,ogg 版本 12.3.0.1.2 目标端:Kafka 版本 kafka_2.11-2.0.0(本次不涉及) ogg for bigdata 12.3.2.1.1
Oracle Goldengate(以下简称OGG)是业界广泛使用的准实时数据复制软件,主要基于数据库日志进行变更数据的抽取,也就是我们常说的CDC(change data capture)的能力,Goldengate的优势主要体现支持各种异构环境下的数据复制,对生产库的影响最低(基于日志读取,非Sqoop这样直接查询数据的方式,同时可以支持remote capture)。
OGG学习笔记01-基础概述 OGG(Oracle Golden Gate),最近几年在数据同步、容灾领域特别火,甚至比Oracle自己的原生产品DataGuard还要风光,主要是因为其跨平台、跨数据库、跨版本的强大特性。
Best Practice for Data migration from Oracleto Tidb
android源码编译后得到system.img,ramdisk.img,userdata.img映像文件。其中, ramdisk.img是emulator的文件系统,system.img包括了主要的包、库等文件,userdata.img包括了一些用户数据,emulator加载这3个映像文件后,会把 system和 userdata分别加载到 ramdisk文件系统中的system和 userdata目录下。因此,我们可以把ramdisk.img里的所有文件复制出来,system.img和userdata.img分别解压到 ramdisk文件系统中的system和 userdata目录下。 2、分离android文件系统出来 system.img,ramdisk.img,userdata.img映像文件是采用cpio打包、gzip压缩的,可以通过file命令验证: file ramdisk.img,输出: ramdisk.img: gzip compressed data, from Unix, last modified: Wed Mar 18 17:16:10 2009 Android源码编译后除了生成system.img,userdata.img之外还生成system和 userdata文件夹,因此不需要解压它们。Android源码编译后还生成root文件夹,其实root下的文件与 ramdisk.img 里的文件是一样的,不过这里还是介绍怎样把 ramdisk.img解压出来: 将ramdisk.img复制一份到任何其他目录下,将其名称改为ramdisk.img.gz,并使用命令 gunzip ramdisk.img.gz 然后新建一个文件夹,叫ramdisk吧,进入,输入命令 cpio -i -F ../ramdisk.img 这下,你就能看见并操作ramdisk里面的内容了。 然后把Android源码编译后生成的system和 userdata里的文件复制到 ramdisk/system和 ramdisk/userdata下。这样就得到一个文件系统了。 3、使用网络文件系统方式挂载android文件系统 因此,我们需要建立/nfsroot目录,再建立/nfsroot/androidfs目录,把刚才的android文件系统改名为androidfs,并链接到/nfsroot/androidfs 4、android内核引导文件系统 android内核挂载/nfsroot/androidfs之后,根据init.rc,init.goldfish.rc来初始化并装载系统库、程序等直到开机完成。init.rc脚本包括了文件系统初始化、装载的许多过程。init.rc的工作主要是: 1)设置一些环境变量 2)创建system、sdcard、data、cache等目录 3)把一些文件系统mount到一些目录去,如,mount tmpfs tmpfs /sqlite_stmt_journals 4)设置一些文件的用户群组、权限 5)设置一些线程参数 6)设置TCP缓存大小 5、操作android的一些方法 您应该已经知道,Android 的核心作业系统是Linux (现在用的版本是2.6.25)。因此内部的档案系统,与系统目录等,也和Linux 脱不了关系。要如何观察这些系统目录,到底藏了什么秘密呢? 在Eclipse 环境中,你可以用DDMS 来观察。不过这个DDMS 在我的电脑上的执行速度,实在太慢了。我个人的偏好是,直接用adb shell 来观察。 启动adb shell 的用法如下: 1). 在Windows 中,开启一个命令列视窗(或执行cmd.exe 这个程式) 2). cd <android-sdk-install_path>/tools 3). adb shell 当你看到这个# 提示字元时,就表示你已经进入模拟器的系统。接下来,你就可以用Linux 上的指令来浏览这些目录。像是 cd, ls, pwd, cat, rm 等等。 这里面,有几个目录是和Android 相关的,特地将他整理下来,供你参考。
FFmpeg内置了aac音频格式,在《FFmpeg开发实战:从零基础到短视频上线》一书的“5.2.2 Linux环境集成mp3lame”又介绍了如何给FFmpeg集成mp3格式,常见的音频文件除了这两种之外,还有ogg和amr两种格式也较常用。其中ogg格式的编解码依赖于libogg和libvorbis,而amr格式的编解码依赖于opencore-amr。因此要先安装编译这三个库,再让FFmpeg开启ogg和amr支持,在Linux环境的操作过程包含四个步骤:安装libogg、安装libvorbis、安装opencore-amr、重新编译FFmpeg,分别说明如下。
D:\Oracle官方文档\E11882_01\install.112\e24326\toc.htm
Automatic archival是Disabled状态,因为Oracle默认是不开启自动归档的
goldengate算是数据同步的利器,可以在不同的库,平台间进行数据的同步,当然还是有一些bug的,不过还是优点大过缺点。 算是尝尝鲜,从官网下载了一个版本12的,可以支持11g,12c。安装的过程我开始以为会很繁琐。结果安装的过程很简单,不过配置和管理要费一些功夫的。后续再说。 下载安装包可以从官网上得到,大概300多兆的样子。 -rw-r--r-- 1 ogg dba 341316447 May 11 03:26 121200_fbo_ggs_Linux_x64_shiphome.zip 选择一下需要
糖豆贴心提醒,本文阅读时间8分钟 目前 Linux 上有几十个音乐播放器,这使得找到一个最好用的变成很困难。我们已经尝试了很多,如 Cantata,Exaile,甚至不那么出名的 Clementine,Nightingale 和 Quod Libet,但这些软件或多或少的总有一些问题。 在本篇文章中我们将从尝试过的很多个播放器里挑出几个最好用的呈现给大家,但是因为个人使用并不能覆盖到所有播放器,同时这种评测也基于主观意识,所以难免有不到位的地方,请大家指正。 1、 Qmmp Qmmp 算不上是最稳定或者
本文阐述了从Oracle实时同步到Hadoop集群的架构实践,分析了如何实现高效、稳定、易维护的同步方案。通过在两个集群上部署OGG,利用Oracle GoldenGate技术实现数据的实时同步,并阐述了如何通过业务逻辑编排实现多个集群之间的数据同步。同时,本文还提供了同步后的数据治理方案,以保障数据的一致性和可用性。
https://cloud.tencent.com/developer/article/1004462
使用OGG中间件(框架)实时采集Oracle数据库表的数据,同步到Kafka分布式消息队列中。 OGG 是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志:online log或归档日志:archive log获得数据的增删改变化(数据量只有日志的四分之一左右);
今天测试了一下GoldenGate的复制,发现还是有不少的细节之处需要测试,保证可控,而下面做了几个测试也加深了我对OGG的理解。 默认是不支持DDL的,而线上业务的DDL也是完全可控的,在升级前几天可以冻结DDL,所以在线业务中还是充分利用DML的数据变化即可,不过这些影响还是需要测试到的,做到心中有数。 源端在Solaris下,数据库为10gR2,所以适用的OGG版本只是11.2的版本了。目标端为Linux X86,数据库为11gR2,也是使用同样版本的OGG软件。 同步的过程可以参考之前的一篇文章,我
喜欢的歌曲手机上不支持这种格式播放怎么办?今天小编今天分享的NCH Switch Plus mac版是Macos上一款音频转换工具,可以快速转换各种音频格式,使用便捷,还能在转换之前播放曲目。
Linux2.6内核层,核心库层,应用框架层,应用层。我今天重点介绍一下应用框架层Framework。
https://blog.csdn.net/m0_50546016/article/details/112525017
2019-01-11 17:56:34 ERROR OGG-01296 Error mapping from SOURCE.AA to TARGET.AA
查看目标端的SCN号,记录该SCN号(得到该SCN号之后,启动复制进程时,使⽤该SCN号)
有时候随着业务的需要,需要将 Oracle 的部分数据通过 Kafka 进行分析,以获取最大的数据价值。那么就需要通过 OGG 抽取数据同步到 Kafka 了,搭建过程可查看上文,今天记录下遇到的一个罕见的错误,问题是这样的,通过 OGG 同步 Oracle 11g 数据到 Kafka 的一个应用进程 rep1,运行一段时间突然异常 ABENDED,查看日志报错如下:
yum install gcc make nasm pkgconfig wget curl curl-devel zlib-devel openssl-devel perl cpio expat-devel gettext-devel libtool mhash.x86_64 perl-Digest-SHA1.x86_64 pcre.i386 pcre.x86_64 pcre-devel.i386 pcre-devel.x86_64
如上图所示,OGG主要包含Manager进程、Extract进程、Pump进程、Replicat进程,下面对其进行说明:
准备工作:打开虚拟机端的Oracle Linux Server 6.9的系统,然后使用root用户登录。打开终端界面,输入ifconfig -a查看IP地址。
我们通过GoldenGate技术在Oracle DB和Kafka代理之间创建集成,该技术实时发布Kafka中的CDC事件流。
目前,比较常用的数据同步软件有 CDC(Oracle Change Data Capture 变更数据捕获)、迪思杰(DSG)、九桥软件 DDS、OGG 、Debezium、Flink CDC、阿里 dataX 等等,今天在来聊聊 OGG 基础知识(注意:以下为两年前的旧文分享)。之前也有关于 OGG 基础知识的介绍文章,感兴趣的可点此链接查看。
对OGG进行交互的命令为GGSCI(GoldenGate Software Command Interface),GGSCI提供了十分丰富的命令来对OGG进行各种操作,如创建、修改、监控OGG进程等等,如下所示:
今天对GoldenGate的数据同步进一步做了测试,发现在一些模拟真实的场景中,需要考虑的因素要更多更为复杂。简单同步几条,几百条数据的测试同步做验证测试可以,但是很难测试出来一些潜在的问题,今天碰到了一些问题,基本都得到了解决。 首先要测试的这个环境数据要多一些。导出了一个测试环境的数据进行OGG的复制演练。 test@TESTDB> select table_type from cat group by table_type TABLE_TYPE ----------- TABLE VIEW SYNON
GoldenGate这些年在数据迁移中是大放光彩,简称OGG,对于很多DBA来说,学会这项技能也会给自己加分不少。 Oracle在10g开始推出的GRID的概念,分为了以下四个层面。 1)存储层面 ASM 2)数据库服务 RAC 3)应用 Stream 4)管理 Grid Control 现在来看看这四个方面的发展。 ASM如果说在10g是试水,那么在11g中是走向成熟,12c作为标配。 RAC呢,自不必说,其实已经远远超出了它本身的含义,数据库的组件那么多,唯独这个组件是很多大企业的首选,
4K YouTube to MP3是一款强大好用的在线音频提取工具,专门用于从YouTube,VEVO,SoundCloud和Facebook以MP3,M4A,OGG进行音频提取。
FFmpeg内置了aac音频格式,在《FFmpeg开发实战:从零基础到短视频上线》一书的“5.2.2 Linux环境集成mp3lame”又介绍了如何给FFmpeg集成mp3格式,常见的音频文件除了这两种之外,还有ogg和amr两种格式也较常用。其中ogg格式的编解码依赖于libogg和libvorbis,而amr格式的编解码依赖于opencore-amr。前文介绍了在Linux环境给FFmpeg集成vorbis和amr,接下来介绍如何在Windows环境给FFmpeg集成vorbis和amr。
Html5 开始支持video和audio标签,但是各个浏览器支持的格式不一样,见下图 Codec support in modern desktop browsers Browser Ogg Vorbis MP3 WAV FireFox 3.6+ ✓ ✓ Safari 5+ ✓ ✓ Chrome 6 ✓ ✓ Opera 10.5+ ✓ ✓ Internet Explorer 9 (beta) ✓ ✓ 因此,要想全面兼容,至少需要提供两种格式,由于wav文件体
这个月我们同事对原来生产环境的 19c RAC 进行 schema 级别的拆分,将其从 RHEL7.6 RU 19.15 的两个 schema 拆分迁移到 RHEL7.9 RU 19.21 的 RAC 上,迁移前后表空间和 schema 名不变,唯一改变的则是 RU 补丁版本和数据库名及 IP 地址,同时也配置了 Oracle 到 Kafka 的数据同步,所以需要重新部署 OGG 来同步新迁移的数据,Oracle 到 Kafka 的数据同步可以参考我这篇使用 OGG12.3 同步 Oracle 部分表到 Kafka。
4K YouTube to MP3 for Mac是mac平台上一个简单易用的音频提取软件,专门用于从YouTube,VEVO,SoundCloud和Facebook以MP3,M4A,OGG进行音频提取。
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/53895518
关于Oracle GoldenGate (简称OGG)的 Lag at Chkpt和Time Since Chkpt的理解,前提需要理解OGG的每个进程都有它自己的checkpoint file。每当一个进程看到在事务的commit时,检查点文件中就将产生一个检查点。OGG的恢复进程总是以检查点作为起点。而OGG是通过监控的checkpoint和Lag at Chkpt和Time Since Chkpt这2个指标来衡量数据同步延迟时效的。
领取专属 10元无门槛券
手把手带您无忧上云