爱可生 MySQL DBA 团队成员,Oracle 10g OCM,MySQL 5.7 OCP,擅长数据库性能问题诊断、事务与锁问题的分析等,负责处理客户 MySQL 及我司自研 DMP 平台日常运维中的问题,对开源数据库相关技术非常感兴趣。
生成dump文件有三种方式:任务管理器生成,windbg抓取,源码中添加dump转储代码。需要根据实际情况选择。
在开发中常常碰到,需要导入dmp文件到现有数据库。这里的dmp文件可能来自于其它系统,所以,一般情况下是不知道导出程序(exp)的版本、导出时间或者导出模式等信息的。那么如何从现有的dmp文件中获取到这些信息呢?下面作者将一一讲解。
(终止代码解释:SYSTEM_SERVICE_EXCEPTION,又称为异常处理程序,是一种常见的蓝屏错误码,代表Windows系统检测到内核代码发生错误,无法响应某些系统服务,而且无法继续运行。它特别容易发生在许多设备驱动程序中,如显示驱动程序和音频驱动程序,因为他们成为Windows系统的必要组成部分。
客户要将数据库数据迁移到 DMP[1] 平台上,需要根据源库的配置修改相应参数(例:lower_case_table_names=0),但发现在配置文件添加好参数后数据库起不来了。
作为一名程序,最头疼的莫过于项目上线后收到程序崩溃的通知,若能够在手头重现出该问题,那相对来说项目能够及时的修复并更新;如果无法重现外网崩溃的问题,那就十分的"头疼"了。要是能够实时的采集到项目的崩溃信息,那该多好啊!这并不是一种什么奢望,目前就有现成的技术解决方案。这段时间,我一直在帮项目开发程序崩溃的采集功能,其中用到的技术方案就是 Google 开发的 Breakpad。
当前xtrabackup的8.0.13已经支持 mysql 8.0.20版本(8.0.20版本对innodb的数据文件模式进行了修改)
索引是若干数据行的关键字的列表,查询数据时,通过索引中的关键字可以快速定位到要访问的记录所在的数据块,从而大大减少读取数据的I/O次数,因此可以显著的提高性能
俗话说:万事开头难! 自从来到新公司遇到性能问题后,需要想办法解决这个问题,但是一直没有合适的性能分析工具,然后找到StevenChennet 大神帮忙,他用WinDbg工具远程帮我分析了一个 dump文件,但是只看到键盘 “啪啪啪”,得到了结果,却不是很清楚WinDbg神奇具体如何使用的。结果,第二天,性能问题又来了,总不能每次劳烦大神驾到,所以不得不自己开始学习WinDbg,这里记录一个入门过程。 1,首先,下载并安装WinDbg程序 从下面的地址打开: https://msdn.microsoft.c
2、备库执行 start slave 命令,备库启动两个线程:I/O thread 和 SQL thread
注意: exe、dll、pdb文件要对应崩溃环境上当时编译出来的版本,不能是后面编译的版本。
expdp介绍 EXPDP命令行选项 1. ATTACH 该选项用于在客户会话与已存在导出作用之间建立关联.语法如下 ATTACH=[schema_name.]job_name Schema_name用于指定方案名,job_name用于指定导出作业名.注意,如果使用ATTACH选项,在命令行除了连接字符串和ATTACH选项外,不能指定任何其他选项,示例如下: Expdp scott/tiger ATTACH=scott.export_job 2. CONTENT 该选项用于指定要导出的内容.默认值为ALL
在软件编程中,崩溃的场景比较常见的。且说微软技术再牛X,也是会出现崩溃的场景。网上有一段Win98当着比尔盖茨蓝屏的视频非常有意思。(转载请指明出于breaksoftware的csdn博客) 我们身边的很多软件都引入了dump生成和收集机制。但是一般情况下,它们都是生成minidump。因为minidump文件相对来说很小,方面我们收集上来进行分析。但是Minidump保存了很少的信息,在一些场景下,可能不能协助我们准确快速定位问题。
进程的内存空间中存储的域,本地用户名和密码称为LSASS(本地安全机构子系统服务)。如果在目标上具有一定的权限,则可以授予用户访问LSASS的权限,并且可以提取其数据以进行横向移动和特权升级。
链接: https://pan.baidu.com/s/1RfQPAHo_WqMUL4frg9tuXw 提取码: g9mk
文件:如果系统能进去,进入系统,以管理员身份打开powershell执行Get-WindowsUpdateLog会生成C:\Users\Administrator\Desktop\WindowsUpdate.log,如果没有生成,忽略即可
System的运行时间就是开机时间,这里还可能会问进程数量,粘贴复制进去notpead++看行数
导读 | 精选 一、方案特点 此方案是基于批处理脚本和任务计划技术,针对系统特有文件结构和数据库结构的特点,而形成的系统备份方案。该方案特点: 1.易用性好,通过编写批处理脚本并结合操作系统自带的任务计划功能,很容易实现对于平台文件和数据库文件的备份要求。 2.备份成本小或免费,不依赖于特殊的备份软件,基于操作系统自带功能,软件成本极低。 3.自动化程度高,通过操作系统的任务计划定时执行设定好的批处理脚本,不需要运维人员值守或手动启动,交于系统自动执行,省去很多人力。 但此方案在设计上仍然还是有不足之处,对
个人水平有限,文章若有不足之处,感谢各位大佬批评指正,希望能够与各位师傅分享学习。
一、方案特点 此方案是基于批处理脚本和任务计划技术,针对系统特有文件结构和数据库结构的特点,而形成的系统备份方案。该方案特点: 1. 易用性好,通过编写批处理脚本并结合操作系统自带的任务计划功能,很容易实现对于平台文件和数据库文件的备份要求。 2. 备份成本小或免费,不依赖于特殊的备份软件,基于操作系统自带功能,软件成本极低。 3. 自动化程度高,通过操作系统的任务计划定时执行设定好的批处理脚本,不需要运维人员值守或手动启动,交于系统自动执行,省去很多人力。 但此方案在设计上仍然还是有不足之处,对于
plsql导入.sql和.dmp文件时,会经常用到,对于初学者来说可能没有那么简单,毕竟oracle数据库比较麻烦。 下面是我自己导入.sql和.dmp文件的步骤。 1.导入.sql文件(sql文件是表结构文件,不包含数据)
当一个发布的.NET应用程序出现app crash,无法通过日志分析异常原因时,就需要通过分析DMP文件了,传统方式是通过WinDbg来分析DMP文件,但是WinDbg用起来不是很方便,其实VS就是一个很好的DMP文件分析工具,这里我们通过一个简单的控制台项目来分析一个DMP文件。
风和日丽的一个下午,好基友突然发了一个私服的网站,说搞不下来,我打开网页看了一下,网页十分简单,功能点不多,仅仅只有一个登录框,而且还没办法注册,不好看,随手测了下有无Post注入,单引号大法,结果是没有的。没啥功能点确实是不太好搞,信息收集一波。
在数据迁移的过程中,会产生大量的dump文件,需要对dump的文件情况进行一个简单清晰的管理,比如目录下的文件特别多,而且某些表比较大,对应的dump文件比较多,就想得到一个很简洁的报告,能够统计出来每个表有多少个dump文件。 比如有1000个dump文件,都是基于 表TEST1,TEST2,TEST3,TEST4的。那么就想得到一个简单的统计报告,类似下面的形式 TEST1 100 TEST2 450 TEST3 300 TEST4 150 简单模拟一下这个问题。 使用如下的脚本a.sh来生成DUMP文
NanoDump是一款功能强大的MiniDump转储文件提取工具,在该工具的帮助下,广大研究人员可以轻松转储LSASS进程中的MiniDump数据。
爱可生 DBA 成员,主要负责 MySQL 故障处理及 DMP 平台相关技术支持。追求技术,乐此不疲。
物理备份是指将数据库的所有物理文件完整拷贝到备份位置的一个过程。物理备份是所有物理文件的一个副本,例如,数据文件、控制文件、归档日志等。该副本能被存储在本地磁盘或磁带。物理备份是备份或恢复的基础,包括冷备份(非归档模式)和热备份(归档模式)。物理备份既可以在数据库打开的状态下进行也可在数据库关闭的状态下进行,但是逻辑备份和恢复则只能在数据库打开的状态下进行。
很多时候我们需要备份Oracle的数据库,然后将数据导入其他数据库,因为有大文本字段会导致insert无法完全导出,只能导出为dmp文件,前提是windows必须安装Oracle客户端,有exp等命令支持
非 root 用户运行 MySQL,当 MySQL 配置比较高时,MySQL 运行中生效的参数值与配置的值不一样,所以具体分析一下 MySQL 是怎么调整这些参数值的。
未捕捉异常无法生成dump文件,导出中二次崩溃,程序主动调用abort终止进程都会导致dump文件未生成。
近日,客户反馈某生产业务系统凌晨的物理备份都失败了(一主二从的集群,仅在两个从库上做 Xtrabackup 全备,主库不参与备份),需排查备份失败的原因。
C:\Users\Bruce\AppData\Roaming\SecureCRT.dmp
这里会和别人的配置不一样,主要区别在于HibernateProperties。别人的在第61行,我注释掉的那行,会直接使用jpaProperties.getProperties()。当你这样写之后,会发现yml里配置的Hibernate的update自动生成表,和命名方式并没有生效。
在前几篇中讨论过海量数据的并行加载,基本思路就是针对每一个物理表都会有一个对应的外部表,在做数据迁移的时候,如果表有上百G的时候,一个物理表对应一个外部表性能上会没有任何提升。如果需要做数据插入的时候,对undo是极大的挑战,从某种程度上而言,性能应该要比datapump要差。这个时候可以考虑一个物理表对应多个外部表,比如一个表有100G。可以考虑生成100个external dump 文件,然后加载生成100个外部表,每个dump文件对应一个外部表,这样做数据的插入的时候就相对容易控制了。每一个外部表的数
当时在导出数据库dmp文件时的用户拥有DBA权限,而现在要导入数据库的用户没有DBA权限。
复制dmp文件到oracle安装目录里的app\admin\orce\dpdump里,然后用以下代码导入dmp文件,要顺便导入logfile的话,加上logfile=文件名
在10g开始的新特性中,外部表是一个不容忽视的好工具。对于大型项目中海量数据使用sqlloader是一种全新的方式,不过很明显,sqlloader的可扩展性更强,但是基于oracle平台的数据迁移来说,外部表的性能也不错。对于数据迁移来说也是一个很好的方案。 使用外部表来做数据迁移,可以“动态”加载数据,能够很方便的从数据库中加载数据,对于数据校验来说就显得很有优势了,而对于sqlloader来说,可能得等到数据加载的时候才知道是不是有问题,如果对于数据的准确性要求极高,可以使用外部表动态加载数据到备库,和
两个主要方面的业务: ⚫ 第一个、数据【ETL 处理】 ◼依据IP地址,调用第三方库解析为省份province和城市city; ◼将ETL后数据保存至PARQUET文件(分区)或Hive 分区表中; ⚫ 第二个、数据【业务报表】 ◼读取Hive Table中广告数据,按照业务报表需求统计分析,使用DSL编程或SQL编程; ◼将业务报表数据最终存储MySQL Table表中,便于前端展示; 上述两个业务功能的实现,使用SparkSQL进行完成,最终使用Oozie和Hue进行可视化操作调用程序ETL和Report自动执行。
在Window服务器部署程序后,可能因为代码的不合理或者其他各种各样的问题,会导致CPU暴增,甚至达到100%等情况,严重危及到服务器的稳定以及系统稳定,但是一般来说对于已发布的程序,没法即时看到出问题的代码,而微软提供了一个很好的工具“WinDbg”,使得我们能够回溯问题。下面讲一下操作步骤。
crash的类型比较多,有些类型的crash,crash过程观察到了,但是最终并不一定会产生.dmp文件
备份就是把数据库复制到转储设备的过程。其中,转储设备是指用于放置数据库副本的磁带或磁盘。通常也将存放于转储设备中的数据库的副本称为原数据库的备份或转储。备份是一份数据副本
oracle导入导出不像mysql那么方便,这边记录下oracle本地/远程导入导出(imp/exp)实践过程
普罗米修斯下载地址:https://prometheus.io/download/
默认需要切 oracle 用户才可以用,命令su - oracle。 直接用 exp 命令会显示 command not found
爱可生交付服务部团队 DBA 擅长日志分析、问题排查等;主要负责处理 MySQL 与我司自研数据库自动化管理平台 DMP 的日常运维问题,对数据库及周边技术有浓厚的学习兴趣。
领取专属 10元无门槛券
手把手带您无忧上云