抽取加速

最近更新时间:2023-12-08 16:19:12

我的收藏

使用场景

在 BI 上进行大数据量的分析时,往往容易遇到查询慢、报表加载卡顿、超时奔溃等性能问题,这个时候便可以使用抽取加速对数据表进行加速,从而达到高效 BI 分析的目的。

效果对比

如下图所示,左侧报表使用到的数据表未进行加速,加载耗时约30秒。右侧报表使用到的数据表进行了加速,加载耗时约1秒多。两者同为100万行的数据,数据内容一致,配置方式一致,但加速后的提升了约20倍!




如何启用抽取加速

抽取加速为专业版独享能力,非专业版需升级到专业版才可使用。

如果是首次使用,需企业管理员从左侧入口进入”工具箱“页面,在加速引擎大类中找到”抽取加速“入口。


单击后可进入抽取加速的总览控制页,该页面支持对该当前企业抽取加速引擎的开启关闭,容量使用情况总览等功能。默认抽取引擎为关闭状态,需单击开启。



开启后,可查看使用概况(包含容量使用的占比和具体数值),以及每个项目的容量使用情况,默认按使用容量降序排序,也支持调整为升序排序。抽取加速会使用到抽取容量,当容量不足时会暂停抽取加速,因此请确保容量充足。抽取容量在新购页时可购买,也可在升配时升级容量。


启用抽取加速引擎总开关后,便可对项目内具体某张数据表进行加速。进入项目后,在数据 > 数据表模块的操作栏中,会有一个加速入口


单击后如下图所示,默认加速引擎为未启用状态。此时可单击右侧的编辑配置进行编辑


单击编辑配置便可启用加速开关,启用后如下图所示。各字段的释义如下:


加速类型:当前仅支持抽取加速,抽取加速指将当前表的数据抽取到高性能储存中以提升查询速度。
抽取时间:分定时加速和手动触发,定时加速指定期将数据抽取到高性能储存中,手动触发指只有手动单击加速时,才会将数据抽取到高性能储存中。
定时配置:当选择定时加速时才有此配置,选手动触发时则没有。根据您的业务情况,设置一个定时加速的时间。注意定时加速时,每个自然日仅会执行一次任务。例如最开始设置的定时加速时间为11:00,在11.01分您修改了定时时间为11.05分,则在11.05分不会再执行抽取加速。因为11:00已经执行过,每个自然日仅会执行一次任务,需等到次日的11.05分才会执行。则若您修改了定时配置后想立即执行,可在保存后单击立即加速
按日期抽取:若当前表是以日期字段分区的分区表,则可选择该日期字段进行增量抽取,提升抽取效率并节约抽取空间。关闭时,则每次抽取都会抽取该表全量的数据。开启后,则如下图所示,此时需要配置4项内容。
日期字段:请选择该表用来分区的字段
日期格式:指定日期字段的数据格式,便于BI系统识别,例如日期字段的内容为“2023-01-01”,则应选为“YYYY-MM-DD”,如果为“20230101”,则应选为“YYYYMMDD”,以此类推
抽取最新x分区:指每次抽取时抽取的分区数
最新分区时间T-x:T-0代表今天更新今天数据,T-1代表今天更新昨天数据,T-2代表今天更新前天数据,以此类推。请根据您业务数据的更新情况进行设置,便于 BI 找到您数据的最新时间进行抽取。


举一个例子解释配置此功能后的效果,例如您的数据是隔天更新,即1月10号时数据库内会更新1月9号数据。您在BI配置了抽取最新3分区,最新分区时间为T-1。则在1月10号的抽取,BI根据您的配置会知道1月9号是最新的数据,则从1月9号开始抽取1月9号、1月8号、1月7号数据。如果您配置抽取最新1分区,但误配置最新分区时间为T-0,则在1月10号的抽取,BI根据您的配置会以为1月10号是最新的数据,则仅抽1月10号的数据,因为数据库里无10号数据相当于抽取无效。
失败告警:当抽取任务失败时,会按配置的告警方式和接收人进行通知。


当全部配置项配置好后,单击保存即可进入如下状态,此时可查看配置的相关信息。


当任务未执行时,加速状态为“待运行”,单击查看日志可以查看历史的每一次任务的执行情况。如果是状态为失败的任务,在日志一栏会显示可能的失败原因



如果需要在设定的执行时间前,执行加速。可以单击立即加速



单击立即加速后,加速任务需要一定时间进行启动(一般是1 - 10分钟内会启动)。任务未启动前加速状态不会变化,可能一直为“待运行”状态。



建议耐心等待10分钟后刷新状态看是否成功。若等待20分钟及以上发现加速状态仍未变化,可重新单击立即加速



如果抽取的历史数据需要清空,可以单击重新加速,单击后将会把之前抽取的数据和日志清空,重新进行加速。



当加速状态为“成功”,则代表当前数据表已加速完成,使用该数据表配置的报表的查询性能便会得到提升。

如何关闭抽取加速

如果您想关闭某张数据表的抽取加速,可对前文中提到的数据表的加速开关进行关闭。如果您想关闭所有表的抽取加速,可在左侧工具箱 > 抽取加速中,单击此处开关



单击后请在输入框里输入“确认关闭抽取加速引擎”并单击确定按钮。确定后将关闭加速引擎并清空历史所有抽取数据。