首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    分布式数据仓库最佳实践:讨论帖1:ETL异常情况下载,数据重载策略和机制

    守护撤回了一条消息 【潜水】 A 2019/1/15 8:50:46 之前的做法是先卸数到数据文件,如果调度出问题,第二天还可以从数据文件再重新把数据加载上去,还有什么其他的方法吗 【话唠】B 2019/1/15 8:53:04 增量数据,还是全量 【话唠】B 2019/1/15 8:54:27 源库数据归档备份几天呢,这方法可行? 【潜水】A 2019/1/15 9:08:21 有的增量有的全量,考虑在不动源库的情况下,源库可能已经有备份机制,在仓库也考虑一下这个情况的处理~ 【活跃】C  2019/1/15 9:26:16 ETL不应该都支持重跑历史么? 前一天挂了,第二天重跑一下就好了,只要调度工具支持重跑,ETL的代码也要写成支持重跑的。 【冒泡】D 2019/1/15 9:51:28 Indeed 贴源缓冲+作业重跑机制,一般是调度要支持N次自动失败重跑。 【话唠】B  2019/1/15 9:54:37 @C 它这是从源库抽取到ods,正常业务系统源库不保存历史,只保留最新的,如果是ods到dwd,在仓库里,当然可以重跑。 【话唠】B 2019/1/15 9:56:31 n次自动失败重跑,作业预警,发短信,邮件? 【潜水】A 2019/1/15 10:04:03 @ 是的,只能支持库内重跑,源库只有最新 【潜水】A 2019/1/15 10:05:36 @ @ 现在确实没有失败自动重跑的机制,考虑加一下,请问下你们做etl一般会做卸数到数据文件,备份数据文件的操作吗 【潜水】A 2019/1/15 10:08:05 其实可以直接不用卸数可以直接从源库加载带仓库,但是考虑一个异常情况和数据的备份,为了更安全,加上卸数到数据文件的操作,一般有没有必要呢想了解一下 【冒泡】E 2019/1/15 10:11:48 @A 一般都是要卸载为文件,源库是不断变化的,你的度量会丢失 【群主】北京-胖子哥(1106110976) 2019/1/15 10:12:21 这个里面就可以看到ODS的价值了。 ODS存储短周期,贴源数据 【话唠】B 2019/1/15 10:20:15  @A 你们的源业务系统库,都是啥数据库啊,mysql还是oracle或者其它mongodb,redis,hbase啥的 【冒泡】K 2019/1/15 10:23:30 混杂,Ora、GP、TD都有 【活跃】G  2019/1/15 10:24:32 你讲的是源库到ods当天任务没成功,第二天跑就丢掉了历史变更? 【冒泡】K 2019/1/15 10:27:23 对 【潜水】A 2019/1/15 10:28:02 源是oracle @ 对,第二天源业务库数据就变了,已经无法从源库取到前一天的数据了 【活跃】C 2019/1/15 10:42:11 你举个场景,看看大家有什么想法,我们很多时候中间状态可以不要 【潜水】A  10:55:19 比如由于源库的表结构变了,没有同步修改仓库;源库有异常的数据加载到仓库出错了;或者源库数据量太大数据加载时候出错了。就是一些比较异常的情况,可能有的也不会发生,就是怕一旦发生什么想象不到的情况,导致某些表的数据没有加载过来,还没有在当天及时处理。 【话唠】B  10:58:53 你们数仓也是基于hive的吗 【话唠】B  11:00:55 我们这边权限控制严格,普通用户没有删表,删字段权限。如果源库做变更了增加字段了,必须发邮件,看看上下游是否有影响,再做同步变更。 【话唠】B 11:02:42 etl报错是难免的,及时的预警,处理,因为各种问题,可以维护个问题集,后边的人报错了,也可以查看。 【潜水】J  11:04:05 源系统变更一般都会做影响分析的吧 【潜水】A  11:18:22 对  是基于hive的   源库的变化都会做影响分析 主要是考虑一些预想外的情况或者疏漏之类的 【潜水】A 11:23:10 非常感谢上面几位的分享建议,我都参考一下想一想

    02

    智慧加油站视频监控行为识别分析系统

    智慧加油站视频监控行为识别分析系统 选用视频监控系统技术,对给油区和卸油区工作人员抽烟、通电话、用火、浓烟等异常现象开展智能识别、警报和纪录,在卸油工作流程中,工作人员不在座位,消防灭火器置放不合理,静电感应释放出来时长不够等不标准状况,执行加油站渠化规范化工作中。根据人工智能技术的基本上软、硬和有关优化算法,搭建了加油站安全工作系统。根据加油站的智能化更新,及其智能化边沿网络服务器和网络平台的即时推理能力和使用安全性分析,完成了给油和卸油的智能化系统、智能化、精确化。它可以给予鉴别和预警信息,用以鉴别外界侵入、安防设备、抽烟、动火和电话行为等关键情景。

    02

    加油站ai系统视频监测系统

    加油站ai系统视频监测系统通过yolov5网络模型深度学习边缘计算技术,加油站ai系统视频监测系统对现场卸油过程中人员违规离岗、现场灭火器没有按要求正确摆放、加油站ai系统视频监测系统以及卸油前需要遵守静电释放15分钟、打电话、明火烟雾情况、抽烟行为进行自动识别。YOLO系列算法是一类典型的one-stage目标检测算法,其利用anchor box将分类与目标定位的回归问题结合起来,从而做到了高效、灵活和泛化性能好,Yolo算法采用一个单独的CNN模型实现end-to-end的目标检测,核心思想就是利用整张图作为网络的输入,直接在输出层回归 bounding box(边界框) 的位置及其所属的类别。

    03

    为什么容器和Kubernetes几乎有潜力运行一切【Containers】

    在我的第一篇文章中,《Kubernetes是一辆自卸车:这就是为什么》中,我谈到了Kubernetes在定义,共享和运行应用程序方面如何出色,类似于自卸卡车在移动污垢方面如何出色。在第二篇《如何导航Kubernetes学习曲线》中,我解释了Kubernetes的学习曲线实际上与运行生产中的任何应用程序的学习曲线相同,实际上比学习所有传统作品(负载均衡器,路由器,防火墙,交换机,集群软件,集群文件系统等)。这是DevOps,这是开发人员和运营部门之间的合作,用于指定事物在生产中的运行方式,这意味着双方都需要学习。在第四篇Kubernetes的基础知识中:学习如何首先驾驶,我重新构造了Kubernetes的学习框架,重点是驾驶自卸卡车而不是建造或装备它。在第四篇文章中,有4种工具可以帮助您驱动Kubernetes,我将分享我爱上的工具,以帮助您在Kubernetes中构建应用程序(驱动自卸车)。

    00

    加油站ai视觉识别系统

    加油站ai视觉识别系统通过yolov7网络模型深度学习,加油站ai视觉识别系统对现场画面中人员打电话抽烟等违规行为,还有现场出现明火烟雾等危险状态。加油站ai视觉识别系统还可以对卸油时灭火器未正确摆放、人员离岗不在现场、卸油过程静电释放时间不足等不规范情形进行智能识别记录。YOLOv7 的发展方向与当前主流的实时目标检测器不同,研究团队希望它能够同时支持移动 GPU 和从边缘到云端的 GPU 设备。除了架构优化之外,该研究提出的方法还专注于训练过程的优化,将重点放在了一些优化模块和优化方法上。这可能会增加训练成本以提高目标检测的准确性,但不会增加推理成本。研究者将提出的模块和优化方法称为可训练的「bag-of-freebies」。

    03

    游戏版本更新小记

    先大概介绍一下项目,卡牌游戏,主要面向女性用户。前期是走IOS市场,后来又移值到Android平台上,在几家大一点的Android渠道上进行运营。Android接入了十几家渠道,比如:91安卓、奇虎360、小米、百度手机助手、安智、联通沃商店、移动MM、电信EGame、联想、酷派、oppo、HTC(聚乐)、魅族(37Wan)、当乐等(后面还有比如豌豆荚、应用宝),IOS也接入了几家:同步推、PP、快用、91、当乐、ITools等。 项目前台使用的Cocos2d-x(V2.2.3) + 公司自己实现的一套MVC 然后绑的Lua,后台使用的是Java。当天更新采取的策略是IOS、Android一起停服更新,这样带来的好处就是前、后端不用维护多个版本,风险同样也大,这么多渠道,首先要提交至少三~四天出包,然后自己内部先测试(登录、注册、充值、重启、断线重连,这个不算游戏内的新增/修改的功能),然后提交包至各渠道进行审核(有被打回的风险)。然后就是各平台上线的时间无法统一,有的平台是手工操作,点一下立马生效,有的需要等待一段时间,有的都不确定多长时间才会生效(像苹果一样,iClound云里下载的可能还是旧的,虽然作为开发者你已经在后台操作放开了),如果每一家渠道对应一组服务器也就罢了,但实际上每一家在不打广告和推广的情况下是不大可能开一组服务器的,这样就会出现几个渠道混服的情况。就会导致有些平台已经审核并通过了,跟它分在同一组服务器的渠道有可能审核被打回了,不让上架,那么作为该平台的玩家就可能比较郁闷了,都不知道何时才能再进游戏,玩家流失的可能性大大提高了。 说了现状,再重点记录一下遇到的一些问题。因为渠道很多,SDK都不一样,很多SDK不提供SDK内强制更新机制,就导致玩家不知道从哪下载最新的包。有的SDK又不允许游戏内置强制更新机制,以免游戏被导入到其它平台造成利益分成的损失。各家SDK的水平真是参差不齐,导致我们更新后,遇多很多玩家不知道如何更新游戏,一登录游戏又会提醒说版本过低,请下载最新的版本。然后很多玩家都不知道自己到底是是在哪个渠道玩,因为所有的Android玩家都在几个大群里,并没有按渠道分群。他只知道他在哪组服里,而他到底是属于哪家平台的无从得知(光看界面看不出来,因为有几家他们的SDK不提供登录系统,只需要接入他们的支付),只要要求玩家提供在游戏内的角色名, 然后再查出他从哪家平台登录的,说起来真是满脸都是累... 还有就是更新的版本,如果替换了SDK则会有潜在的风险,比如最严重的就是影响到帐号系统,这样导致玩家无法玩以前的号了。更新之后我遇到的一个玩家反映无法登录,说QQ号无法登录。我说我们游戏目前没有QQ号登录这一说法啊,不太明白,然后他反映说是安智的平台,截图给我看,就是在安智的SDK登录界面,下面有新浪微博、QQ的授权登录,不曾想安智最近不知改了什么策略,导致qq授权成功后显示的页面为空白,而无法继续游戏了。之前的版本玩家说好的,一更新就出了这个总是,然后我们仔细查了一下,跟安智那边的技术反复沟通,最终安智说同意我们可以不按他们要求的SDK版本号打包。因为如果按照他们强制要求的Android SDK 15打出来的包,在Android 4.4.3下无法显示授权成功的回调页。

    01
    领券