首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    SpringCloud互联网云快速开发框架

    JeeSpringCloudV3.0-互联网云快速开发框架模块包含定时任务调度、服务器监控、平台监控、异常邮件监控、服务器Down机邮件监控、平台设置、开发平台、邮件监控、图表监控、地图监控、单点登录、Redis分布式高速缓存、ActiveMQ队列、会员、营销、在线用户、日志、在线人数、访问次数、调用次数、直接集群、接口文档、生成模块、代码实例、安装视频、教程文档、dubbo、springCloud、SpringBoot、mybatis、springmvc、IOC、AOP、定时任务、切面缓存、MVC、事务管理。RedisMQ队列、代码生成(单表、主附表、树表、列表和表单、增删改查云接口、redis高速缓存对接代码、图表统计、地图统计、vue.js)、工作流、模块化代码生成前端控件包括单行文本、富文本、下拉选项、复选框、日期选择、文件上传选择、树选择控件、单选按钮、多行文本。

    03

    分布式数据仓库最佳实践:讨论帖1:ETL异常情况下载,数据重载策略和机制

    守护撤回了一条消息 【潜水】 A 2019/1/15 8:50:46 之前的做法是先卸数到数据文件,如果调度出问题,第二天还可以从数据文件再重新把数据加载上去,还有什么其他的方法吗 【话唠】B 2019/1/15 8:53:04 增量数据,还是全量 【话唠】B 2019/1/15 8:54:27 源库数据归档备份几天呢,这方法可行? 【潜水】A 2019/1/15 9:08:21 有的增量有的全量,考虑在不动源库的情况下,源库可能已经有备份机制,在仓库也考虑一下这个情况的处理~ 【活跃】C  2019/1/15 9:26:16 ETL不应该都支持重跑历史么? 前一天挂了,第二天重跑一下就好了,只要调度工具支持重跑,ETL的代码也要写成支持重跑的。 【冒泡】D 2019/1/15 9:51:28 Indeed 贴源缓冲+作业重跑机制,一般是调度要支持N次自动失败重跑。 【话唠】B  2019/1/15 9:54:37 @C 它这是从源库抽取到ods,正常业务系统源库不保存历史,只保留最新的,如果是ods到dwd,在仓库里,当然可以重跑。 【话唠】B 2019/1/15 9:56:31 n次自动失败重跑,作业预警,发短信,邮件? 【潜水】A 2019/1/15 10:04:03 @ 是的,只能支持库内重跑,源库只有最新 【潜水】A 2019/1/15 10:05:36 @ @ 现在确实没有失败自动重跑的机制,考虑加一下,请问下你们做etl一般会做卸数到数据文件,备份数据文件的操作吗 【潜水】A 2019/1/15 10:08:05 其实可以直接不用卸数可以直接从源库加载带仓库,但是考虑一个异常情况和数据的备份,为了更安全,加上卸数到数据文件的操作,一般有没有必要呢想了解一下 【冒泡】E 2019/1/15 10:11:48 @A 一般都是要卸载为文件,源库是不断变化的,你的度量会丢失 【群主】北京-胖子哥(1106110976) 2019/1/15 10:12:21 这个里面就可以看到ODS的价值了。 ODS存储短周期,贴源数据 【话唠】B 2019/1/15 10:20:15  @A 你们的源业务系统库,都是啥数据库啊,mysql还是oracle或者其它mongodb,redis,hbase啥的 【冒泡】K 2019/1/15 10:23:30 混杂,Ora、GP、TD都有 【活跃】G  2019/1/15 10:24:32 你讲的是源库到ods当天任务没成功,第二天跑就丢掉了历史变更? 【冒泡】K 2019/1/15 10:27:23 对 【潜水】A 2019/1/15 10:28:02 源是oracle @ 对,第二天源业务库数据就变了,已经无法从源库取到前一天的数据了 【活跃】C 2019/1/15 10:42:11 你举个场景,看看大家有什么想法,我们很多时候中间状态可以不要 【潜水】A  10:55:19 比如由于源库的表结构变了,没有同步修改仓库;源库有异常的数据加载到仓库出错了;或者源库数据量太大数据加载时候出错了。就是一些比较异常的情况,可能有的也不会发生,就是怕一旦发生什么想象不到的情况,导致某些表的数据没有加载过来,还没有在当天及时处理。 【话唠】B  10:58:53 你们数仓也是基于hive的吗 【话唠】B  11:00:55 我们这边权限控制严格,普通用户没有删表,删字段权限。如果源库做变更了增加字段了,必须发邮件,看看上下游是否有影响,再做同步变更。 【话唠】B 11:02:42 etl报错是难免的,及时的预警,处理,因为各种问题,可以维护个问题集,后边的人报错了,也可以查看。 【潜水】J  11:04:05 源系统变更一般都会做影响分析的吧 【潜水】A  11:18:22 对  是基于hive的   源库的变化都会做影响分析 主要是考虑一些预想外的情况或者疏漏之类的 【潜水】A 11:23:10 非常感谢上面几位的分享建议,我都参考一下想一想

    02

    最新iOS设计规范五|3大界面要素:控件(Controls)

    iOS是运行于iPhone、iPad和iPod touch设备上、最常用的移动操作系统之一。作为互联网应用的开发者、产品经理、体验设计师,都应当理解并熟悉平台的设计规范。这有利于提高我们的工作效率,保证用户良好的体验。 本文是iOS设计规范系列第5篇,介绍3大界面要素(栏、视图、控件)中的控件(Controls)。首先让我们回顾一下iOS的3大界面要素。 3大界面要素 (Interface Essentials) 大多数iOS应用都是由UI Kit中的组件构建的。UI Kit是一种定义通用界面元素的编程框架,这个框架不仅让APP在视觉外观上保持一致,同时也为个性化设计留有很大空间。UI Kit提供的界面组件有三类:栏(Bars),视图(Views),控件(Controls)。

    03

    《Python网络编程基础》笔记

    python网络编程基础                           ================== Author: lujun9972 <lujun9972@X41> Date: 2013-03-08 22:29:20 CST Table of Contents ================= 1 客户端与服务器端     1.1 使用inetd或xinetd     1.2 在python中使用syslog 2 域名系统     2.1 正向查找     2.2 反向查找     2.3 获得运行程序机器的域名信息     2.4 使用pyDNS 3 高级网络操作     3.1 半开发socket     3.2 超时     3.3 广播数据     3.4 使用poll()或select()实现事件通知     3.5 urllib2 4 解析HTML和XHTML     4.1 使用HTMLParser模块解析HTML     4.2 XML和XML-RPC         4.2.1 DOM模型         4.2.2 xmlrpclib库 5 E-mail服务     5.1 E-mail的编写和编码     5.2 SMTP     5.3 POP协议     5.4 IMAP协议 6 FTP 7 数据库 8 SSL 9 SocketServer 10 SimpleXMLRPCServer 1 客户端与服务器端 ~~~~~~~~~~~~~~~~~~~   1. socket().makefile(操作文件模式,是否开启缓存模式)方法能够使得socket变得像file一样读写      缓存一般用在磁盘文件中,在socket环境中,一般不开启缓存,将该值设为0   2. socket.getservbyname(协议名,udp/tcp)   查询服务端口   3. socket().getsockname()   /socket().getpeername()    #获取地址与端口信息   4. socket异常:        异常              说明                                                   -----------------+------------------------------------------------        socket.error      与一般IO和通讯问题有关                                 -----------------+------------------------------------------------        socket.gaierror   与查询地址信息有关的                                   -----------------+------------------------------------------------        socket.herror     与其他地址错误有关                                     -----------------+------------------------------------------------        socket.timeout    与在一个socket上调用settimeout后,处理超时有关     5. 对于很多操作系统来说,有时候在网络上发送数据的调用会在远程服务器确保已经收到信息之前返回。因此很有可能一个来自对sendall成功调用的数据,事实上并没有被成功收到      为了解决这个问题,一旦结束写操作,你就应该立刻调用shutdown函数,这样就会强制清除缓存里面的内容内容,同时如果有任何问题就会产生一个异常      请牢记,数据只有在调用了shutdown函数后才能确保被发送      需要注意的是,makefile()返回的对象并不提供一个对shutdown()的调用,股必须保持原始的socket对象并使用它   6. setsockopt(level,optname,value)      getsockopt(level,optname[,buflen])      level定义了哪个选项将被使用。通常情况下是SOL_SOCKET        选项              意义

    02
    领券