首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

唯快不破!阿里、美团、滴滴、头条技术专家揭秘:Flink的应用与实践

阿里去年11当天数据处理全部实时化,峰值处理能力超过4亿条记录每秒 美团利用处理,实现业务指标监控、运营分析、推荐等场景的实时化 滴滴在专快车等重要业务、BI指标分析等场景中采用计算实时监控 头条从...8月11日13:00-17:30,由Flink China主办,以“实时计算,大有可为”为主题的线下活动将在朝阳区酒仙桥北路恒通国际创新园-C8-G MeePark(798店)举行!...” 通过本次活动,你可以获悉 Flink的逻辑框架 关于计算的丰富应用场景及落地实践 实时计算面临的挑战与广阔机遇 技术大佬对于计算新秀Flink的见解 至于Flink是否可能打败称王十年的Hadoop...曾在阿里巴巴担任资深研发工程师,从事分布式网络系统研发,包括内核TCP/IP网络协议、DDOS攻击防御、无线RPC网络通讯以及分布式系统开发维护,对系统开发有比较深入的理解。 ?...张光辉 今日头条数据平台工程师 14年毕业于西安电子科技大学,在美团工作3年,主要负责日志采集,传输,异构数据源同步,17年到今日头条,负责头条流式计算平台,参与构建基于 Flink 的流式平台,Jstorm

1.7K20

云直播“你问我答”年度汇总,2020你关心的问题都在这里!

云直播(CSS)“你问我答”第二季(2020年2月) Q1:直播支持录制功能? Q2:录制功能使用场景? Q3:播放视频为什么会卡顿? Q4:如何切换新版控制台? Q5:常见的推方式哪些?...Q3:什么情况下会出现系统主动断开长时间无数据的推? Q4:标准直播流量包是抵扣国内下行流量的,那么我在海外推,国内播放,应该是怎么抵扣的呢? Q5:为什么混后的视频黑边?...Q3:非企业用户商用直播是否需要网络文化经营许可证Q4:直播域名接入播放域名和推流域名可以是同一个?能使用二级域名? Q5:怎么获取直播地址?...Q2:中国站和国际站的云直播什么区别? Q3:直播转码可以修改编码方式? Q4:转码配置里的宽高和长短边是什么意思? Q5:为什么不支持同时输入宽高或同时输入长短边?...Q8:非企业用户商用直播是否需要网络文化经营许可证Q9:直播时是否可以设置最高码率更多产品更新、功能优化、活动信息请微信扫码或搜索"shipinyun0925"视频云小姐姐进行咨询! ?

1.6K50
您找到你想要的搜索结果了吗?
是的
没有找到

顺丰的野心:物流带动生态圈

导读:进口全球顺、海购丰运,出口欧洲、俄罗斯小包等产品,合力解决物流;优选国际、业内风传的“亚历山大”海淘平台在顺丰的支持下解决信息,帮助国内消费者找到国外商品……顺丰正在试图打造一个生态圈...物流、信息,未来可能还有现金 今年“11”共有217个国家和地区的旗帜被点亮,表明这些地方的买家也参与到“11”中来。...虽然在“11”前已经开通美国、日本、新加坡、泰国、澳大利亚、韩国、马来西亚、越南的国际业务,但想搭建媲美“国家队”的网络并非朝夕之功,这也让顺丰跨境业务在今年“11”期间将重心向品牌倾斜。...另一边,没有数不清的国家,没有耀眼的数据,“11”期间短短几天各种风传爆料,也大致勾勒出顺丰三合一的跨境生态圈。...进口全球顺、海购丰运,出口欧洲、俄罗斯小包等产品,合力解决物流;优选国际、业内风传的“亚历山大”海淘平台在顺丰的支持下解决信息,帮助国内消费者找到国外商品……至于现金,你当顺丰未来会放手不管

82550

全链路压测(12):生产压测必不可少的环节

前言 全链路压测系列到这里,已经是第十二篇文章了,整个系列大概14篇的样子,预计这个月会更新完毕。...下面是一个在电商企业11大促时候的生产全链路压测实施过程,仅做示例参考。 执行压测和问题处理 生产压测其实和我们日常的压测没有太多区别,也是需要经过多轮的压测实施和问题分析定位优化才能完成。...发布上线和封版值班 在类似11大促这种大型业务营销活动的稳定性保障时,需要注意如下几个方面: 原则上除了和大促相关的变更,其他需求变更或者配置变更都需要顺延; 活动开始前和业务产品明确封版时间,避免版本发布导致链路依赖的变化...类似11这种大型的业务营销活动,预案也会分前置预案和活动预案以及紧急预案。...监控方面,除了我们常见的基础资源监控(CPU/内存/网络/磁盘)、应用监控(QPS/JVM/threadgroup)、链路追踪监控(trace)之外,还有业务监控大盘、核心链路监控大盘等。

1.8K20

最佳案例分享 | MongoDB读写分离异常案例分析

最近11当天临近下班时间点,出现应用定时JOB跑批任务卡死,导致数据没有及时计算出来,影响一次报表数据展示,这个功能跑了几个月基本上没有异常,11业务增长几倍,数据量稍微有点大。...第三阶段,为了解决这个,11扩容3个物理机器,每个机器跑独立实例,同时对副本集配置tag,将聚合任务分发特定tag实例,从而解决主库cpu高问题,同时能够控制聚合任务分发。...,几百到几千部门,只是关注总时间,总执行时间在1分钟内(有的SQL都是毫秒级别),11执行异常,分析具体慢SQL才发现很多主要等待在获取锁上,所以出现异常。...,如果主库忙、网络出现问题以及磁盘等问题,会导致拉取失败的,从而导致从库不能及时应用日志,如果开始级联复制(默认开启),那么此时备库可能从其他备库拉取日志,如果数据源也延迟,那么拉取日志备库延迟概率与时间会更多...为了挖掘MongoDB更多应用场景和案例实践,向用户和行业输送启发、应用价值的思路和经验,MongoDB中文社区携手上海锦木和Tapdata于2020年12月开展MongoDB优秀解决方案暨应用案例征集活动

1.9K20

腾讯TMQ沙龙|接口测试理论与实践

接口测试理论与实践 活动时间:2016年8月11日 QQ群视频交流 活动介绍 : TMQ在线沙龙第六期分享 本次分享的主题是接口测试理论与实践相关的知识。...共有来自98个公司的226位测试小伙伴报名参加活动,在线观看视频人数123人~想知道活动分享了啥?往下看吧! 活动嘉宾 ?...2、检查数据的时候,如果需要从windows上去验证linux服务器内组件的日志信息,请问什么工具或者方法能够检测到?...第二个问题,如何查看linux下的日志日志查看我们通常会用脚本来处理,比如shell或者python脚本,把日志处理成我们需要的格式再来查看。...我们只能通过数据和UI来检查接口的执行效果,数据检查包括:logcat日志,Toast日志,统计点,数据库等;UI的检查包括:动画,wording,界面的颜色等。

1.3K60

直播技术干货分享:千万级直播系统后端架构设计的方方面面

我们一个全链路、立体的数据监控体系,一方面利用CDN上的一些实时日志,另一方面结合自建节点、客户端侧上报收集链路上探测的数据,然后整合做一个实时计算来支撑整个调度的策略。...整个推链路:采用路热流、互为主备,且部署上是互相独立的两个单元,能做到支持Rack级别的故障灾备。路热流实现了自动主备切换,端上无需专门添加应用层的线路切换逻辑。...在此基础上:此次活动采用了端到端的视频数据加密。 直播场景的加密几点基本要求:压缩比不变、实时性和低计算复杂度。 除此之外:在融合多cdn的方案背景下,视频的加密必须考虑到CDN厂商的兼容性。...活动作战室现场,我们采用了多个大屏展示,非常直观地展现当前主备链路的实时帧率、码率等情况,为现场地指挥保障提供了强大的数据决策支撑。...是因为:我们更想看到多少用户没有出现过卡顿现象,这更能直观体现优质网络的整体占比。

3.8K30

【5期】Timeline精选之安全大杂烩

0x01 最新漏洞 [+] CVE-2021-41174:Grafana XSS https://grafana.com/blog/2021/11/03/grafana-8.2.3-released-with-medium-severity-security-fix-cve...你还没心动? https://mp.weixin.qq.com/s/s2vvec4TT2ep8FyS9pzr5A [+] 2021年十一活动来袭,挖洞享受双倍积分!.../10449 [+] 利用 EHole 进行红队快速批量打点 https://xz.aliyun.com/t/10442 0x04 热门工具 [+] APT Hunter是一款针对windows事件日志的威胁搜索工具...,用于检测隐藏在windows事件日志海洋中的APT移动,以减少发现可疑活动的时间 https://github.com/ahmedkhlief/APT-Hunter [+] 结合masscan和nmap...优点的工具 https://github.com/MrLion7/Lmap [+] goon,是一款基于golang开发的扫描及爆破工具 https://github.com/i11us0ry/goon

3.6K20

11腾讯云大使推广赚钱攻略💰

2、在控制台复制的推广链接也能参与开团活动?不能,推广大使需在双十一开团活动点击【立即参与】获取专属链接(同时含cps_key和_hash_key),才可按照返佣和开团规则分别计算佣金和开团奖励。...1)老用户四款白名单返佣产品:老用户产品首购/复购/续费仅限GPU云服务器、CBS云硬盘、网站建设、对象存储COS,按10%返佣,其他产品均不参与。...点击查看返佣产品明细2)推广个人新老用户均可参与开团活动奖励:开团活动规则详见11主会场4、如何查看自己的活动邀请进度?...非新会员和1星会员的推广者不能抽奖?...开团活动规则详见11主会场图片参与方式:11主会场->开发者·开团有礼->点击立即参与->复制专属链接图片注意:这里复制的专属链接同时含cps_key和_hash_key,即可同时参与返佣和开团活动

50.7K340

07.S&P19 HOLMES:基于可疑信息相关性的实时APT检测

HOLMES生成的简洁高级图有效总结了正在进行的攻击活动,并可通过可疑信息的关联来协助实时网络响应工作。...例如,可以使用11个不同的TTP实现在受损Linux系统中的持久化能力,每个TTP代表ATT&CK框架中可能的低级活动序列,例如rootkit的安装、修改引导脚本等。...为了使低级别的数据有效地映射到TTPs,我们将审计日志表示为主内存中的 向溯源图(directed provenance graph),并且使用系统中低级别实体(如文件、进程等)之间的信息(Information...通常,考虑由攻击活动生成的二次衍生的任何进程,例如一个日志滚动系统,它会复制包含攻击者进程生成的部分条目的日志文件。这些进程虽然代表良性的背景活动,但会在起源图中标记为依赖于攻击者的进程。...为了进一步混合正常日志和攻击日志,红队同时也会进行良性的活动。 HOLMES会订阅7个Kafka的topics(每个主机一个topics)来消耗数据以进行实时地分析和预测。

1.7K10

安全设备篇(2)——什么叫IDS

大家还记得「网络安全」安全设备篇(1)——防火墙?做一个形象的比喻:假如防火墙是一幢大楼的门锁,那么IDS就是这幢大楼里的监视系统。...这种模型以下优点: 性能价格比高:在主机数量较少的情况下,这种方法的性能价格比更高;更加细致:可以很容易地监测一些活动,如敏感文件、目录、程序或端口的存取,而这些活动很难基于协议的线索发现; 视野集中...:一旦入侵者得到了一个主机用户名和口令,基于主机的代理是最有可能区分正常活动和非法活动的;易于用户剪裁:每一个主机自己的代理,当然用户剪裁更加方便; 较少的主机:基于主机的方法有时不需要增加专门的硬件平台...这种模型以下优点: 侦测速度快:基于网络的监测器,通常能在微秒或秒级发现问题。...基于网络的IDS 基于网络的IDS的输入数据来源于网络的信息,该类系统一般被动地在网络上监听整个网段上的信息,通过捕获网络数据包,进行分析,能够检测该网络段上发生的网络入侵。

1.2K60

Elasticsearch Top 51 重中之重面试题及答案

如果启动报错,日志里会有详细信息,逐条核对解决就可以。 5、能列出 10 个使用 Elasticsearch 作为其搜索引擎或数据库的公司? 这个问题,铭毅本来想删掉。...Tokenizer 接收字符(如果包含了字符过滤,则接收过滤后的字符;否则,接收原始字符),将其分词。...数值数据类型,例如字节,短整数,长整数,浮点数,精度数,half_float,scaled_float。...最典型应用包含:同步日志、邮件数据,同步关系型数据库(Mysql、Oracle)数据,同步非关系型数据库(MongoDB)数据,同步实时数据 Kafka数据、同步高性能缓存 Redis 数据等。...传输的数据类型包含:审核数据,日志文件,云数据,网络流量和窗口事件日志等。 50、如何使用 Elastic Reporting ? 收费功能,只是了解,点到为止。

1.3K20

如何评估某活动带来的大盘增量 | 得物技术

1引言 11期间上线某功能/活动,用户开通后参与能给大盘带来交易增量? 业务第一反应大概率是说“会!”。那么,某活动/功能上线与大盘交易提升之间确实存在因果关系?如果真实存在,具体增量是多少?...2.1 明确原因是什么 从前文可知,11期间业务上线了某活动/功能。 2.2 明确结果是什么 给大盘带来了更多交易用户/订单/gmv。 2.3 确认3个要点 是否纯属巧合?...还是高概率下单的用户更有意愿参与这项活动? 2.4 制造反事实 如果11期间没有上线这个活动,大盘交易量会不会减少?...常见的2种判断方法,包括随机对照试验、双重查分法。可根据实际背景条件选择使用。 随机对照试验,即通常所说的AB测试。...始终未开通、始终开通、11当天新开通三个分组的用户,在10.10-11.10期间变化趋势一致、差异基本保持稳定。可作为后续分析可用分组。

10K50

如何评估某活动带来的大盘增量 | 得物技术

1引言 11期间上线某功能/活动,用户开通后参与能给大盘带来交易增量? 业务第一反应大概率是说“会!”。那么,某活动/功能上线与大盘交易提升之间确实存在因果关系?如果真实存在,具体增量是多少?...2.1 明确原因是什么 从前文可知,11期间业务上线了某活动/功能。 2.2 明确结果是什么 给大盘带来了更多交易用户/订单/gmv。 2.3 确认3个要点 是否纯属巧合?...还是高概率下单的用户更有意愿参与这项活动? 2.4 制造反事实 如果11期间没有上线这个活动,大盘交易量会不会减少?...常见的2种判断方法,包括随机对照试验、双重查分法。可根据实际背景条件选择使用。 随机对照试验,即通常所说的AB测试。...始终未开通、始终开通、11当天新开通三个分组的用户,在10.10-11.10期间变化趋势一致、差异基本保持稳定。可作为后续分析可用分组。

9.7K50

不仅仅是11大屏—Flink应用场景介绍

11大屏 每年天猫双十一购物节,都会有一块巨大的实时作战大屏,展现当前的销售情况。 这种炫酷的页面背后,其实有着非常强大的技术支撑,而这种场景其实就是实时报表分析。...最典型的案例便是淘宝双十一活动,每年双十一购物节,除疯狂购物外,最引人注目的就是双十一大屏不停跳跃的成交总额。...应用场景 在实际生产过程中,大量的数据不断的产生,例如金融交易数据、互联网订单数据、GPS定位数据、传感器信号、移动终端产生的数据、通信信号数据等,以及我们熟悉的网络流量监控,服务器产生的日志数据,这些数据最大的共同点就是实时从不同的数据源中产生...另一方面结合实时数据ETL处理能力,利用状态流式计算技术,可以尽可能降低企业由于在离线数据计算过程中调度逻辑的复杂度,高效快速的处理企业需要的统计结果,帮助企业更好地应用实时数据所分析出来的结果。...数据分析 实时计算各类数据指标,并利用实时结果及时调整在线相关策略,在各类内容投放、无线智能推送领域大量的应用。

5.4K21

CA数字认证系统为何要用NTP时钟服务器?

2、另外当涉及到网络上的安全设备时,同步问题就更为重要了。这些设备所生成的日志必须要反映出准确的时间。尤其是在处理繁忙数据的时候,如果时间不同步,几乎不可能将来自不同源的日志关联起来。...一旦日志文件不相关连,安全相关工具就会毫无用处。不同步的网络意味着企业不得不花费大量时间手动跟踪安全事件。现在让我们来看看如何才能同步网络,并使得安全日志能呈现出准确地时间。...3、Internet的发展使得电子货币,网上购物,网上证券、金融交易成为可能,顾客可以坐在家里用个人电脑进行上述活动。要保证这些活动的正常进行就要有统一的时间。...审计管理员管理系统初始化时生成审计管理员,负责系统日志的审计管理。模板管理证书模板支持支持加密证书、签名证书模板,对于CA可以指定证书模板。...签发证时间:小于0.8秒。

3.5K50

今天11,和心爱的她一起去「云露营」

进步。体验好吗?真不一定。 同一件衣服,店家的模特穿上和我穿上怎么差这么多?尺码不合适要退换?没问题,快递一来一回,再多等十天半个月吧。...讲到大促活动,少了美女主播怎么行,这次11,美女主播在3D直播间等着各位! 不要跟我说「你这背景也太假了」,搭一个这样的背景也是很不容易的。...用VR看一看,这四肢多灵活。 「撑起」天猫11的硬核技术 说来,天猫怎么就忽然做起沉浸式购物了? 其实在过去的13个11里,天猫的底层技术基础设施得到了深厚的积累。...从2015年起,为了适应业务的快速增长,阿里在「11活动中开始将电商核心业务弹性上云,以解决大促期间的算力缺口问题。 2019年,实现核心系统上云。 2020年,实现云技术的全面原生化。...另外,今年阿里将自研CPU大规模应用于11活动,首次实现了芯片、计算架构及操作系统的协同优化,单位算力功耗降低了60%。 最初,阿里下定决心搞自研CPU的起因,也是为了满足计算场景的实际需要。

18.5K40

【晓头条】 11 天猫京东交易额皆超千亿 腾讯大会首发微信大数据 武汉推首个无人警局小程序

想知道这是什么新能力?点击这里,就能知道。 当然,本周还有这些这些新鲜事: 11 淘宝成交额达 1600 亿元,绝大部分成交额由移动端贡献。...今年,阿里巴巴为配合 11 的购物高峰,依然推出大量营销活动,包括 11 直播晚会、各大淘宝店铺的预购活动,马云本人甚至参演了一部「吊打战狼,单挑叶问」的微电影。...这些营销活动最终结果是, 11 当天成交额为 1682 亿元,其中 91% 的交易额由移动端贡献。...而京东方面的数据也非常亮眼: 11 当天,京东方面公布的下单金额也超过了 1000 亿元,达到 1271 亿元。 有关 11 当天的详细报道,可以阅读爱范儿的这篇文章。 2....腾讯 19 周年司庆,举办一系列营销活动 除了电商营销活动1111 日也是腾讯公司的创建日。 今年的 1111 日,也是腾讯公司创立 19 周年的纪念日。

5.9K30
领券