学习
实践
活动
专区
工具
TVP
写文章

实时化浪潮下,Apache Flink还将在大数据领域掀起怎样的变革?| Q推荐

今年是 Flink Forward Asia(下文简称 FFA)落地中国的第五个年头,也是 Flink 成为 Apache 软件基金会顶级项目的第八年。 我们将在 FFA 上看到阿里巴巴、字节跳动、快手、美团、华为、Shopee、运满满、米哈游、蔚来汽车、集度汽车、菜鸟、网易等全球 40+ 各行业一线厂商,围绕 Flink 核心技术、行业实践、平台建设、实时风 过去这一年,Flink Table Store 这一全新数据湖存储项目取得了哪些新进展?又有哪些应用实践新成果?Flink 接下来还有什么新计划?将在这次 FFA 2022 主会场上一一揭晓。 AI 特征工程 + 实时风 AI 特征工程专场将由来自腾讯、字节跳动、阿里巴巴的技术专家带来基于 Flink 的实时特征工程平台建设思路与落地实践。 实时风专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风平台建设的实践案例。

500

【BDTC 2015】大数据安全分论坛:数据驱动安全

中移软件大数据分析与挖掘工程师 高家凤 ? ,他介绍了Hadoop平台“安全”的两个方面既要安全又要可靠,他重点介绍了缺乏安全配置的Hadoop平台哪些隐患,包括:SIMPLE的身份验证机制 ,nobody都可以冒充superuser;基于Linux 新的安全挑战,需要新的安全解决方案,阿里针对这些挑战进行了哪些安全实践? 腾讯安全云部助理总经理 李旭阳 数美公司联合创始人兼CTO梁堃:Sentry金融实时风系统 数美公司联合创始人兼CTO梁堃在主题演讲中介绍了Sentry金融实时风系统。 他表示实时风系统对于银行业继续保持高速发展越来越重要。Sentry金融实时风系统是基于大数据技术构建的实时交易风险评估系统。

69780
  • 广告
    关闭

    2023新春采购节

    领8888元新春采购礼包,抢爆款2核2G云服务器95元/年起,个人开发者加享折上折

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    直播回顾 | 保险代打卡对抗实战这事儿,终于“参考样本”了

    那么,保险代打卡究竟会给险企带来哪些风险?保险代打卡风险几何? 根据不同的作弊方式推出对应的价格套餐:方式一使用打卡作弊软件随心飞,收费标准是60元/人/月;方式二使用蓝牙打卡器+GPS软件,收费标准是150元/人/月;方式三直接黑产代打卡,收费标准是80元/人/月 可以后台的策略中可以配置目前仍在使用的App版本哪些哪些版本不应该存在,存在App版本具体包信息检验。事前可借助顶象防御云进行风险识别。 事后可通过实时风引擎执行以上提到的多维策略,将决策结果返回给保险公司已有的业务系统。而内控管理风险则可通过AI风险数据建模来实现具体的风险防。 其次可通过顶象关联网络对数据进行可视化建模,赋能实时风引擎。目前,顶象保险代打卡防策略可结合实时风险决策引擎等产品,构建打卡反欺诈系统,实现销售人员的高效管理。

    18020

    卢明樊:爱奇艺的业务安全风“秘籍”

    都说知己知彼,百战不殆,那么第一步就是要了解企业面临的风险哪些,出现在哪些业务场景中。 常见的业务威胁类型 1、账号安全风险。 目标地冲刺,爱奇艺4年1中台 如果了解的话,应该知道爱奇艺的业务安全风起步并不算早。 2013年,卢明樊加入爱奇艺,2015年从0开始建设安全团队,重构安全架构和服务体系。 风所用的数据源包括但不限于威胁情报、实时风日志、业务数据、设备数据、行为数据、验证数据、数据中心其他风险数据、客诉数据等等。 卢明樊给出了风建设的9个阶段: 1.识别和管风险: 风要拥抱业务,和安全以及业务一起在企业内部梳理出哪些业务是高风险的,并且和业务方一起识别出关键风险场景,并且确定目前防御现状,根据二八原则,风系统要优先解决重要业务及其核心场景的头部风险 3.优化引擎服务 风系统对接支持业务后,应当充分考虑如何优化风系统的服务架构,确保实时风服务的低延迟低熔断,既要做到保证业务服务不会因为风服务增加延迟,从而导致业务服务质量下降或者过多资源占用,

    86630

    为小姐姐疯狂打call,防水墙拒绝“千手观音”刷票

    在互联网如火如荼发展的背后,灰黑产大军暗流涌动,身影无处不在,哪里活动哪里就存在刷量行为,轻者人肉刷,重者自动机批量刷。 自动化软件制作者,针对业务活动流程,整合大量手机和IP等资源,破解业务逻辑,实现自动化批量操作软件。 中游是刷量的核心团伙,他们消息来源广泛,拥有众多的活动线报群,能快速获得哪些业务活动有福利可刷的消息。 接入防水墙防刷解决方案,实时风系统识别黑产使用代理服务器IP和大量黑手机号码刷取注册优惠券,刷量峰值11W/天,占比高达60%。 实时风:与黑产直接对抗的关键环节,对黑产请求进行实时识别和拦截。具体服务前端的验证码和后台的防刷API风险查询接口。

    2.4K1291

    Flink SQL项目实录

    ETL、统计分析、实时报表、实时风等。 Flink SQL所处的层级: ?      //类似于flink 中间层 DataStream API中 window的滑动窗口,每10秒中统计最近5秒的数据 SESSION(time, INTERVAL '5' SECOND) time两种格式的时间 Window Aggregate 与 Group Aggregate 的区别 1)、Window Aggregate 与 Group Aggregate 是一些明显的区别的。 2)、另外一个区别是,window Aggregate 由于 watermark ,可以精确知道哪些窗口已经过期了,所以可以及时清理过期状态,保证状态维持在稳定的大小。 而 Group Aggregate 因为不知道哪些数据是过期的,所以状态会无限增长,这对于生产作业来说不是很稳定,所以建议对 Group Aggregate 的作业配上 State TTL 的配置。

    74310

    车企测试那些事

    大体的流程就是这样,里面的细节很多,比如报文解析等。那么接口测试模拟App下发远指令后,接收端该怎么模拟呢? 在功能测试阶段,就可以使用已经集成好的App来进行远操作了,如果更加接近实测的话,可以换台架来进行测试,相比仿真平台,台架更接近车,看得见摸得着的。 不管是接口测试、还是功能测试等,最后都要进行车测试,即使用App点击远操作,验证实车操作结果。这里其实还有协议方面的验证,要对协议进行测试,这个由协议组来进行完成的。 这里汽车智能座舱可以理解为车里的中大屏,提供当前车辆的各种信息(如剩余油量、剩余电量、蓄电池电量、总里程等等),地图,天气等,并支持语音交互操作,实现“自由”的语音下达方式和“自然”的指令执行反馈,还可以下载指定的车机版 智能座舱云端可以理解为座舱的管理端,主要用于对座舱一些功能的配置信息进行管理等,如地图里的各个服务商需要哪个开启哪个关闭,天气服务的城市是否开通,车辆中开启后要显示哪种动画效果等。

    15110

    大疆智图 二维低精度建模

    之后用软件完整的格式化了一次: 格式化的参数 然后装到飞机上面开始飞行,我一开始规划了一下五向航线。然后起飞,我飞完一条线就260多张照片了,然后剩下的4条,我终止任务,拎箱子,抠内存卡回来了。 然后284张照片 预览小图 这里看一张 放大一张的图 其实可以看出来是对地拍摄的 这些航拍图,不仅仅是图片那么简单 而是加入了大量的姿态信息 自带软件不太行,这里选择MagicEXIF看看详细信息 大小,分辨率,一目了然 特别的,还有我们的GIS信息 还有像点的位置 新建一个任务 将我们的文件夹导入 然后出现我们的像点的位置,一开始缩在一起 CTRL+滚轮(搓大点) 开始了 正式开始建模操作 上面机器跑,下面看看热闹 这个是我们的限飞区域,主要是机场 可以申请空域飞行 当然可以设置地图的图层 这里选择天地图,谷歌有点不服水土 看看哪些资源正在被使用: 还是驱动的问题 电子地图下的像点 这里是建好的图 放大一下 在电子地图里面看看 这个地方是我们的报告 基本的信息概览 RTK没有 相机的内参和外参的信息 电脑的配置信息 处理参数

    38630

    Autoware入门学习(一)——Autoware自动驾驶框架介绍

    Autoware简介 Autoware.AI是世界上第一个用于自动驾驶技术的“All-in-One”开源软件。它ROS1操作系统,并在Apache2.0许可下使用。 主要包含以下模块: 定位(Localization ):通过结合GNSS和IMU传感器的3D地图和3D地图、SLAM算法来实现定位。 尽管控制量的主要部分通常位于车辆的线控制器中,但这些是Control的一部分。 主要是其机制所造成的无人系统响应时间相对较慢等问题,不适用于高速无人驾驶),Apollo貌似从3.5开始就弃用ROS1改用自己研发的CyberRT中间件了,但Apollo也有一定的局限性,比如需要购买百度提供的高精度地图服务等 接下来会陆续更新 Autoware在Ubuntu18.04下的源码安装,Autoware运行界面介绍及demo演示,Autoware车配置介绍,多种传感器在Autoware上的部署 等内容,感兴趣的朋友可以关注下博主后续的文章

    2.6K30

    无人值守,智能变电站可视化管系统

    变电站作为电网的核心环节,智慧变电站的出现改变着传统变电站运维模式,实现变电站智能化、绿色化的转变,加快构建“无人值守+集中管”的变电运维新模式的转型升级,亦推进了智慧电网的发展。 枢纽站在 2009 年以前以敞开式为主,2010 年以后以 GIS 站为主,体积大且数量有限,整个福建省 26 座,闽南片区 13 座,其中在建的两座。 将电网负荷信息展示在页面面板上,可直观得知当前负荷数据及历史负荷数据,实现整个输电网管的可视、可知、可控。 ? 设备操 采用 HT 创新的 3D 可视化建模技术,搭建隔离开关设备可交互式环境,提供全方位与操式的培训体验,较好地解决了专业的大型复杂设备在员工培训上面临的诸多困难和问题。 更多行业应用实例可以参考图扑软件官网案例链接:https://www.hightopo.com/demos/index.html

    94530

    蚂蚁集团陈锣斌:揭秘新一代智能风的全局视角

    随着风业务的发展,我们在一次识别风险的过程中使用到的数据指标越来越多,与此同时我们还得保障实时风的性能在百毫秒、甚至是十毫米的响应能力,我们构建的风险实时数据平台,最早就是统一了大安全的相关数据服务 ,我在业务风领域的数据计算一些经验,和安全工程师也经常交流,就来协助参与建设这。 3 图风等新技术在蚂蚁安全的落地 & 展望 InfoQ:在蚂蚁风中,常常提到图风,想了解下图风哪些优势?除去图风之外,还有哪些特别的前沿技术助力蚂蚁数据风? 这也是面向数融合的“生态化”的多方共建共存的安全体系的代表。 IMAGE 的“A”即“对抗智能”,是实现安全“大规模智能化”的一个较为有效的手段。 陈锣斌带领的团队负责建设蚂蚁的核心风引擎,在蚂蚁一直致力于大数据风领域,在风险领域多年沉淀。

    500

    ZB级的大数据探索与应用实践【附PPT】

    随着网络速度的大幅提升、内存和磁盘的大规模扩容、大数据软件的迭代更新,之前的存储+计算集群的方案该如何改进呢?BLUECITY 大数据总监刘宝亮提出了存储计算分离架构,如下图所示: ? 数字时代业务风的挑战与机遇 企业的业务、营销、生态、数据等正面临日益严重的黑产威胁,面对黑产链条完备、分工明确的形势,现有的风方案面临着哪些挑战? ? 首先风系统要跟业务系统解耦,这样业务规则随时升级变化不会影响风,风规则的变化不会影响业务。另外一个风平台结构需要包括多场景策略体系、实时风平台和风险画像网络,如下图所示: ? Spark在MobTech应用操分享 MobTech作为全球领先的数据智能科技平台,目前累计覆盖设备量120亿,服务开发者32万,累计接入APP数量达50万,庞大的数据量也给MobTech带来了诸多挑战 假设A表20亿数据,B表1000万数据,然后把A表和B表join起来,怎么才能过滤掉A表中无用的数据,这里我们引入了bloomfilter。

    65510

    直播回顾丨「聚合·智变」文旅创新数字化经营增长大会

    分享内容:《科技向善,助力文旅数融合新发展》 讲师:孙晖 腾讯文旅产业研究院秘书长 拥抱数字化是时代的必选项,在新使命、新要求、新引擎的发展阶段下,数字化不仅仅是链接,是工具,更是一种可感受,温度向善的 在此大趋势下,文旅企业应该在哪些方面进行提升? 当古老的故宫与数字技术结合起来,一系列智慧化升级让这座已经六百年悠久历史的紫禁城变得如此温度。 腾讯地图文博业务负责人何信瑞 会议现场线上演讲视频回放 分享内容:《拥抱数字化,构建文旅合作生态》 讲师:吴建生 广东中旅党委书记、董事长 疫情对文旅行业造成了颠覆性、系统性的冲击。 广州塔副总经济师兼市场总监、广州印象文旅公司董事长 林恒风 腾讯文旅商务总监 黄杰 无忧传媒文旅事业部总裁 徐新华 本次的圆桌环节由自我游CEO列晓明主持,与嘉宾们重点围绕三个“主题”开展研讨: 问题1:疫情防常态化之下

    26610

    直播回顾丨「聚合·智变」文旅创新数字化经营增长大会

    分享内容:《科技向善,助力文旅数融合新发展》 讲师:孙晖 腾讯文旅产业研究院秘书长 拥抱数字化是时代的必选项,在新使命、新要求、新引擎的发展阶段下,数字化不仅仅是链接,是工具,更是一种可感受,温度向善的 在此大趋势下,文旅企业应该在哪些方面进行提升? 当古老的故宫与数字技术结合起来,一系列智慧化升级让这座已经六百年悠久历史的紫禁城变得如此温度。 腾讯地图文博业务负责人 何信瑞会议现场线上演讲视频回放 分享内容:《拥抱数字化,构建文旅合作生态》 讲师:吴建生 广东中旅党委书记、董事长 疫情对文旅行业造成了颠覆性、系统性的冲击。 广州塔副总经济师兼市场总监、广州印象文旅公司董事长林恒风 腾讯文旅商务总监黄杰 无忧传媒文旅事业部总裁徐新华 本次的圆桌环节由自我游CEO列晓明主持,与嘉宾们重点围绕三个“主题”开展研讨: 问题1:疫情防常态化之下

    26850

    2022年最受关注NFT数字藏品,8成访问者竟然是黑灰产?

    黑灰产通过接码平台、打码平台、代理IP、脚本软件等作弊工具,实现批量自动化账号注册。 刷票刷榜。 黑灰产使用“秒拨”客户端软件,进行简单配置后,就可以实现自动变换IP地址,以规避平台的IP频次限制安全策略,实现对某一选项的海量投票刷榜。 薅羊毛。 黑灰产通过群软件,操控大量账号,短时间内完成大批量的哄抢。 防御云的防建议 国内NFT数字藏品为了避免风险,不允许数字藏品二次交易,购买者也只拥有收藏权和有限转赠权。 提前环境检测安全:客户端集成安全SDK以后,定期对App的运行环境进行检测,检查是否代码注入、hook、模拟器、云手机、调试、代理、V**、root、越狱等风险。 4、顶象风引擎。顶象Dinsight实时风引擎可以在营销活动、支付下单、信贷申请等场景,对业务前端发送的请求进行风险判断,并于毫秒内返回决策结果,以提升业务系统对风险的防能力。

    20420

    【Excel】高手教你用Excel制作百度迁徙数据地图

    这种炫酷的迁徙地图可视化形式,直观又形象,科技感十足,赢得哇声一片。 ? Excel能做这种地图吗?当然不能,一个普通的办公软件和一个最新的大数据可视化产品是无法相比的。 因此,图表中会有4组气泡图,分别是迁入(虚线)、迁出(色)、所选迁入(色)、所选迁出(虚线)。 这里有点费脑,请慢慢琢磨。 再添加序列(x,y,z2),为迁出序列,色气泡。 再添加序列(x,y,迁入),为所选迁入序列,色气泡。 再添加序列(x,y,迁出),为所选迁出序列,虚线圆圈。 如果你兴趣,可以格式化到更炫更逼真。 其他变化 各省上可标具体数字,替换气泡,然后有以下格式化方法, 数字可根据数值大小设置不同字号。 以上都需要用到vba,兴趣的读者可继续。

    1.3K40

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 云桌面

      云桌面

      云桌面(Cloud Virtual Desktop,CVD),为您提供随需快捷交付的虚拟桌面服务。通过加密的自适应传输协议,构建业务安全访问入口,且最终用户可以获得优质的云桌面访问体验。云桌面服务可为您构建可靠的数字化工作空间,实现远程办公,提升业务访问的安全性和连续性。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券