展开

关键词

构建基于LBS的大数据应用

构建基于LBS的大数据应用,一般的实现流程为:通过信息收集后进行基础数据的整理,数据挖掘/机器学习,服务搭建以及数据可视化等。 ? 数据挖掘的基本流程 基础数据的处理主要包括:数据集成和一些部分数据处理。 数据集成,数据挖掘或统计分析可能用到来自不同数据源的数据,我们需要将这些数据集成在一起。 数据挖掘时只根据数据库中的数据,用合适的数据挖掘算法进行分析,得出有用的信息。其中,模型算法质量的评价是很重要的一步。且数据挖掘是一个循环往复的过程。 基于LBS的大数据应用需要解决很多问题:基础数据问题比如海量数据流(>20W 条/s)、数据处理性能复杂计算(定位和统计)、准确率、秒级实时性要求、以及数据的实时性等。 最后,基于大数据LBS应用,可以使用分布式流式计算框架,构建数据闭环,从而实现持续优化基础数据。 ? 目前的成功案例有: 1.杭州白马湖动漫节的安全保障。

1.3K70

本地外卖平台如何利用LBS数据进行用户画像精准营销

基于LBS应用软件层出不穷,越来越多的本地化外卖APP通过接通地图厂商提供的API实现定位、导航等服务。 LBS应用维度也在逐渐扩大,配送、外卖、O2O等领域,不可或缺的便是地理位置定位,向LBS+发展。 移动互联网先天被打上了LBS的标签,其成为移动互联网的核心因素之一,这也是移动互联网区别于互联网的一特征。 u=1410306745,2746930335&fm=26&gp=0.jpg 地理定位数据是为外卖平台绘制用户画像最为重要的一环。 总而言之,外卖APP的运营离不开LBS的支持,无论在哪里,都能够快速定位到附近的商圈,进一步发展本地外卖平台

1.5K40
  • 广告
    关闭

    腾讯云图限时特惠0.99元起

    腾讯云图是一站式数据可视化展示平台,旨在帮助用户快速通过可视化图表展示大量数据,低门槛快速打造出专业大屏数据展示。新用户0.99元起,轻松搞定数据可视化

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    干货 | StarRocks在携程住宿智能数据平台应用

    作者简介 Wenjun,携程资深软件工程师,负责住宿数据智能平台的研发与维护,对于大数据领域技术有浓厚兴趣。 一、平台现状 住宿数据智能平台(简称HData)是一个为携程住宿业务提供数据可视化的平台。 另一方面,我们在服务端启用了分流机制:实际应用场景中有一些业务的权限比较小,对应需要查询的数据量也会比较小,我们通过分析定义出了一个阈值,比如权限数小于5000的用户从MySQL请求数据,这部分用户即使通过 让权限的用户通过Clickhouse请求数据,这样可以引流很大一部分用户。 离线T+1数据主要使用Zeus平台,通过Stream load的方式导入,以使用明细模型为主。

    32220

    移动应用加固平台评测

    这次就不如把我之前测的一些数据分享出来,供大家参考。 对于移动应用开发工程师来说,应用自动化加固无疑是最便捷的一种安全方式了。通过加固可以在一定程度上达到反编译和防止被二次打包的效果。 当然,现在网上很多平台都提供加固服务包括BAT在内。加固原理差不多,但是加固强度和兼容性上还是有很大差别的。 以下是我之前整理的一些应用加固评测。总共选择了5个平台,1款APP。 同时用这5个平台加固,然后通过操作体验,加固后启动时间,加固后应用大小和兼容性上进行评测比较。 以下是五个评测对比的加固平台: 1.360加固保 链接http://jiagu.360.cn/ ? ,这五个平台输出的应用签名后兼容性相差不大。 不过就目前加固技术而言,还是有方法可以对应用脱壳的,对于应用安全来讲除了加固还可以再结合其他的一些方式。比如在应用中嵌入安全组件,进行数据加密和逻辑混淆这种方式。

    2.8K60

    移动应用开发平台:5问题揭秘

    即:针对不同的平台,MADP将使用特有转换层自动生成代码。使用这种方式来打造混合应用就如同使用绞肉机来准备牛排宴。 对于想要针对特定需求,安排内部人员定制与延展平台的企业而言,缺乏控制度与灵活度是一障碍。 应用更新换代速度快。企业内部开发人员多快可开发出五星级的应用应用前端(front end)貌似相当不错,那企业可放心地将该前端与定制的后端(backend)系统整合,以进行数据处理吗? 中间件层针对统一推送服务、数据加密、身份认证、应用版本管理等等提供了新颖的解决办法,使企业能够专注于打造下一个最棒的应用,而不必花时间来改造后端系统。然而通常,MADP供应商却让事情适得其反。 价格是企业衡量MADP的一因素。有些相当具有创意的定价方式往往让企业大吃一惊,因为这种定价含复杂的授权结构及隐藏的专业费用,会大大影响企业总成本。

    51550

    数据7最奇特应用

    在客户体验与库存管理流程方面,大数据通常会发挥重要作用。下面盘点了7个最有趣、最独特的大数据应用,以及它们可能对我们的生活产生的影响。 2.iPhone的Research Kit 苹果的新健康应用被称为ResearchKit,它有效地将你的手机变成生物医学研究设备。研究人员现在可以通过他们用户手机收集的数据,创造与健康有关 的研究。 此外,大数据同样可应用到人的身上,比如提供网站和应用来展示你的日常活动统计,比如你转了 多少个弯,垂直走过了多少路程等,你可以在社交网站上分享这些数据,或用它们与亲朋好友竞争。 5.大数据天气预报 从手机到交通地图,很多应用长期以来就需要数据支持。名为WeatherSignal的应用可以利用Android手机中的传感器,提供实时的天气数据。 该公司的内部品牌甚至会基于用户的反馈和公司收集到的数据 开发和设计新式胸罩。 利用大数据的可能性是无穷无尽的,我们可能需要时间去寻找大数据的更多应用方式。你最近看到有趣或不同寻常的大数据项目吗?

    15210

    咖直播 | Elasticsearch 应用监控管理平台搭建实战

    12月23日,我们特邀 Elastic 社区布道师——刘征老师为大家带来《 Elasticsearch 应用监控管理平台搭建实战》直播,保姆级实操教学干货满满,带大家轻松掌握 ES 监控管理平台搭建技能 ~ 本实战工作坊基于多层架构的宠物商店为示例应用,手把手地引导参与者搭建可观测性管理平台,体验分层次的收集整合、分析、关联和搜索运维数据的全过程。 致力于通过社区推广开源 Elastic Stack 技术堆栈的应用,包括运维大数据分析平台、云原生服务治理、APM 全链路监控和 AIOps 等使用场景。

    33051

    咖直播 | Elasticsearch 应用监控管理平台搭建实战

    我们特邀 Elastic 社区布道师——刘征老师为大家带来《 Elasticsearch 应用监控管理平台搭建实战》直播,保姆级实操教学干货满满,带大家轻松掌握 ES 监控管理平台搭建技能~ 本实战工作坊基于多层架构的宠物商店为示例应用 ,手把手地引导参与者搭建可观测性管理平台,体验分层次的收集整合、分析、关联和搜索运维数据的全过程。 致力于通过社区推广开源 Elastic Stack 技术堆栈的应用,包括运维大数据分析平台、云原生服务治理、APM 全链路监控和 AIOps 等使用场景。 点击立即回看《 Elasticsearch 应用监控管理平台搭建实战》 ---- 最新活动 包含文章发布时段最新活动,前往ES产品介绍页,可查找ES当前活动统一入口 Elasticsearch Service

    27730

    数据政府的五应用

    在西班牙首都马德里,整合警察、消防、医疗系统,使救援时间大幅度缩短,巡逻队、消防车、救护车能够在8分钟内到达81%的突发事件现场;在新加波,智能交通综合信息管理平台,在预测交通流速和流量方面有高达85% 大数据在公共管理领域的应用,不仅使传统难题变得迎刃而解,更成为新时期应对新挑战、解决新问题的必然选择。 对各个国家地区大数据实践的研究表明,大数据应用可以从五个方面提高公共管理水平: 一是实现信息透明和共享,使外部利益相关者(比如公民和企业)和内部利益相关者(比如政府雇员和政府机构)都能提高自身的工作效率 作为“大数据”惠民的一项重要探索,北京市于2012年10月推出政府数据资源网测试版,并面向企业及个人征集应用程序(APP)。由社会力量开发的“游北京”和“爱健康”两个程序目前已经可以下载试用。 前者可以查阅北京旅游景点、餐饮、促销信息、洗手间信息等,后者是北京市所有卫生保健设施的指南应用,包括诊所、医院、养老院等信息,用户可以利用这款软件定位附近的医疗设施,查看现场网络图像。

    92380

    数据专家:大数据7最奇特应用

    在客户体验与库存管理流程方面,大数据通常会发挥重要作用。近来,我盘点了7个最有趣、最独特的大数据应用,以及它们可能对我们的生活产生的影响。 ?    2.iPhone的Research Kit   苹果的新健康应用被称为ResearchKit,它有效地将你的手机变成生物医学研究设备。研究人员现在可以通过他们用户手机收集的数据,创造与健康有关的研究。 此外,大数据同样可应用到人的身上,比如提供网站和应用来展示你的日常活动统计,比如你转了多少个弯,垂直走过了多少路程等,你可以在社交网站上分享这些数据,或用它们与亲朋好友竞争。 ?    5.大数据天气预报   从手机到交通地图,很多应用长期以来就需要数据支持。名为WeatherSignal的应用可以利用Android手机中的传感器,提供实时的天气数据。 该公司的内部品牌甚至会基于用户的反馈和公司收集到的数据开发和设计新式胸罩。   利用大数据的可能性是无穷无尽的,我们可能需要时间去寻找大数据的更多应用方式。你最近看到有趣或不同寻常的大数据项目吗?

    40350

    JuiceFS 在搜车数据平台的实践

    搜车已经搭建起比较完整的汽车产业互联网协同生态。 在这一生态中,不仅涵盖了搜车已经数字化的全国 90% 中大型二手车商、9000+ 家 4S 店和 70000+ 家新车二网,还包括搜车旗下车易拍、车行168、运车管家、布雷克索等具备较强产业链服务能力的公司 , 与搜车在新零售解决方案上达成深度战略合作的长城汽车、长安汽车、英菲尼迪等主机厂商,以及与中石油昆仑好客等产业链上下游的合作伙伴。 基于这样的生态布局,搜车数字化了汽车流通链条上的每个环节,进而为整个行业赋能。 说到大数据,对于每个公司都不陌生。 大数据集群现状 搜车目前大数据集群分为离线计算集群和实时计算集群,离线计算基于 Hive 和 Spark,实时计算基于 Flink,这两类集群分别基于 HDP 和 CDH 两套管理方式。

    19850

    58数据平台架构演进-图

    76220

    数据】银行业9数据科学应用案例

    以下我们罗列银行业使用的数据科学用例清单,让您了解如何处理大量数据以及如何有效使用数据。 欺诈检测的关键步骤包括: 获取数据样本进行模型估计和初步测试 模型估计 测试阶段和部署。 由于每个数据集都不同,每个数据集都需要由数据科学家进行个别训练和微调。 将深厚的理论知识转化为实际应用需要数据挖掘技术方面的专业知识,如关联,聚类,预测和分类。 ? 这创建了TB级的客户数据,因此数据科学家团队的第一步是分离真正相关的数据。 由于这种快速发展的数据科学领域以及将机器学习模型应用于实际数据的能力,因此可以每天扩展此用例列表,从而获得更多更准确的结果。 您有什么见解,请留言。

    2K30

    漫画:大数据的九应用场景

    作者:无精疯 来源:大数据肌肉猿 随着科技的发展,大数据应用越来越广。AI人工智能是大数据应用,而大数据也是AI人工智能的燃料,二者相辅相成。 大数据应用场景有「数据分析预测」、「精准推荐」、「大数据风控」等。 你知道下图的哪个属于哪种应用场景吗?留言区见!粉丝投稿,侵权联系删除! ① ? ② ? ③ ? ④ ? ⑤ ? ⑥ ? ⑦ ?

    57330

    数据企业安全管理平台分析与应用

    1、大数据分析在企业安全管理平台上的应用 目前应用于大数据分析的主流技术架构是Hadoop,业界在进行大数据分析时越来越重视它的作用。 基于前面介绍过的传统企业安全管理平台面对的挑战和局限性问题,可以把Hadoop技术应用在企业安全管理平台中,发展成为新一代的企业安全管理平台,实现支持超大数据量的采集、融合、存储、检索、分析、态势感知和可视化功能 2、大数据在信息安全上的应用数据在信息安全上的应用主要表现为,数据的爆炸性增长给目前的信息安全技术带来了挑战,传统的信息安全技术在面对超大数据量时已经不再适宜,需要基于大数据环境的特点开发新一代安全技术 在网络安全领域,大数据安全分析是企业安全管理平台安全事件分析的核心技术,而大数据安全分析对安全数据处理效果主要依赖于分析方法。 但当应用到网络安全领域的时候,还必须考虑到安全数据自身的特点和安全分析的目标,这样大数据安全分析的应用才更有价值。

    52850

    数据调度平台分类对比(OozieAzkabanAirFlowXXL-JobDolphinScheduler)

    数据调度系统,是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结和对比。 XXL-Job XXL-JOB是一个开源的,具有丰富的任务管理功能以及高性能,高可用等特点的轻量级分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用。 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 类型支持 支持传统的shell任务,同时支持大数据平台任务调度:MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、sub_process 可以通过对用户进行资源、项目、数据源的访问授权。支持,可视化管理文件,及相关udf函数等。

    68520

    前端时代,浅谈JavaScript开发重型跨平台应用以及架构

    前端时代以及即将到来的5G时代,3D可视化,音视频直播技术,IM即时通讯场景应用我觉得都是大有可为的。前段时间爆款换脸应用出现,到近段时间头像加?的火爆,这是好事。 了不得写个webApp 想让后端的同学们,了解下目前前端的世界,现在的前端跟以前不一样了,特别现在市场很缺高级前端,但是术业有专攻,这点我承认 前端的定义,太广泛,在我看来,必须深入前端某个方向,以及能独立设计不那么复杂场景下的后端架构 既然说了移动端没有合适的重型跨平台应用开发框架,那么只有PC端了。还有多少小伙伴在PC端开发呢? Electron开发,来了 ? 这款应用的核心竞争力,是20万人超级群,那么数据量很大,大批量渲染压力和频繁加解密计算耗时、频繁数据库写入压力都是不可避免的,那么我们的Node.js擅长异步非阻塞,以及前端渲染进程的异步就显得尤为重要 回到我们的Telegram架构设计方案: 渲染任务架构过程需要着重考虑的几个问题: 1.渲染数据量特别 2.更新特别频繁 3.尽可能手动回收垃圾,避免消息量过大,v8垃圾回收的时间不确定性导致内存被白白占用

    24320

    前端时代,浅谈JavaScript开发重型跨平台应用以及架构

    前端时代以及即将到来的5G时代,3D可视化,音视频直播技术,IM即时通讯场景应用我觉得都是大有可为的。前段时间爆款换脸应用出现,到近段时间头像加?的火爆,这是好事。 了不得写个webApp 想让后端的同学们,了解下目前前端的世界,现在的前端跟以前不一样了,特别现在市场很缺高级前端,但是术业有专攻,这点我承认 前端的定义,太广泛,在我看来,必须深入前端某个方向, 前提你的基础足够扎实 既然说了移动端没有合适的重型跨平台应用开发框架,那么只有PC端了。还有多少小伙伴在PC端开发呢? Electron开发,来了 ? 这款应用的核心竞争力,是20万人超级群,那么数据量很大,大批量渲染压力和频繁加解密计算耗时、频繁数据库写入压力都是不可避免的,那么我们的Node.js擅长异步非阻塞,以及前端渲染进程的异步就显得尤为重要 回到我们的Telegram架构设计方案: 渲染任务架构过程需要着重考虑的几个问题: 1.渲染数据量特别 2.更新特别频繁 3.尽可能手动回收垃圾,避免消息量过大,v8垃圾回收的时间不确定性导致内存被白白占用

    25230

    前端时代,浅谈JavaScript开发重型跨平台应用以及架构

    https://juejin.im/post/5d8f3062e51d45782632e363 前端时代以及即将到来的5G时代,3D可视化,音视频直播技术,IM即时通讯场景应用我觉得都是大有可为的。 了不得写个webApp 想让后端的同学们,了解下目前前端的世界,现在的前端跟以前不一样了,特别现在市场很缺高级前端,但是术业有专攻,这点我承认 前端的定义,太广泛,在我看来,必须深入前端某个方向,以及能独立设计不那么复杂场景下的后端架构 既然说了移动端没有合适的重型跨平台应用开发框架,那么只有PC端了。还有多少小伙伴在PC端开发呢? Electron开发,来了 ? 这款应用的核心竞争力,是20万人超级群,那么数据量很大,大批量渲染压力和频繁加解密计算耗时、频繁数据库写入压力都是不可避免的,那么我们的Node.js擅长异步非阻塞,以及前端渲染进程的异步就显得尤为重要 回到我们的Telegram架构设计方案: 渲染任务架构过程需要着重考虑的几个问题: 1.渲染数据量特别 2.更新特别频繁 3.尽可能手动回收垃圾,避免消息量过大,v8垃圾回收的时间不确定性导致内存被白白占用

    23230

    相关产品

    • 大数据处理套件

      大数据处理套件

      腾讯大数据处理套件(TBDS)是基于腾讯多年海量数据处理经验,对外提供的可靠、安全、易用的大数据处理平台。你可以根据不同数据处理需求选择合适的大数据分析引擎和相应的实时数据开发、离线数据开发以及算法开发服务,来构建您的大数据应用服务……

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券