文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【商务智能】数据预处理

商务智能系列文章目录 【商务智能】数据预处理 ---- 文章目录 商务智能系列文章目录 前言 一、数据预处理主要任务 二、数据规范方法 1、z-score 规范化 2、最小-最大规范化 三、数据离散方法...1、分箱离散化 2、基于熵的离散化 总结 ---- 前言 在进行数据分析之前 , 先要对数据进行预处理操作 , 本篇博客简要介绍常用的数据预处理方法 ; 一、数据预处理主要任务 数据预处理主要任务...: ① 数据离散化 : 分箱离散化 , 基于熵的离散化 , ChiMerge 离散化 ; ② 数据规范化 : 又称数据标准化 , 统一 样本数据的 取值范围 , 避免在数据分析过程中 , 因为属性取值范围不同..., 在数据分析过程中导致分析结果出现误差 ; 如 : 时间属性的数值 , 有用秒作为单位的 , 有用小时作为单位的 , 必须统一成同一个时间单位 ; ③ 数据清洗 : 识别 和 处理 数据缺失 , 噪音数据...( 信息与熵 | 总熵计算公式 | 每个属性的熵计算公式 | 信息增益计算公式 | 划分属性确定 ) 博客 ; ---- 总结 本博客主要讲解数据预处理需要进行的操作 , 数据规范化 , 数据离散化

3.7K30

不仅仅是双11大屏—Flink应用场景介绍

双11大屏 每年天猫双十一购物节，都会有一块巨大的实时作战大屏，展现当前的销售情况。 这种炫酷的页面背后，其实有着非常强大的技术支撑，而这种场景其实就是实时报表分析。...在整个计算链路中包括从天猫交易下单购买到数据采集，数据计算，数据校验，最终落到双十一大屏上展示的全链路时间压缩在5秒以内，顶峰计算性能高达数三十万笔订单/秒，通过多条链路流计算备份确保万无一失。...Apache Flink 是一个开源的分布式，高性能，高可用，准确的流处理框架。支持实时流处理和批处理 。...实时智能推荐 智能推荐会根据用户历史的购买行为，通过推荐算法训练模型，预测用户未来可能会购买的物品。...另一方面结合实时数据ETL处理能力，利用有状态流式计算技术，可以尽可能降低企业由于在离线数据计算过程中调度逻辑的复杂度，高效快速的处理企业需要的统计结果，帮助企业更好地应用实时数据所分析出来的结果。

5.5K21
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    数据处理基础（一）

    最近要考试，对于成天翘课的我来说，不然不翻来从淘宝买来的旧书，预祝考到 61 《实验设计与数据处理》是于 2009 年 10 月由化学工业出版社出版的图书，作者是张成军。...本书通过典型实例介绍了常用实验设计及实验数据处理方法在科学研究和工业生产中的实际应用。...在这里插入图片描述 最近考了实验设计与数据处理，虽说这是一本化学实验数据处理的书，但我更觉得是一本分析化学的书，还不如说是一本数据相关的书，也有概率论的味道，做数据的应该学习下最基本的数据处理基础 本文采用的...在化工实验和科学研究中，数据的分布较多属于正态分布，所以通常采用算术平均值。 有关偏差的术语 偏差：分为绝对偏差、相对偏差、平均偏差、标准偏差和相对标准偏差。...不是说一个数值中小数点后面位数越多越准确。 有效数字 一个数据，其中除了起定位作用的 “0” 外，其他数都是有效数字。如 0.0037 只有两位有效数字，而 370.0 则有四位有效数字。

    68810

    《智能商业》04 智能商业双螺旋之一：数据智能

    04 智能商业双螺旋之一：数据智能 无数据，不智能；无智能，不商业。人工智能是一场技术革命，它必然会将越来越多的商业智能化。未来数据智能将成为商业的基础，而智能商业也将成为数据时代的全新的商业范式。...它做了三件关键的事：小微贷款业务的数据化，用算法完成风险评估，以及将数据智能与小贷场景无缝融合的产品，即数据、算法、产品三位一体地提供服务 蚂蚁小贷的算法工程师建立了三套机器学习的算法模型来处理这些海量数据...谷歌超越雅虎、脸书超越MySpace（一个社交网站）、优步颠覆出租车行业等，莫不如此 要让智能商业一天比一天更聪明，还有一样东西不可或缺——反馈闭环 用户行为通过产品的“端”实时反馈到数据智能的“云”上...这个概念我称为“活数据” “活”的两层含义 数据是“活”的：一定是始终在线且不断更新的，可以随时被使用 数据需要被灵活使用：“活数据”在不断地被消化、处理，产生增值服务，同时又能产生更多的数据，形成数据回流...，你的商业行为就会走入智能化的快车道 企业智能化=在线化+自动化 核心在于你能否创新性地实现产品化，把你的核心业务流程在线化 产品提供反馈闭环，数据作为原料，交给算法去处理，三位一体，你的业务就变成了一个智能业务

    1.7K20

    双十一狂欢的背后,人工智能在行动

    攻略”…… 用数据说话 今年是阿里巴巴第十一届双十一，也是马云退休后的第一届双十一。...消费者们也在时刻关注一个问题：我的包裹最快什么时候能到? 智能物流 双11既是全球商家和消费者的大狂欢，也是对物流业的大考验。 特别是在今年快递数据也将有望达到28亿件。...阿里巴巴大力还大力投资连接物流合作伙伴网络的中心平台——菜鸟智能物流，它能够处理“双十一”期间的数十亿包裹。 ?...一些应用成熟的机器人自动打包机的订单处理速度是传统仓库的10倍以上。 ?...申通：超过14个新建及改扩建转运中心投入使用，预计每天新增快件处理能力达1000万件。 …… 物流行业正在发生一场效率革命 当人工智能逐渐变成商业基础设施，每个传统行业都蕴藏着巨大良机。

    10.1K10

    双十一后，细数电商行业的黑科技

    双十一刚刚过去，电商的从业者终于可以喘口气了。这个节日从九年前的光棍节演变成如今电商行业的狂欢节。早几年双十一刚流行的时候，零点订单过多造成网络瘫痪、到了支付环节一键崩溃是常被吐槽的事情。...而当下人工智能在电商行业应用最广泛的功能就是个性化推荐和搜索。双十一刷淘宝时，那些“你可能喜欢”的推荐，常常让我们忍不住再去多看两眼。...通过人工智能和机器学习，可以实现市场营销预测的有： 客户将购买什么 客户不想看到什么 他们典型的价格门槛 他们可能性产生购买行为的时间段 根据上述的条件和大量的数据，企业则可以预估将采取哪些营销计划。...当然去分析这些数据，制定有目标性的线上营销计划是一件大周期事件，而且需要和上面提到的用户搜索分析结合进行。 当使用人工智能来驱动预测分析时，整个过程被流程化，对数据分析的人为错误被消除。...显然在商品数量上千之后，人工去定价是一种低效行为。人工智能根据多种数据：市场条件、用户行为和需求、库存情况及内部运营需要，来实现实时调整定价。

    1.9K150

    数据预处理技术研究 | 冰水数据智能专题 | 1st

    1 数据预处理解决什么问题 数据预处理是数据挖掘的重要一环，要使挖掘方案挖掘出丰富的知识，就必须为它提供干净、准确、简洁的数据。...实际使用的系统中，存在大量的模糊信息，有些数据设置还具有一定的随机性质。 2 数据预处理在数据挖掘中的定位 一个完整的数据挖掘系统必须包含数据预处理模块。...主要包括重复数据处理和缺值数据处理，并完成一些数据类型的转换。 数据清洗可以分为有监督和无监督两类。...3 数据预处理方法 数据科学的数据预处理，一些编程语言是专为数据科学项目而设计，或者是对它有非常好的支持，特别是R 和Python 。...这些工具在底层人工智能的驱动下变得越来越智能。 下面的例子展示了如何使用两个开源数据科学工具KNIME和RapidMiner 来预处理Titanic数据集： ?

    2.6K30

    使用jq处理JSON数据（一）

    我自己写了一个方法来处理JSON格式的数据，之前写过文章：将json数据格式化输出到控制台，后来又更新了一些其他功能，修复了一些BUG，展示格式如下： INFO-> 当前用户：fv，IP：192.168.0.102...在本文中，我们将学习如何使用jq命令行优雅地处理JSON格式数据。 jq可在各种平台上运行，可用于Linux、Windows和Mac OS。...返回整个JSON数据的内容，这一点跟JsonPath类似，有兴趣的同学可以翻一翻我写过的JsonPath的文章。 下面的shell跟上面的命令行结果是一致的。...当然，我们也可以用jq处理响应结果。...这是一个jq常见用法，我用moco API封装框架，将上面的JSON数据当做一个接口的响应。

    2.7K10

    使用Power Query处理数据（一）

    点击关注 不迷路 使用Power Query处理数据（一） 什么是Power Query？ PowerQuery是一个微软创建的基于Excel的免费插件，可以在Excel2010（及更高版本）使用。...假如我们需要将下面数据处理成电影名称和电影类型一一对应的形式。 使用Power Query就可以快速的完成，接下来我们就来看一下如何操作吧！...1 导入数据 新建一个excel文件，切换到数据选项，单击【数据】-【获取数据】-【来自文件】-【从工作簿】，点击要处理的文件，选中我们要处理的工作表，点击【加载】。...逆透视列】-【逆透视其他列】，然后删除对我们没有利用价值的列【属性】，修改列【值】的名称为【电影类型】，点击【文件】-【关闭并上载】，完成啦~ 5 小结 Power Query与传统Excel相比具有数据无限制...、操作简单、所有数据处理步骤自动保存，下次点击刷新即可等优势。

    1.5K20

    人工智能创新应用50强出炉，达观数据领跑文本智能处理领域

    达观数据的文本智能处理平台准确高效的文字处理表现，入围创新50强榜单是实至名归。达观数据从成立至今，一直致力于为企业实现文本自动化处理，是国内首家将自动语义分析技术应用于企业数据化运营的人工智能公司。...创始团队在文本挖掘领域已有10余年积累，多次斩获国际数据挖掘最高级别竞赛ACM KDD 和CIKM的世界冠亚军大奖，拥有30多项国家发明专利，并获得国内著名投资机构真格基金和软银赛富的多轮投资，成文中国文本智能处理领域的领跑者...达观数据：企业的文本智能处理专家 除了领先的技术实力，达观数据更重视让技术完美贴合企业的业务场景。...文档资料是各大企业中常见的信息承载与交流方式，企业如何利用先进的技术快速准确处理文档信息，完善企业文本的自动化处理能力，也是向智能化转型的关键一步。...当下人工智能正成为新一轮产业变革的核心驱动力，越来越多具有创新基因的新兴企业加入到人工智能的行业阵营中。达观数据将在文本智能探索的道路上不断前行，为中国企业的智能化转型赋能。

    1.1K60

    双11 | 正是一年好风光，AI特惠心不慌

    from=15239 双十一特惠OCR：限时1元购 推出通用印刷体、手写体、身份证、营业执照 车牌识别等8大爆款子能力（限新用户） 特惠1元购买，持续整个11月 OCR 1元购地址 https://...cloud.tencent.com/act/pro/ocr61 从100亿级的小目标到1000亿+的倍增 每一年的双十一都在创造成交额神话 背后离不开各路朋友的“倾囊相助” 还离不开人工智能给电商带来的便捷...捋一捋双十一背后的黑科技 人工智能已经介入电商的各个环节 计算机视觉 机器通过识别图片，自动查找商品 让你不用再费了老劲找心仪的它 即便一只口红，你也可以通过在线试唇色 买到最适合你的唇色 最后再来个刷脸支付...365天*24小时工作模式的智能客服 是海量客服咨询量的得力支撑 给广泛的传统服务行业带来质的改变 NLP平台 大数据机器学习 让机器自我学习，越来越懂你 推荐自然更精准！...当然 人工智能的应用远不止于此 经过多年的历练 无论是物流体系、支付体系，还是广告营销 不仅扛起了“一山还比一山高”的重任 还衍生出新的富有想象力的多元化产业与产品 更多腾讯AI产品免费体验与合作联系

    15.6K30

    GMIC2018，达观数据文本智能处理技术瞩目全场

    达观数据作为人工智能领域优秀企业亮相本次大会，与全球知名的科学家、企业家、投资人、创业者共同探讨热门技术和应用，分享人工智能中文本智能处理的创新思路和行业应用。 ?...全球移动互联网大会(GMIC)至今已举办第10周年，已成为全球最具影响力的行业大会之一。...在本次大会上，达观数据相关负责人为大家展示了文档智能审阅系统： 基于达观核心技术团队在自然语言处理领域近10年技术积累，文档智能审阅系统可协助金融、制造、通信、法律、审计、媒体、政府多个行业的文字密集企业完成文档审阅工作...文档智能审阅系统支持数十种常见文档类型，100多种字段信息的提取，提取的内容可根据企业实际业务场景进行增删改，例如企业中常见的自动填表、数据统计和文档内容的一致性检查等。...达观数据作为全球领先的文本智能处理专家，致力于为企业提供完善的文本挖掘、知识图谱、搜索引擎和个性化推荐等文本智能处理技术服务，也是国内首家将自动语义分析技术应用于企业数据化运营的人工智能公司。

    1.2K20

    智能监控面临更大挑战 大数据处理需改善

    大数据对监控数据处理的价值 大数据在对安防数据处理价值上主要体现在以下几个方面： 一、数据应用效率不断提升。...大数据智能监控的六大应用 大数据对安防监控数据处理能力的要求在六个应用中有具体体现，无论图像升级还是识别方式升级，其最终是在高清的基础上进一步突出了智能监控的作用。...这三大挑战在一定程度上反映出当前视频大数据处理领域存在的主要问题，同时也对视频大数据处理技术提出了更高的要求。 1、“存不下”主要体现在视频压缩编解码性能的限制。...同时算法检测会受到光线、颜色、化妆、摄像机硬件误差及精密度等一系列的问题影响，因此在低端智能与真正的人工智能之间还存在一个较大的鸿沟，它需要计算机处理能力及处理速度的提升。...见赛迪网：智能监控面临更大挑战 大数据处理需改善

    1.6K80

    大数据Flink进阶（四）：Flink应用场景以及其他实时计算框架对比

    针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈检测、实时数仓与ETL类型、流数据分析类型、实时报表类型等实时业务场景，而Flink对于这些类型的场景都有着非常好的支持。...1、实时智能推荐智能推荐会根据用户历史的购买行为，通过推荐算法训练模型，预测用户未来可能会购买的物品。...最典型的案例便是淘宝的双十一活动，每年双十一购物节，除疯狂购物外，最引人注目的就是天猫双十一大屏不停跳跃的成交总额。...在整个计算链路中包括从天猫交易下单购买到数据采集、数据计算、数据校验，最终落到双十一大屏上展现的全链路时间压缩在5秒以内，顶峰计算性能高达数三十万笔订单/秒，通过多条链路流计算备份确保万无一失。...延时：表示数据处理的延时情况，Storm和Flink接收到一条数据就处理一条数据，其数据处理的延时性是很低的；SparkStreaming和StructuredStreaming都支持微批处理，数据处理的延时性相对会偏高

    2.7K71

    业界 | 从“打杂小弟”到“金牌员工”，智能客服机器人正迈入黄金时代

    大数据文摘出品 作者：魏子敏 迈入第十个年头，双十一已经演变成为全球最大规模的人工智能应用赛场。...十年的双十一，基本上也是客服领域的人机智能协作的一场变迁史。 含着“金汤匙”出生，NLP的绝佳应用场景 尽管发展迅猛，但相比众多人工智能传统应用场景，智能客服机器人是个起步颇晚的落地领域。...这一说法事实上不无道理，人工智能，特别是自然语言处理技术发展到现在，最大的技术桎梏其实是聚焦的应用场景选择和真实数据的积累。...换句话说，今年双十一，你的每一次剁手，都在为人工智能时代的到来积累数据。...对于购买美妆的客户，智能机器人会针对客户的皮肤类型推荐不同的商品；同时，如果客户在聊天过程中有议价动作，那在客户咨询未下单/或下单未付款后，机器人就会进行智能跟踪，给客户发送一些活动优惠券，提高其下单转化率

    5.4K20

    天猫双11订单峰值58.3万笔秒，消费狂欢背后隐藏了哪些技术？

    如此处理更大的计算量，让整个计算变得没有极限。如今 Maxcompute 已经可以承载 EB 级别的数据存储能力和百 PB 级的单日计算能力。...在 AI 技术的支撑下，购物变得更加智能，个性化推荐、用户购买行为实时分析等成为可能。...其中在杭州数据中心内，全球规模最大的液冷服务集群将有上万台液冷服务器投入生产处理双 11 的海量计算工作，这些服务器的网线连起来可以绕地球一周。...今年流批一体将在阿里内部小二端大规模应用，实现了哪怕是多个计算处理模式，也只需要撰写一套代码就能兼容。在计算速度上比其他框架快 1 倍、查询快 4 倍。...三、更智能的体验 除了购物更快，今年双十一的另一个特征是更「智能」。 今年双 11 前夕，淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景，智能计算调用量日均已高达数千亿次。

    8.3K10

    9小时交易额1000亿，这些技术在双十一给你下“圈套“，让你不停买买买

    9小时的时间，今年双十一仅淘宝天猫的交易额就达到了1000亿。 作为买买买的主力军，先问大家一个问题：购物车里面的东西都清空了吗？是不是还在一边在内心哭着喊着要剁手，一边忍不住的动手一键下单购买呢？...在数据采集之后，利用人工智能和机器学习算法，这些数据将被打上特定的标签，而这些标签就是我们的“人物画像”。...比如镁客君，“钢笔”、“文具”、“运动”、“洁面用品”就是我的标签，也因此，在“双11精选会场”以及日常“猜你喜欢”的栏目中，镁客君总是能看见“心水”的商品，然后就是浏览、收藏、加购物车或一键购买的“一条龙服务...可是，随着技术的进步，我们可以通过智能设备等手段或媒介对线下数据进行获取，再通过后台进行分析，从而相当准确地描绘消费者。...何尝不是对于人工智能等技术在其中所起作用的一种认可？

    4.2K00

    Python数据处理(一)：处理 JSON、XML、CSV 三种格式数据

    Python 数据处理系列博客来啦！ 本系列将以《Python数据处理》这本书为基础，以书中每章一篇博客的形式带大家一起学习 Python 数据处理。...这本书主要讲了如何用 Python 处理各种类型的文件，如 JSON、XML、CSV、Excel、PDF 等。后面几章还会讲数据清洗、网页抓取、自动化和规模化等使用技能。...一、CSV数据 CSV 文件(简称为 CSV)是指将数据列用逗号分隔的文件。文件的扩展名是 .csv。...另一种数据类型，叫作制表符分隔值(tab-separated values，TSV)数据，有时也与 CSV归为一类。...csv 文件可以直接用 Excel 打开直观的看到，我们用 Excel 打开如下图： 接下来就要用 Python 来简单的处理这些数据。

    3.8K20
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券