文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

从底层到应用，那些数据人的必备技能

根据数据应用的不同阶段，我将从数据底层到最后应用，来谈谈那些数据人的必备技能。...和传统的SQL不同的是，针对大数据量的非结构式数据，我们所想的就是：用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域，从目前来看，分布式已经被证明是个很好的一个方式。...在数据仓库中需要考虑到延续性，主表的变动不要太频繁，否则使用的人会非常痛苦，好不容易才用习惯了1.0的表结构，没办法这么快进行切换。简单地说，要能向下兼容。...说完了数据存储这块，接下来是数据应用的几个关键职位，在此之前，我想说数据应用的一个最关键的前提是：数据质量、数据质量、数据质量！！...5、数据挖掘/算法 这块的话，经过这三年的摸爬滚打，感触蛮多的。体会比较深的吐槽主要有以下几点： 一个规则搞定了，还用什么算法。 你的准确率怎么这么低？！ 你的准确率可以到99%吗？

67970
您找到你想要的搜索结果了吗？
是的
没有找到

Excel应用实践08：从主表中将满足条件的数据分别复制到其他多个工作表中

学习Excel技术，关注微信公众号： excelperfect 这是在ozgrid.com的论坛中看到的一个应用问题，以前也经常遇到类似问题，并且其解决技巧很有效率，因此在这里和大家分享。...如下图1所示的工作表，在主工作表MASTER中存放着从数据库下载的全部数据。...现在，要根据列E中的数据将前12列的数据分别复制到其他工作表中，其中，列E中数据开头两位数字是61的单元格所在行前12列数据复制到工作表61中，开头数字是62的单元格所在行前12列数据复制到工作表62中...5列符合条件的数据存储到相应的数组中 For i = 2 To UBound(x, 1) Select Case Left(x(i, 5), 2) Case...个人觉得，这段代码的优点在于： 将数据存储在数组中，并从数组中取出相应的数据。 将数组数据直接输入到工作表单元格，提高了代码的简洁性和效率。 将代码适当修改，可以方便地实现类似的需求。

4.9K30

【热点】从底层到应用，那些数据人的必备技能

根据数据应用的不同阶段，我将从数据底层到最后应用，来谈谈那些数据人的必备技能。...和传统的SQL不同的是，针对大数据量的非结构式数据，我们所想的就是：用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域，从目前来看，分布式已经被证明是个很好的一个方式。...在数据仓库中需要考虑到延续性，主表的变动不要太频繁，否则使用的人会非常痛苦，好不容易才用习惯了1.0的表结构，没办法这么快进行切换。简单地说，要能向下兼容。...说完了数据存储这块，接下来是数据应用的几个关键职位，在此之前，我想说数据应用的一个最关键的前提是：数据质量、数据质量、数据质量！！...5、数据挖掘/算法 这块的话，经过这三年的摸爬滚打，感触蛮多的。体会比较深的吐槽主要有以下几点： 一个规则搞定了，还用什么算法。 你的准确率怎么这么低？！ 你的准确率可以到99%吗？

68470

干货 | 从底层到应用，那些数据人的必备技能

根据数据应用的不同阶段，我将从数据底层到最后应用，来谈谈那些数据人的必备技能。...和传统的SQL不同的是，针对大数据量的非结构式数据，我们所想的就是：用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域，从目前来看，分布式已经被证明是个很好的一个方式。...在数据仓库中需要考虑到延续性，主表的变动不要太频繁，否则使用的人会非常痛苦，好不容易才用习惯了1.0的表结构，没办法这么快进行切换。简单地说，要能向下兼容。...说完了数据存储这块，接下来是数据应用的几个关键职位，在此之前，我想说数据应用的一个最关键的前提是：数据质量、数据质量、数据质量！！...5、数据挖掘/算法 这块的话，经过这三年的摸爬滚打，感触蛮多的。体会比较深的吐槽主要有以下几点： 一个规则搞定了，还用什么算法。 你的准确率怎么这么低？！ 你的准确率可以到99%吗？

27320

干货 | 从底层到应用，那些数据人的必备技能

根据数据应用的不同阶段，我将从数据底层到最后应用，来谈谈那些数据人的必备技能。...和传统的SQL不同的是，针对大数据量的非结构式数据，我们所想的就是：用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域，从目前来看，分布式已经被证明是个很好的一个方式。...在数据仓库中需要考虑到延续性，主表的变动不要太频繁，否则使用的人会非常痛苦，好不容易才用习惯了1.0的表结构，没办法这么快进行切换。简单地说，要能向下兼容。...说完了数据存储这块，接下来是数据应用的几个关键职位，在此之前，我想说数据应用的一个最关键的前提是：数据质量、数据质量、数据质量！！...5、数据挖掘/算法 这块的话，经过这三年的摸爬滚打，感触蛮多的。体会比较深的吐槽主要有以下几点： 一个规则搞定了，还用什么算法。 你的准确率怎么这么低？！ 你的准确率可以到99%吗？

537100

干货 | 从底层到应用，那些数据人的必备技能

根据数据应用的不同阶段，我将从数据底层到最后应用，来谈谈那些数据人的必备技能。...和传统的SQL不同的是，针对大数据量的非结构式数据，我们所想的就是：用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域，从目前来看，分布式已经被证明是个很好的一个方式。...在数据仓库中需要考虑到延续性，主表的变动不要太频繁，否则使用的人会非常痛苦，好不容易才用习惯了1.0的表结构，没办法这么快进行切换。简单地说，要能向下兼容。...说完了数据存储这块，接下来是数据应用的几个关键职位，在此之前，我想说数据应用的一个最关键的前提是：数据质量、数据质量、数据质量！！...5 数据挖掘/算法 这块的话，经过这三年的摸爬滚打，感触蛮多的。体会比较深的吐槽主要有以下几点： 一个规则搞定了，还用什么算法。 你的准确率怎么这么低？！ 你的准确率可以到99%吗？

65080

【物联网应用案例】从0到N，智慧农业的数据价值

智慧农业全方位渗透到农业的每一个环节，云端解决方案更推动了研究人员、农艺师及农民间的密切协作，为研发企业提供了既经济又具扩展性的完美方案。...据IDC预计，到2036年，农场收集的数据量将增加800%以上，这凸显了农业数字化转型对其影响。...借助数字技术，农民们能够轻松处理和应用他们所收集的数据，进而为农业生产提供有力支持。...借助物联网、AI和云计算等前沿科技的综合应用，我们可以实现对农田灌溉、施肥及数据检测等流程的精细化管理，从而在同等面积的土地上产出更为丰富的农产品。...该仪器不仅可以将检测结果安全存储在本地数据库中，更可以实时上传至大数据云平台，为相关部门提供全面、准确的数据支持，从而优化食品检测和管理流程。

11010

干货 | 从定义到应用，数据挖掘的一次权威定义之旅

它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。...3、特征 看具体分析的内容是什么，比如互联网类，就是用户画像这类的需求，根据不同的用户给用户群打相应的标签。 下图是一个示意图： ?...对于数据仓库的概念我们可以从两个层次予以理： ①数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库； ②数据仓库是对多个异构数据源的有效集成,集成后按照主题进行了重组,并包含历史数据...切块（Dice）：选择维中特定区间的数据或者某批特定值进行分析，比如选择2010年第一季度到2010年第二季度的销售数据，或者是电子产品和日用品的销售数据。...数据仓库和数据立方体，并且介绍了数据挖掘要解决的四大类问题，任何跟数据挖掘相关的问题都可以先归类到这四大类问题中，然后再根据相应的算法进行解决。

56140

干货 | 从定义到应用，数据挖掘的一次权威定义之旅

它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。...3、特征 看具体分析的内容是什么，比如互联网类，就是用户画像这类的需求，根据不同的用户给用户群打相应的标签。 下图是一个示意图： ?...对于数据仓库的概念我们可以从两个层次予以理： ①数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库； ②数据仓库是对多个异构数据源的有效集成,集成后按照主题进行了重组,并包含历史数据...切块（Dice）：选择维中特定区间的数据或者某批特定值进行分析，比如选择2010年第一季度到2010年第二季度的销售数据，或者是电子产品和日用品的销售数据。...数据仓库和数据立方体，并且介绍了数据挖掘要解决的四大类问题，任何跟数据挖掘相关的问题都可以先归类到这四大类问题中，然后再根据相应的算法进行解决。

74250

《Java从入门到放弃》框架入门篇：Struts2的基本数据传递方式 推荐

把这个和JSP的数据传递方式对比一下，你就会发现·······真的可以少写两句代码！！！...struts2中常用的两种数据传递方式如下： 属性匹配方式 ModelDriven接口匹配方式(常用于自定义类型) 个人比较喜欢使用第一种，为什么呢？...一、属性匹配方式 属性匹配又分为两种情况，一种是Java基本数据类型，一种是自定义类型，请Look下面的Code。  ...页面(前面的singer_add.jsp)，注意看代码中表单元素的name属性中基本类型和自定义类型的区别(singer就是上面Action中的singer属性)        ...这些入门级的东西，应该还没有出现要放弃的客官吧，如果还看得过眼，请点个赞

89540

【python】在【机器学习】与【数据挖掘】中的应用：从基础到【AI大模型】

在大数据时代，数据挖掘与机器学习成为了各行各业的核心技术。Python作为一种高效、简洁且功能强大的编程语言，得到了广泛的应用。...一、Python在数据挖掘中的应用 1.1 数据预处理 数据预处理是数据挖掘的第一步，是确保数据质量和一致性的关键步骤。良好的数据预处理可以显著提高模型的准确性和鲁棒性。...特征选择 特征选择是从原始数据中选择最具代表性的特征，以减少数据维度，提高模型的性能和训练速度。...通过特征构造，可以从原始特征中生成新的、更有用的特征。...通过不断学习和实践，掌握这些技术可以为数据分析和人工智能应用提供强大的支持。

7510

大数据应用之：MongoDB从入门到精通你不得不知的21个为什么？

一、引言： 　　互联网的发展和电子商务平台的崛起，催生了大数据时代的来临，作为大数据典型开发框架的MongoDB成为了No-sql数据库的典型代表。...MongoDB从入门到精通你不得不知的21个为什么专为大数据时代，大数据应用系统系统分析、架构设计和平台开发人员而准备。希望能够为大家起到提纲挈领，指明大家学习目标和方向的作用。...为何适应大数据时代的发展? 　  1.3 MongoDB不是万能良药，究竟适合哪些项目？ n2.MongoDB逻辑视图 　　2.1 mongoDB有哪些服务组件组成？ 　　...4.3 MongoDB集群应用系统总体架构设计？ n5.MongoDB shell 　　5.1 Mongodb shell文档操作命令有哪些？ 　　...6.5 安全与认证，我们如何确保MongoDB集群的安全？ 三、应用架构 ? 四、马上开始 　　有目标才有方向，方向既然已明了，我们还等什么呢？须知纸上得来终觉浅，绝知此事要躬行。

29240

每日论文速递 | 清华提出AI辅导教育系统

教育领域的人工智能应用：包括自适应学习环境（如 McNamara 等人 2006 年的工作），情感智能辅导（如 D'mello 和 Graesser 2012 年的研究），以及使用数据挖掘、贝叶斯学习等技术来增强教育体验...在用户与系统互动的过程中，研究者收集了关键的统计数据，并记录了对话内容以供未来分析。 学习完成后，用户需要填写一个问卷，从多个角度评价他们使用系统的经验。...统计数据收集：从学习日志中收集的统计数据包括课程计划的复杂性、系统响应的平均长度、每个响应覆盖的目标数量、课程计划更新的频率以及课程中测验的频率。...研究如何在保持全球信息提示的同时，提高LLM生成及时和连贯响应的能力。 系统可扩展性：探索如何将系统扩展到更多的学科领域和更广泛的应用场景，同时保持教学质量和个性化。...数据隐私和安全性：在使用智能辅导系统时，如何保护用户的隐私和数据安全也是一个重要的考虑点。 教师与AI的协作：研究如何将智能辅导系统与人类教师的教学实践相结合，以实现更有效的教育体验。

18110

Go 切片使用绕坑指南

大家都知道切片是指向底层数组的指针，切片本身不存储任何数据。这意味着即使在这里按值传递切片，函数中的切片仍指向相同的内存地址。...在第二个测验中，此新切片仍指向同一底层数组，因为它具有足够的容量来添加新元素，因此该数组没有更改，但是在此示例中，我们添加了三个元素，而我们的切片没有足够的容量。...从切片或数组派生的切片也会受到影响 如果我们恰巧在代码中创建了从现有切片或数组派生的新切片，那么我们也可以看到相同的效果。...最终，这意味着开发人员需要知道他们传递的数据类型以及所调用的函数可能会如何影响它们。当你将切片传递给其他函数或方法时，应该注意函数可能会，也可能不会更改原始切片中的元素。...同样，你应始终意识到，内部带有指针的结构很容易陷入相同的情况。除非指针本身被更新为引用内存中的另一个对象，否则指针内部数据的任何更改都将被保留。

1.2K20

关注数据而不是模型：我是如何赢得吴恩达首届 Data-centric AI 竞赛的

考虑到有大量的开源机器学习模型库（包括预训练的深度学习模型），模型方面对大多数商业应用程序来说或多或少是一个已解决的问题。...这项技术的动机以及如何将它推广到不同的应用程序 1 大赛概述 在本次竞赛中，每个参与者手里有大小约为 3K 的图像，这些图像是从 1 到 10 的手写罗马数字，我们的任务是优化模型在罗马数字分类方面的性能...以下是高级步骤： 从训练数据中生成一组非常大的随机增强图像（将这些视为“候选”来源）。 训练初始模型并预测验证集。 使用另一个预训练模型从验证图像和增强图像中提取特征（即嵌入）。...对于每个错误分类的验证图像，利用提取的特征从增强图像集中检索最近邻（基于余弦相似度）。将这些最近邻增强图像添加到训练集。我将这个过程称为“数据增强”。 使用添加的增强图像重新训练模型并预测验证集。...3 这项技术的动机以及如何将它推广到不同的应用程序 我的方法受到以下四件事的启发： 我在原先的作品（见 2019 年的一篇博文）里构建了一个电影推荐系统，这个系统通过从关键字标签中提取电影嵌入并使用余弦相似度来查找彼此相似的电影

65140

我是如何赢得吴恩达首届 Data-centric AI 竞赛的？

考虑到有大量的开源机器学习模型库（包括预训练的深度学习模型），模型方面对大多数商业应用程序来说或多或少是一个已解决的问题。...这项技术的动机以及如何将它推广到不同的应用程序 1大赛概述 在本次竞赛中，每个参与者手里有大小约为 3K 的图像，这些图像是从 1 到 10 的手写罗马数字，我们的任务是优化模型在罗马数字分类方面的性能...以下是高级步骤： 从训练数据中生成一组非常大的随机增强图像（将这些视为“候选”来源）。 训练初始模型并预测验证集。 使用另一个预训练模型从验证图像和增强图像中提取特征（即嵌入）。...对于每个错误分类的验证图像，利用提取的特征从增强图像集中检索最近邻（基于余弦相似度）。将这些最近邻增强图像添加到训练集。我将这个过程称为“数据增强”。 使用添加的增强图像重新训练模型并预测验证集。...3这项技术的动机以及如何将它推广到不同的应用程序 我的方法受到以下四件事的启发： 我在原先的作品（见 2019 年的一篇博文）里构建了一个电影推荐系统，这个系统通过从关键字标签中提取电影嵌入并使用余弦相似度来查找彼此相似的电影

73410

神经网络的基本原理

可以理解为，人工神经网络就是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。 真正的神经元 神经元大致可以分为树突、突触、细胞体和轴突。...树突为神经元的输入通道，其功能是将其他神经元的动作电位传递至细胞体。其他神经元的动作电位借由位于树突分支上的多个突触传递至树突上。...疾病判断：病人到医院去做了一大堆肝功、尿检测验，把测验结果送进一个机器里，机器需要判断这个病人是否得病，得的什么病。...经过调整的网络会在样本上继续测试，如果输出还是老分错，继续来一轮回退调整，直到网络输出满意为止。 简单而言， 无监督训练就是，输入未带有类别标签的特征向量。...有监督训练就是，输入带有类别标签的特征向量。

1.6K00
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券