数据采集具有悠久的历史，在远古时期，人们便学会了在绳子上打结，进行数字的记录。到了19世纪，1887年，美国统计学家霍尔曼·霍尔瑞斯发明了一台电动机器，它能够读取卡片上的洞数，使用这台设备，美国仅用了一年时间，就完成了原本需要8年才能完成的人口普查工作。
作者：konradliu，腾讯CSIG区块链产品经理 |导语 大数据时代，数据源源不断产生并且汇集，数据已经成为企业间竞争的关键和影响国家竞争力的重要因素，大规模数据汇聚导致数据垄断困境的出现，进一步，使数据被不合理的分配与享用，然而，大规模数据收集也带来严峻的隐私泄露、数据滥用和数据决策不可信等问题，对传统的数据治理提出了新的挑战，数据隐私如何保护、数据交易和共享中如何可信传输、数据所有权与使用权如何厘清、数据价值如何合理定价等问题如何解决，并使数据得到正确和规范的使用是决定大数据继续发挥价值的关键，也
导读：收集完整而准确的基础数据，是ERP成功实施的必要条件。实施ERP并不只是购买和安装一套软件，在正式运行之前有很多工作要做，基础数据的收集准备就是一项很重要的工作。
过去猎豹在安全和工具层面，抓住了上一个时代的大风口。如今这条赛道不再像以前那样野蛮生长。
OpenAI最新研究 <Let’s verify step-by-step> 于昨天发布，引起了广泛关注。这个想法非常简单，可以用一句话来概括：
近年来，在深度学习技术和算力提升的双重加持下，强化学习已经在众多复杂的 AI 挑战中取得了辉煌战绩。无论是象棋、围棋、麻将，还是王者荣耀以及各类雅达利经典游戏，强化学习的表现都足以令人叹服。
企业有各种安全防护手段，HIDS与网络流量监听一样， 是一种威胁检测的手段。HIDS（Host-based Intrusion Detection System）基于主机型入侵检测系统。与网络监听这种形式的主要区别是， HIDS的主要数据源来至于主机本身产生的各种审计信息。
“过去，物流企业从代码到运维到安全到网络的众多领域，要耗费大量人力、财力。云计算则解决了这个问题：减少了物流企业成本，降低建设门槛，为企业发展减轻了负担，同时将物流产业的服务化，产生更多可以利用的数据。”——G7吴海波 似乎是冥冥中注定，从一开始毕业从事软件开发工作，到后来WMS、TMS等传统物流管理软件的研发，再到物联网技术，吴海波都与物流有着不解的缘分，而他也认为自己是幸运的，可以做自己喜欢的事，并乐此不疲。 G7的建立，可以说是互联网时代，吴海波一众人为了满足物流企业对物联网技术的迫切需求，在云计算、
物联网（IoT）作为一种概念已经存在了相当长的时间-这已不是头一年了，它已被列入具有前途的趋利基市场。伴随着大数据，人工智能以及其他一些流行和蓬勃发展的行业。
没有Gartner十大预言就没有Gartner研讨会。每一年Gartner的趋势预测都吸引无数关注的目光，今年机器与人的关系成为大家讨论的焦点，以及云、移动、社交和大数据的进化所引发来的Gartner所谓的“后应用时代”。 到2018年,20%的商业内容将交由机器完成。 据Gartner的副总裁兼分析师Daryl Plummer表示,机器、算法在一些公司中已经投入使用了。美国一个主要城市使用软件来写自己的预算报告。许多媒体使用它进行体育报道。不过我可以清楚地告诉所有的读者们,我并不是机器人好吧，最起码现在不
有时候，只要看一眼，有些天分的人就能进行模仿。用学术一点的话说就是：只需少量的明确监督和反馈，人类就可以通过简单的交互和对世界的生理感知，来学习各种运动技能。
---- 新智元编译 来源：forbes 编译：克雷格 【新智元导读】Bernard Marr是美国的大数据专家，著有《大数据专家 小企业也能用好大数据》、《智能大数据SMART准则：数据分析方法、案例和行动纲领》等书。最近，Bernard Marr在Forbes上发表专栏文章，介绍了人工智能与区块链结合后，可能带来的三个具有突破性的方向。 之前我已经写过关于将区块链与物联网（IoT）整合在一起的现实情况和应用前景。现在让我们一起看看区块链如何为另一种尖端技术——人工智能（AI）——解锁新的领
大数据的来源多种多样，在大数据时代背景下，如何从大数据中采集出有用的信息是大数据发展的最关键因素。大数据采集是大数据产业的基石，大数据采集阶段的工作是大数据的核心技术之一。为了高效采集大数据，依据采集环境及数据类型选择适当的大数据采集方法及平台至关重要。下面介绍一些常用的大数据采集平台和工具。
译自 Getting Started with Infrastructure Monitoring 。
随着大数据时代的来临，如何从海量的存储数据中发现有价值的信息或知识帮助用户更好决策是一项非常艰巨的任务。数据挖掘正是为了满足此种需求而迅速发展起来的，它是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在的有用信息和知识的过程。由于大数据技术的发展，零售企业可以利用互联网收集大量的销售数据，这些数据是一条条的购买事务信息，每条信息存储了销售事务的处理时间，顾客所购买的商品、各种商品的数量以及价格等。如果对这些历史数据进行分析，则可以对理解分析顾客的购买行为提供有价值的信息。
当前借助大数据技术，针对当前新冠肺炎疫情防控需要生成的健康码成为随身数字“通行证”，方便广大市民及进（返）各城市查询自身防疫相关健康状态的识别码，即便捷了防疫检查，也真正实现了大数据技术的价值应用，便捷服务市民。健康码的应用也让大数据更形象的普及推广，更深刻的理解了大数据的价值。
与小型项目相比，大规模的网页抓取带来了一系列截然不同的挑战，例如基础结构搭建、管理资源成本、绕过爬虫检测措施等。
数字化转型以爆炸性的增长率创造价值，是所有市场和行业的热门话题。考虑到制造业的工业物联网（IIOT）的价值为1610亿美元，增长率为25％，到2027年，互联汽车市场的价值将为2250亿美元，增长率为17％，或者在前三个月2020年，零售商在短短三个月内实现了十年的数字销售渗透率。尽管编写的大部分内容都与使能技术平台（云或边缘端或单点解决方案，如数据仓库）或驱动这些收益的用例有关（例如：将预测性分析应用于预防性维护，金融机构的欺诈检测或预测性健康监控），而不是基础数据。这其中缺少的一章不是关于点解决方案或用例的成熟历程。缺少的一章是关于数据的，它总是与数据有关，最重要的是，从边缘端到人工智能洞察所编织而成的数据旅程。
人工智能是目前炙手可热的领域，所有的互联网公司以及各路大迦们纷纷表态人工智能将是下一个时代的革命性技术。数据挖掘（Data Mining）和机器学习（Machine Learning）作为人工智能研究与应用的分支领域，也越来越多的被提到。 在大多数非计算机专业人士以及部分计算机专业背景人士眼中，机器学习以及数据挖掘是两个高深的领域。本文翻译自外网文章，将从基本概念出发浅析他们的关系和异同，希望对大家能有所帮助。
高速性（velocity）：大数据要求处理速度快，比如淘宝双十一需要实时显示交易数据
吴昊，iCDO翻译志愿者 前言：营销人员用以衡量数字广告驱动用户到店访问的办法变得越来越多、越来越强大。作者介绍的这项技术也许会给你新的启示。 Reckle物联网（Freckle IoT）直接通过移动
摘要：当下分布式电力交易呈现出中心化网络风险验证和市场竞争过小等问题。区块链技术去中心化、防篡改及分布式存储等特点与分布式电力交易中存在的问题高度契合，将区块链技术应用于分布式电力交易中受到广泛关注。文章从安全防护类算法、数据同步类算法及共识类算法3个方面梳理了区块链相关算法，将其结合分布式电力交易的部分适用场景展开分析，总结现有区块链核心算法在分布式电力交易中优缺点。最后，对区块链技术现在存在的问题及各类算法在未来分布式电力交易的适用性进行分析，通过对3类算法分析综述，从安全、共享、共识3个方面提高分布式交易的交易速率和可靠性，为未来区块链核心算法在分布式电力交易领域的应用提供研究思路。
越来越多程序员也涌入大数据行业，但是仔细问一些从业人员什么是大数据?鲜有人知道?就算知道的，最常引用Victor的4V理论，大量(Volume)，快速(Velocity)，种类多(Variety)，价
先祝大家五一节快乐。前一篇介绍了USENIXSec21恶意代码分析的经典论文——DeepReflect，它通过二进制重构发现恶意功能。这篇文章将带来RAID 2019的Android数据泄露分析的译文，是对真实移动设备用户网络流量的实证评估，预测用户兴趣点（POI）的位置，上一篇系统安全文章就提取了恶意功能函数的POI。此外，作者参加了RAID当时在北京的现场分享，亦是当年的读书笔记，故作为在线博客分享出来，希望对您有所帮助。由于作者的英语和学术水平较差，还请大家批评和指正。感恩遇见，一起加油！
《大数据时代》作者维克托·舍恩伯格有一句名言：世界的本质是数据，大数据将开启一次重大的时代转型。深以为然。
大数据，什么是大数据呢？多大的数据叫大数据？红火一时的数据分析走向了我们，纷纷称不分析数据企业将长久不了，可是究竟什么样的数据才是大数据呢，什么样的数据才是最大的呢？
5月18日，腾讯研究院主办的“新技术与新规则，互联网+时代的立法与公共政策”发布会在京举行，腾讯研究院出品的《互联网＋时代的立法与公共政策》一书正式发布上市。腾讯研究院法律研究中心首席研究员蔡雄山在会
华盛顿大学和谷歌研究中心的一个团队最近开源了 Distilling Step-by-Step（逐步蒸馏），一种用于微调规模较小的语言模型的技术。与标准微调相比，逐步蒸馏需要的训练数据更少，并且生成的模型更小，但模型性能却优于参数规模是它 700 倍的小样本提示大型语言模型 （LLM）。
近日，澳大利亚公平竞争和消费者委员会(ACCC)发布消息称，谷歌2017年1月至2018年 12 月的时间里，存在收集和使用其位置数据并误导澳大利亚 Android 用户，被处以6000万美元(约合人民币2.88亿元)罚款。 澳大利亚竞争监管机构表示，这家科技巨头继续跟踪其部分用户的 Android 手机，尽管他们在设备设置中禁用了“位置历史记录”。但实际情况是，谷歌在默认情况下会打开另一个名为“Web & App Activity”的帐户设置使公司能够“收集、存储和使用个人可识别的位置数据”。 ACCC
相比之下，数据交易几乎无迹可寻，至少，数据与金钱的交易鲜有存在。这跟它“新兴资产类别”这一称号很不相称。在2011年发布的一份报告中，世界经济论坛（WEF；达沃斯的会议组织机构兼智囊）就给数据冠以这一称号，隐含的意思是，构成数据经济的，将是欣欣向荣的数据信息市场。但从当前的情况来看，数据经济基本上是一个个相互孤立的“谷仓”集合体。 交易市场缺失的原因，也是相应企业产生的原因。由于市场交易携带的各种“交易成本”——搜寻信息、谈判交易、执行合同等等，在公司内部进行这些活动就会更加简单、高效。同理，比起在开放市
《“十四五”大数据产业发展规划》强调：数据是新时代重要的生产要素，是国家基础性战略资源。而目前，我国大数据产业年均复合增长率保持在25%，预计到2025年左右我国大数据产业测算规模突破3万亿元，形成创新力强、附加值高、自主可控的现代化大数据产业体系。
从数据收集到模型构建，从实验设计到过程控制，AI跨界正在改变科学研究方式，成为科学发现引擎。
【新智元导读】2016年机器学习有三大趋势。其中，Gartner分析认为，算法将形成一个全球性的交易市场，就像当年的App经济，催生出全新一代的专业技术初创企业，并且革新机器与机器之间的交互方式；算法是创造智能应用的基石。同时，更多的数据将生成更好的模型和用户体验，进而吸引更多的用户以及更多的数据，而这将导致储存和计算数据的成本持续降低。 上个月，在被视为美国人工智能发展另一片新天地的西雅图，Madrona风险投资集团举办了一场机器学习与人工智能峰会。100 多个专家、研究者和记者汇聚一堂，讨论人工智能的未
本文转自人机与认知实验室 【人工智能某种意义上是辨识区别精度的弥聚过程，因而自然少不了分类与聚类方法】 分类是指按照种类、等级或性质分别归类。 聚类是将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类
论文阅读笔记，个人理解，如有错误请指正，感激不尽！该文分类到Machine learning alongside optimization algorithms。
随着世界进入大数据时代，对其存储的需求也在增长。直到2010年，它一直是企业行业面临的主要挑战和关注点。主要重点是构建用于存储数据的框架和解决方案。现在，当Hadoop和其他框架成功解决了存储问题时，重点就转移到了处理这些数据上。数据科学是这里的秘诀。您在好莱坞科幻电影中看到的所有想法实际上都可以通过数据科学变成现实。数据科学是人工智能的未来。因此，了解什么是数据科学及其如何为您的业务增加价值非常重要。
随着IT（信息技术）的快速发展，其在为世界各地的企业增加价值的作用越来越受到关注。边缘计算是某些企业为了产生某些价值而最期待的技术之一。
https://github.com/mjbahmani/10-steps-to-become-a-data-scientist
GitHub 地址：https://github.com/mjbahmani/10-steps-to-become-a-data-scientist
人工智能（AI）是近几年来最热的话题之一，不管是医疗界、互联网界、服务界，还是制造业、工业等等，不和AI挂个边都不好意思出来和人打招呼（比如咱们运维界也有AIOps）。
今天为大家介绍的是来自Openai研究团队的一篇提高语言模型推理能力的论文。近年来，大型语言模型在进行复杂多步推理方面的能力有了显著提升。然而，即使是最先进的模型仍然经常产生逻辑错误。为了训练更可靠的模型，作者可以采用结果监督或过程监督两种方法。结果监督为最终结果提供反馈，而过程监督则为每个中间推理步骤提供反馈。考虑到训练可靠模型的重要性以及人工反馈的高成本，仔细比较这两种方法非常重要。最近的研究已经开始比较这两种方法，但仍然存在许多问题。Openai进行了关于这个问题的研究，发现对于训练模型解决具有挑战性的MATH数据集中的问题，过程监督明显优于结果监督。
这是我的学习笔记，大量摘抄网上、书本里的内容，将我自己认为关联度较高的内容呈现上来。
随着企业痛苦地意识到云计算的任何设置和操作都很容易实现，但内部云的采用仍然比公有云慢得多。企业的风险规避行为以及复杂性带来了很多风险，此外，对于大多数公司来说，聘用具有专业知识的人来构建和管理内部云的
MGI(麦肯锡全球研究院)和麦肯锡商业技术办公室的报告显示，当今世界的信息量已呈爆炸式增长态势，大型分析数据集——即所谓的大数据，将成为引发新一轮生产力增长、创新及竞争的关键基础之一。 多媒体的崛起，社交媒体及物联网所捕捉到的、与日俱增的信息量，将会使数据在可预见的未来呈指数性增长。 麦肯锡研究了五大领域的大数据——美国医疗保健、欧洲公共部门、美国零售业、美国制造业及全球个人位置数据。对于每个领域，大数据都能创造价值。 例如，如果充分利用大数据技术，零售商就能使其营业利润率提高约
platformCheckStatus=aaa中”=“左边的platformCheckStatus，表示当前字段要关联的字段名称，”=“右边的aaa，表示回传信息的键名，用于确定关联字段要显示的值。
如何才能成为一名真正的“全栈（full-stack）”数据科学家？需要了解哪些知识？掌握哪些技能？
Zabbix（[`zæbiks]）是一个基于Web界面的提供分布式系统监控以及网络监控功能的企业级的开源解决方案。用于监控各种网络设备，操作系统、数据库、中间件以及服务器的安全运营；并提供灵活的通知机制以让系统运维人员快速定位/解决存在的异常问题。
这些项目构想很有可能会让你对这门神奇的语言产生兴趣。最棒的是，你可以通过这些有趣但也具有挑战性的项目来增强 Python 编程技能。
领取专属 10元无门槛券
手把手带您无忧上云
