我大学时学习密码学，而比特币作为一个新颖且非常规的概念出现。在我的一门课程中，我们分析了与比特币非常类似的加密货币的密码学构建模块。尽管我钦佩算法和协议的精妙，但我对 区块链技术 并不特别感兴趣。...我的主要保留意见是，尽管其设计创新，但它并没有解决我个人认为重要的任何问题。 我对区块链的怀疑一直持续到几个月前，当时我与 Aerospike 的一位新客户合作， BSV 协会。...通常，这些可扩展性限制源于对关系数据库管理系统 (RDBMS) 的依赖，例如大型机或 Oracle，它们本身缺乏必要的可扩展性。...基于比特币白皮书构建的加密货币使用 未花费交易输出 (UTXO) 模型，这与核心银行系统中使用的传统会计模型不同。UTXO 信息在 UTXO 存储中检索和更新，以验证比特币交易是否可以花费。...在 前一篇文章 中，我详细阐述了为什么这种方法非常低效。 通常，这些解决方案采用可扩展数据库，通过复杂的数据提取、转换、加载 (ETL) 流程从不可扩展的 RDBMS 中检索数据。
我对JavaScript持乐观态度。 开发人员希望编写 JavaScript，并希望它能在浏览器、服务器或 Edge运行。...学习一次，写在所有地方，对吧？直到最近，Node.js 和 Web 平台还未对齐。 考虑通过 HTTP 获取数据。在浏览器中，我们有 Web Fetch API。...在 Node.js 18 之前，没有内置的获取数据的方案。使用 fetch 需要使用 node-fetch 或 undici 等包，它们的 API 类似但略有不同，通常是以不明显的方式使用的。...我对服务器上的 JavaScript（和 TypeScript）感到乐观。这不仅仅是 fetch。...在这种情况下，我将使用 Vercel Edge Function。但也可以是其他边缘计算平台，如 Cloudflare 或 Deno。对我来说，这段代码最好的部分实际上是它相当无聊。
但是我写的读书笔记还在16页晃悠，心塞。不过还好吧。今天多输出点，当做复习好了~~~ 正文 ---- 大数据的核心就是预测。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。...大数据目前能影响到的也就是大局上的把握，对于细节是没法准备的评估的，就好比我们可以给所有买java讲义的人推荐 Android讲义一样，但是你没法追求二者之间的因果关系，因为这是大数据对长期的人类购买行为的一种记录...同样，只要我们知道什么时候是买机票的最佳时机，就算不知道机票价格疯狂变动的原因也无所谓了。大数据告诉我们“是什么”而不是“为什么”。在大数据时代，我们不必知道现象背后的原因，我们只要让数据自己发声。...复利效应的反效果~ ---- （PS:~下面这段话是作者说的~? ，我对此还抱有疑虑，毕竟大数据本质上来说也是经验之谈，因果是可以捕捉到未来的！...当然，我更希望是相辅相成的局面，好比当年的海王星的发现，要是没有诸多的观测数据，从而推测海王星的存在，我们可能至今对太阳系的认识还存在巨大的缺陷，但是如果没有依据因果关系存在的物理学的计算，海王星是很难被观测到的
最近，有位读者问起一个奇怪的事情，他说他想抓一个baidu.com的数据包，体验下看包的乐趣。 但却发现“抓不到”，这就有些奇怪了。 我来还原下他的操作步骤。...在wireshark中搜索baidu的包，发现一无所获 这是为啥？ 到这里，有经验的小伙伴，其实已经知道问题出在哪里了。 为什么没能抓到包 这其实是因为他访问的是HTTPS协议的baidu.com。...解密后的数据包内容 此时再用http.host == "baidu.com"，就能过滤出数据了。 解密后的数据包中可以过滤出baidu的数据包 到这里，其实看不了数据包的问题就解决了。...四次握手中，客户端和服务端最后都拥有三个随机数，他们很关键，我特地加粗了表示。 第一次握手，产生的客户端随机数，叫client random。...如果连接早已经建立了，数据都来回传好半天了，这时候你再去抓包，是没办法解密的。 总结 • 文章开头通过抓包baidu的数据包，展示了用wireshark抓包的简单操作流程。
一个Rust的新AWS SDK：alpha发布 我们很兴奋地宣布Rust的新AWS SDK的alpha版本发布。...在Rust中开发的AWS客户想要一个本地的Rust SDK，这样他们就可以使用他们习惯的语言结构，而Rust的新客户想要一个与他们在其他语言环境中使用的SDK行为类似的SDK。...文章链接，https://aws.amazon.com/cn/blogs/developer/a-new-aws-sdk-for-rust-alpha-launch/ 我对Rust的第二印象以及为什么我认为它是最好的通用语言...我在2019年11月写了我对Rust的第一印象。此后，我花了几次时间研究它，但主要是在非常简单的代码上进行的，而当我喜欢使用Rust时，我并不感到惊讶。...my-second-impression-of-rust/ Announcing Rust for Windows v0.9 Rust for Windows v0.9最近已发布，其中包括全面的消费支持以及其他几个更新
应用问题：处理时间慢 每当客户端向SQL Server发送请求时，要检索所需的数据集，完成请求所需的总处理时间都包括： 应用程序处理时间：应用程序在发送下一个请求之前处理上一个响应中的数据需要多长时间...专注于一个小型可重复的工作流将让您隔离问题。 接下来的问题当然是为什么要花10秒钟？缩小问题的第一个也是最简单的方法是将应用程序尽可能靠近SQL Server，在同一台机器上或在同一个LAN上运行。...例如，由于我们已经捕获了Profiler跟踪，Gail Shaw的文章很好地概述了如何在跟踪中查找对性能问题最有贡献的过程和批处理。...这两种最常见的方法是： 重写代码 - 例如，您可以聚合和过滤服务器上的多个数据集，以避免每个数据集进行查询，尽管并不总是更改应用程序 使用查询预取和缓存 - 有一些WAN优化工具可以做到这一点，但它们有时是昂贵的...，难以配置以获得高性能，而不会在应用程序中引入错误 我们对这些问题进行了大量的研究，同时开发了数据加速器工具，并采用了一种使用机器学习来预测应用程序要做什么的方法，并预取所需的数据，因此它准备就绪因为应用程序请求它
小勤：大海，为什么我从Excel文件夹导入的数据重复了？ 大海：数据给我来试试看？...所以在后续编辑查询的时候我们首先要把合并工作表的内容过滤掉，否则以后刷新数据时会连合并工作表的数据一起导入。...实际上，在Excel里虽然只有一份数据，但因为做了不同的处理，生成了多种对象（可以简单理解为以多种形式存在），比较容易碰到的有以下三种情况： Sheet：工作表，就是最原始的数据； Table：表格，经过...【插入“表格”】或【Ctrl+T】或【套用表格格式】或【添加到数据模型】或【“从表格”新建查询】等等方式，使原始的普通的工作表数据装换成的“表格”，有些文章里，作者为了避免与普通工作表的差别，称之为“超级表...Step-05：选择Sheet类别的工作表 经过这样的筛选后，我们最终导入的数据就只有该工作簿中最原始的工作表数据，后续的操作就没有什么差别了，我们继续完成它。
但在现阶段，大数据刚刚起步，绝大多数的行业、企业对于本身数据、数据如何使用并不清晰。所谓认知理解基础，指的是知道“我能用数据做什么”、“别人的数据对我有什么作用”、“我的数据对别人有什么作用”等等。...但如果没有明晰、一致的口径，数据就不能帮助我们解决问题，数据交易又有什么意义呢? 数据拿不出来，躺着睡大觉 数据交易要发挥作用，必须要有高质量数据集的参与。...但众所周知，越是高质量的、具有核心竞争力的数据，就越是容易涉及信息安全、信息敏感等问题，因此越是被高度保护、无法获取。...在这些基础之上，最本质、最核心需要解决的是高质量数据“拿不出来”的问题。所谓“拿不出来”，意思是数据变现必须运用间接的方法，而不可能通过纯粹的原材料买卖来变现。...结语： 我曾经提出“技术不是大数据第一生产力，数据交易才能带来应用的爆发(链接)”，但数据交易绝对不是纯粹的数据原材料买卖，否自在未来将会丧失核心竞争力，借助大数据做一些现在做不到的事情，才是大数据交易蓬勃发展的未来
虽然所有行业都存在数据质量问题;每个行业都有其独特的需求。 MDM提供对于这些行业改进业务流程所需的数据合理化所需的工具....MDM通过减少客户信息，帮助组织合理化客户信息复制并创建一个惟一的客户标识符，该标识符用于跨竖井交叉引用数据系统生成客户所需的单个视图。...随着数据量的激增和数据复杂度的不断增加，CPG公司的业务也在不断增加 今天，这个问题正在加剧。从客户和产品数据中获得洞察实时促销优化，分类/SKU盈利报告和需求预测是最大化性能的关键。...这是这是一个面临困难时期的行业，对这些机构来说，优化它们的业务是至关重要的与客户建立良好的关系，通过追加销售和增加收入交叉销售机会，通过更高的IT敏捷性降低成本。...零售和分销 缺货对全球前100位零售商和零售商来说意味着690亿美元的问题在所有缺货的情况中，有将近75%是由他们造成的。零售商们关注通过改进上市时间和增加销售决策来优化计划和销售决策战略采购。
到了年底很多机构开始组织各种论坛，在今年貌似数字化特别的火，各种人力资源论坛活动不加个 “数字化” 都不好意思做宣传推广，但是什么是人力资源的数据数字化转型，人力资源的数字化转型的真正目是什么，我来谈谈我的看法...首先我觉得我们不能盲目的跟风，就像这些年讲绩效，很流行OKR,平衡计分卡，很多HR就开始在企业推这些绩效的方法，到最后还是变成了KPI，数据化转型也一样，你要根据你企业的实际情况去判断，你们有没有数字化的基础...所以在这样的一个数据分析的过程中，我们关注的并不是各种数据呈现的形式，我们更关注的是人力资源从业者对于数据分析的技能，数据分析的思维，数据分析的逻辑，你人力资源的BI系统再好，做的报表再好看，你不会数据分析...那作为HR我们要如何更加落地的，有效的去进行人力资源数据化转型呢，我觉得可以从3个层面进行 1、标准化 所谓的标准化就是数据表格的标准化，在数据录入表和数据字段的设置，数据的统计口径上要做到数据的标准化...2、数据可视化 数据可视化是指对你的数据要通过可视化的图表进行数据的呈现，可以是EXCEL的形式，可以是数据仪表盘的形式，但是不管是什么形式，都要把数据做出可视化，这样才可以更好的进行数据的分析
小勤：大海，为什么我这两个简单的表建立数据关系有问题啊？ 大海：啊？出什么问题了？...小勤：你看，我先将表添加到数据模型，这是订单明细表的： 用同样的方法将产品表也添加到数据模型，然后创建表间关系，结果出错了！ 大海：你的产品表里的产品名称重复了。 小勤：啊？...大海：那你能保证用vlookup查到的结果是你想要的吗？ 小勤：啊，也对，vlookup都是返回最先找到的一个，这可能是错的。 大海：所以说，仔细想想，这种逻辑是不能成立的。...小勤：啊，知道了，看来我还是得把订单明细表里的产品ID放出来，不然做出来的数据分析都是不对的。 大海：很棒，这么快就想到产品ID的问题了。...小勤：你上次《表间关系一线牵，何须匹配重复拼数据》的文章里不是有提醒吗？只是我没想到我的数据那么快就存在这种情况。 大海：呵呵，名称重复的情况太正常了，所以尽可能都用ID编码。
一直想要做一个可以动态更新的课程表。 点击左边的班级，就显示出这个班级的一周课表，而且还统计出班级学科和教师信息。...- 分析 - 左边的切片器，控制中间和右边的表格，数据动态更新。 右边的表格，就是普通的数据透视表，这一步很好解决。...中间的表格，有两个问题： 一是在数据透视表的值区域显示文本，内容随切片器动态更新； 一是有一个标准的格式，“午间休息”把表格上下拆开了。...- 任务2 - 将数据透视表转换为公式 第一步：选中数据透视表，在”OLAP工具“中选择“转换为公式”。 第二步：移动表格的位置，设置表格格式。...最后，右边插入数据透视表，设置切片器的”报表连接“。 实验成功，成就满满。 哈哈，以后各种文字也可以在表格任意摆放，动态更新了。
0.11.0、Python 2.7 数据集介绍 ---- 如果我们要训练自己的数据集的话,就需要先建立图像列表文件,下面的代码是Myreader.py读取图像数据集的一部分,从这些代码中可以看出,图像列表中...VGG神经网络,跟上一篇文章用到的VGG又有一点不同,这里可以看到conv_with_batchnorm=False，我是把BN关闭了，这是因为启用BN层的同时，也会使用Dropout层，因为数据集比较小...如果数据集大的话，就可以不用这样处理。...训练数据:这次的训练数据是我们自定义的数据集....,在每个pass之后保存一下参数和测试一下测试数据集的预测准确率.
作者：秦广飞 爱可生 DBA 团队成员，负责项目日常问题处理及公司平台问题排查，对数据库有兴趣，对技术有想法。一入 IT 深似海，从此节操是路人。...问题背景 我司某客户最近在检查一批新安装的 MySQL 数据库时，发现了下面的现象： 该批次的 MySQL 客户端字符集全部为 latin1 ； 而之前使用同样参数模板部署的 MySQL ，客户端字符集却为...utf8 ; 已知 MySQL 版本为 5.7.32 ，服务器操作系统为 Redhat 7 ，那么为什么两次安装的 MySQL 字符集会不一样呢？...字符集介绍 首先我们简单回顾下 MySQL 字符集的相关知识，MySQL 字符集大体可以分为下面两个方面： Server 级别字符集 Server 级别的字符集，即数据存储到数据库时使用的字符集，又可以细化分为库级别...级别字符集 Client 级别的字符集，即客户端连接进数据库时使用的字符集，分别由下面几个参数控制： ● character_set_client ：Server 认为 Client 发送过来的请求是用该参数进行编码的
libmdbx 是一个超级快的嵌入式数据库。 crates.io/crates/mdbx 是我对libmdbx的rust包装。 支持存储自定义rust类型。支持多线程访问。...可以一个模块中用 lazy_static 定义好数据库，然后用简单引入并使用，比如 use db::User; let id = 1234; let user = r!...(User.get id); 点此浏览文档了解更多 顺便安利一下我的这个vuepress博客，可以实现多国语言自动翻译，大家发布开源文档可以用
作者：秦广飞 爱可生 DBA 团队成员，负责项目日常问题处理及公司平台问题排查，对数据库有兴趣，对技术有想法。一入 IT 深似海，从此节操是路人。...问题背景 我司某客户最近在检查一批新安装的 MySQL 数据库时，发现了下面的现象： 该批次的 MySQL 客户端字符集全部为 Latin1 ； 而之前使用同样参数模板部署的 MySQL ，客户端字符集却为...utf8 ; 已知 MySQL 版本为 5.7.32 ，服务器操作系统为 Redhat 7 ，那么为什么两次安装的 MySQL 字符集会不一样呢？...，即数据存储到数据库时使用的字符集，又可以细化分为库级别、表级别和字段级别； 一般来说，如果建库建表时没有特别指定，那么就会使用 Server 级别的字符集； Server 级别的字符集可以使用 character_set_server...参数指定； Client 级别字符集 Client 级别的字符集，即客户端连接进数据库时使用的字符集，分别由下面几个参数控制： character_set_client：Server认为Client发送过来的请求是用该参数进行编码的
我的口令是我的隐私，这个数据，它是我的！ It is mine! 它不属于服务提供方。...但试想，作为服务提供方，我们对用户口令的保护真的到位了吗？...（3）很典型的一个场景，拿已泄漏的口令逐个去猜。你的应用能够防住吗？也许防住了批量的(用户:密码)对的不断尝试，但你见过还有人拿固定的弱口令去撞用户名的场景吗？...5.如果已经采取了足够的保护措施，在注册和修改密码界面中的密码字段旁，动态展示用户输入的密码强度，以提醒用户； 6.至少为认证过程相关的页面启用https加密传输通道，或者对口令数据在客户端先加密然后再传输的方式...当然，也有一些先在客户端作一些预处理以改善安全性的做法，但无论客户端是如何处理的，口令字段在服务器侧写入数据库之前都需要至少有一次HASH动作。
然后再学一下SNPRelate的用法： 说明书还比较好读：http://corearray.sourceforge.net/tutorials/SNPRelate/ 只有一个核心函数，就是用snpgdsPCA...来对包含了GDS格式的基因型信息的文件做分析！...factor(pop)),xlab="PC 2", ylab="PC 1")legend("topleft", legend=levels(factor(pop)), pch="o", col=1:4) 我就基于前面对千人基因组计划数据的探索来使用这个包...： 根据我对这个包的学习，目前我只有我挑选的snp位点的dbSNP的ID，并没有保留它们的染色体坐标以及突变形式，我需要重新再写个程序，支持直接去dbSNP数据库里面搜索即可。...人种太多了，上色就很麻烦，我也懒得把我自己的基因型放进去了，比较千人基因组计划的分析结果挺好的。 这个hapmap首先基因型就是通过芯片得到的，准确性没有千人基因组计划的测序数据好。
在进行决策制定过程中，那些能够熟练地运用技术和管理实践，并且把算法驱动的决策作为业务核心的公司，往往能获得最大的商业回报。...那些有机组合在一起的团队成员们能够熟练运用知识、技能、经验，用更短的时间，创造更好的模型， 模型部署与评估的割裂 运作良好的数据科学团队，在工作中会有持续迭代的周期（从研究到产出的循环迭代），以及对模型效果的衡量...并且，当一个模型被使用后，也没有与之对应的商业效果的分析。这会导致模型没法根据商业效果迭代更新，给公司造成损失。...数据科学家会在一个月内使用多达3-5种不同的工具包，并时刻追赶最前沿的技术。仅在2017年，基于流行的开源程序语言Python 的软件包，就多达36万5千次更新！...为了评估和使用数据科学带来商业价值，公司必须构建一套围绕员工、技术、工作流程的连续有效的框架。那些把时间和精力放在这个框架上，并且把数据科学作为核心竞争力的公司，能够最终收获商业回报。
作者: Admond Lee 编译: Mika 本文为 CDA 数据分析师原创作品，转载需授权 在深入探讨这个问题前，让我们退后一步，先试着回答另一个问题：为什么要成为数据科学家？...最近IBM预计，到2020年数据科学家的市场需求将飙升28％。 这些吸引人的就业前景也让许多人投入数据科学的领域。 那么你肯定会想知道：为什么我要拒绝一份数据科学家的工作呢？...申请数据科学家工作 几个月前，我向好几家公司投了简历，希望获得一份数据科学家的工作。...当然，数据可视化是任何数据科学过程中的一个重要部分，但是这个工作性质并不是我所想做的事情。...在新西兰玩耍 对我来说，职位名称是暂时的，但工作性质，这才是真正让我感兴趣并带来挑战性的，而且还能让我在工作中收获宝贵的技能和经验，这才是最重要的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
对象存储
云直播
