,所以这就是一个比较好的资源库,有大量的喜欢分享的朋友在上面,所以这就是我的目标。...今天的主题是长亭的 wiki,也就是 wiki.ioin.in。 获取 wiki 平台上所有的文章链接 这个工作肯定不是通过纯手工可以搞定的,必须使用工具,那么自己写工具吗?...保存完之后,就可以用我们的 emeditor,这个编辑器是我最喜欢的,功能很强大,把所有短链接提取出来,如下图: ?...分析获取的链接数据 拿到结果之后,我们要把这里面涉及的网站做个统计,看看哪些网站出现的次数最多,发布的文章最多,这里可以使用 linux 下的两个命令:sort 、 uniq。...下面就可以看小伙伴的博客,如果内容比较好的,我就联系大家了。
从我一年编程生涯中得到的经验教训 一年前,我还是一个新鲜出炉刚毕业的学生,刚开始我在Rocketrip的工作。经过一年的时间,我学到了很多东西。...我常常在想,要是我能早点知道这些针对应届毕业生的技巧,那么我从学生到员工的转变道路将会顺畅得多。 ? ps:顺序先后没有特定含义 1.对工作的激情能大大提升你的工作质量。...3.95%的电子邮件没必要立即回应。这个比例可能有待商榷,但我想说明的是需要立即响应的电子邮件数量是非常少的。匆匆忙忙回复每一个进来的电子邮件,其成本会很高。你可以设置你的手机至半小时后提醒。...我赞同要将大部分的生产时间用于工作,但我也认为应该做一些自己的业余项目。博客、项目、等等,都可以。 10.不断学习。自学一些你认为需要和感兴趣的东西。 11.为待做事件列一个清单。...除非你的头脑异常清晰,否则你很容易忘记你负责的任务。
【05期】我的数据心经:从数据到智能 更新时间20170204 个人体会:单一的数据是完全没有意义的,只有在特定的背景下,才变成信息;对信息进行挖掘,发现其中的规律,成为了知识...,然后对真实世界中的事件做出决策和预测; 深度学习是一种实现机器学习的技术,如神经网络算法等。...另一个重要原因是在互联网推动下,人类信息化程度得到长足提升,数据纬度和数量剧增,语音和图像识别技术也逐渐成熟。未来,机器将拥护很高的智慧,这是必然趋势。...个人体会:数据分析是个累活,数据分析师在企业中的价值远未被开发和使用,累但未体现价值,是大部分数据分析师的感受。...在大数据趋势下,数据分析师会发挥更大的作用,数据化运营与运营数据,促使其自身价值被得到认可。但这个过程是漫长的,无信仰,不数据,需要坚持。
记得大二的时候,我便开始学用matlab,然后玩弄SVM,神经网络之类的机器学习算法做一些分析和实验。现在想想那时候可能连这些算法的基本概念都不是很清晰,算是皮毛都不懂。...然而,数据挖掘是门交叉学科,涉及的内容很多,而且还需要理论联系实际,要掌握起来其实是非常困难的。我曾经非常幼稚地认为,数据挖掘无所不能,适用于各行各业,却忽视了数据挖掘非常难以掌握的一面。...我还在 saslist 上建立起了博客,分享了一些学习心得,还有找实习的一些经历。而我对 sas 的学习经历,也就集中在 10 年的下半年这段时间了。...从题目和赞助方(世纪佳缘网)来看,这是一个典型的Web数据挖掘如何做用户推荐的案例。...金融行业的话,可以多关注一下人大经 济论坛等;我当初投过一家叫discover的上海公司,好像是从大摩分出来的,专做信用卡这一块的,面试的时候如果懂sas还是有加分的,当然外企可能更注重是你这个人本身的一些基本素质
记得大二的时候,我便开始学用matlab,然后玩弄SVM,对神经网络之类的机器学习算法做一些分析和实验。现在想想那时候可能连这些算法的基本概念都不是很清晰,算是皮毛都不懂。...然而,数据挖掘是门交叉学科,涉及的内容很多,而且还需要理论联系实际,要 掌握起来其实是非常困难的。我曾经非常幼稚地认为,数据挖掘无所不能,适用于各行各业,却忽视了数据挖掘非常难以掌握的一面。...我还在 saslist 上建立起了博客,分享了一些学习心得,还有找实习的一些经历。而我对 sas 的学习经历,也就集中在2010年的下半年这段时间了。...从题目和赞助方(世纪佳缘网)来看,这是一个典型的Web数据挖掘如何做用户推荐的案例。...金融行业的话,可以多关注一下人大经济论坛等;我当初投过一家叫discover的上海公司,好像是从大摩分出来的,专做信用卡这一块的,面试的时候如果懂sas还是有加分的,当然外企可能更注重是你这个人本身的一些基本素质
图:深度学习加速器(DLA)架构框图 DLA硬件包含以下组件: 卷积核心–优化的高性能卷积引擎。 单数据处理器–用于激活功能的单点查找引擎。 平面数据处理器–用于池化的平面平均引擎。...通道数据处理器–用于高级归一化功能的多通道平均引擎。 专用内存和数据整形引擎–用于张量整形和复制操作的内存到内存转换加速。...开发人员可以使用TensorRT 对DLA引擎进行编程,以在网络上执行推理,包括对AlexNet,GoogleNet和ResNet-50的支持。...用于构建的尺寸必须在运行时使用。 DLA支持的最大权重大小为512 MB。 DLA网络最多只能支持1 GB的中间张量数据。作为DLA图的输入和输出的张量不计入此限制。...例如,如果输入尺寸为 NPQRS,有效的批量大小是 N * P。 一般情况,要使用DLA,是通过对TensorRT的使用。
由大类兴趣到细分属性 -普通APP:请选择爱好:看剧、音乐、二次元… -00后:看英剧的我要怎么和看韩剧的人聊?身为JK娘的我怎么和lo圈的人交朋友?...然而新兴的颜值社交应用则更加“硬核”。单纯一张图看脸怎么能够?如何满足手控、锁骨控、腿控的需求?这些应用在设计上更加鼓励用户去上传多张图片,全方位的展示自己。...从自我评价到他人视角 -普通社交软件:请填写自己的用户资料。 -00后:和我聊过的人都知道,我是固聊,点赞狂魔,话痨不粘人,小姐姐眼熟我一下。 “自我”是形成于周围人的头脑中,然后再交付给本人的。...第一,利用从众心理,别人有的信息我也要有。在用户查看其他人的人设项时,设计上可提供一个快捷设置自己人设的入口。第二,满足虚荣心,告知用户优质人设会带来更好的社交成就。...根据用户好友的行为,以及和他有同样行为的其他用户的数据,协同预测用户的人设特征。运用此方式时需注意隐私问题,不妨给用户选择是否使用这种预填写方式的权利。
突发事件,应用上传的数据被程序自动删掉了,可悲的是还没有数据备份,数据是放在系统的 /data/webapps/xxxx/upload 目录下面,可把我们急坏了,之前又没有做过数据恢复的测试,然后我找到了一款数据恢复的软件...,成功把删除的大部分数据找回来了,我的数据恢复过程如下。...2、源码编译安装 删除数据查找 因为我的数据路径比较深,所以我们需要一步步查找,可以先从根分区 inode 查找 我们会看到 weapps 目录的inode, 我们看到项目的 inode, 我们找到了最终删除数据的目录...恢复全部数据可以使用命令 使用方法 extundelete --help 其中,参数(options)有: --version, -[vV],显示软件版本号。 --help,显示软件帮助信息。...-j journal,表示从已经命名的文件中读取扩展日志。 -b blocknumber,表示使用之前备份的超级块来打开文件系统,一般用于查看现有超级块是不是当前所要的文件。
安装pyspark包pip install pyspark由于官方省略的步骤还是相当多的,我简单写了一下我的成功演示示例。...\opt\spark-3.5.0-bin-hadoop3在Windows上使用winutils.exe的Spark在Windows上运行Apache Spark时,确保你已经下载了适用于Spark版本的...winutils.exe是一个用于在Windows环境下模拟类似POSIX的文件访问操作的工具,它使得Spark能够在Windows上使用Windows特有的服务和运行shell命令。...你可以从以下链接下载适用于你所使用的Spark版本的winutils.exe:https://github.com/kontext-tech/winutils/tree/master/hadoop-3.3.0...接着介绍了GraphFrames的安装和使用,包括创建图数据结构、计算节点的入度和出度,以及查找具有最大入度和出度的节点。
首先要下载并且得到人类基因组的外显子坐标记录文件 这里我用的参考基因组版本仍然是hg19,所以去CCDS数据库里面下载对应版本,并且格式化成BED文件。...8712751 874419 8745081 874654 8748391 876523 8766851 877515 8776301 877789 877867 从VCF...GATK best practice流程得到的SNP/INDEL记录的VCF文件都进行提取,用代码 wc -l *vcf简单统计一下提取的效果,如下: 1042 hg19_exon.indel.vcf...dbSNP数据库记录的mutation还有多少: cat hg19_exon.snp.vcf |grep -v "^#" |cut -f 3 |grep '\.'...|wc 仍然有2315个SNV在外显子区域,却没有被dbSNP数据库记录,可能是我的家族特异性的位点,属于正常的基因型多样性,也有极小的可能性这些位点是后发突变,也就是通常癌症研究领域的somatic
可以使用'any'关键字表示所有网络接口。 -n:对地址以数字方式显式,否则显式为主机名,也就是说-n选项不做主机名解析。 -nn:除了-n的作用外,还把端口显示为数值,否则显示端口服务名。...-F:从文件中读取抓包的表达式。若使用该选项,则命令行中给定的其他表达式都将失效。 -w:将抓包数据输出到文件中而不是标准输出。...-r:从给定的数据包文件中读取数据。使用"-"表示从标准输入中读取。...192.168.99.128 # 捕获某段网络内的数据包 tcpdump net 192.168.99.0/24 # 捕获主机99.128与99.129或者和99.130通信的数据包 tcpdump...22 and host hostname # 对本机的udp 123端口进行监视(123为ntp的服务端口) tcpdump udp port 123 # 监视指定网络的数据包,如本机与192.168网段通信的数据包
由于有效信息要通过一定的编码才能形成码元(如1000M以太网使用8b/10b编码,编码率为0.8),因此,码元速率还需要乘以编码率,才是每个码元的有效信息量。...802.11ac与802.11n最大的区别是,802.11ac引入了5GHz频率,频宽为80MHz,划分为250个子载波,其中16个用于信道监控,其他234个用于传输数据。...当802.11ac使用2x2,3x3,4x4 MIMO的时候,数据传输速率可以达到867M,1300M和1733Mbps。...由于802.11ac只使用5GHz频段,而2.4GHz依然可以给802.11n使用,一般地,802.11ac的WLAN AP都同时支持802.11n。...这样一来—— 我们注意到,802.11ac采用了256QAM调制,那么,如果将这种调制方式应用到802.11n上呢? 这种技术叫做TurboQAM。
那时的经历很有意思,你在 Oracle 和 MariaDB 上都使用 PL/ SQL ,并为此头痛不已。你只能自行猜测哪个是旧系统,哪个是光芒万丈的新系统。...我不是指从源数据字段到目标数据字段的对应错误,而是指字段对应没问题,但目标字段类型不对。由于数据 的 敏感 性 ,我们研究解决方案时接触不到真实数据。...所以在这里我要强调的是,如果你要构建一个系统的新版本,请确保新的数据库字段的类型和格式都能匹配源数据。我们不能截断地址或电话号码,尤其是当我们系统需要这些信息时。...我们不得不这么做,因为我们不想在我们的职责范围之外制造数据。但是,我认为我们做的太多了。我们应该把 底线控制 在“请您自行创建测试数据”上。...总 结 我将在余生中继续学习从旧项目获得的经验教训。我甚至会重温这篇博客文章来确保我不会忘记这些经验教训,因为它们在我下次进行数据迁移时还是非常有用的。
标题容易挨打,点进来的大哥大嫂先消消气,容我说下Python能做游戏后端的理由。...在上一篇事件驱动中介绍过:对于不需要同步处理的多任务,我们可以使用事件驱动。...它代表网络中两个通信结点之间的连接。Transports负责描述连接的细节,比如连接是面向流式的还是面向数据报的,流控以及可靠性,比如TCP、UDP和Unix套接字。...对应方法如下: write 以非阻塞的方式按顺序依次将数据写到物理连接上 writeSequence 将一个字符串列表写到物理连接上 loseConnection 将所有挂起的数据写入,然后关闭连接...getPeer 取得连接中对端的地址信息 getHost 取得连接中本端的地址信息 Protocols描述了如何以异步的方式处理网络中的事件。
———献给看着Kobe打球长大的所有人 在2011年的时候,一位球迷为科比设计了一款T恤,样式上并无特别之处,文字上却打动人心,设计者在T恤上写道:“那些现在恨我的人,当我离开的时候,会想念我的。”...时间飞驰,转眼间飞侠真的要说再见了…… 从1996年进入NBA,到如今已是飞侠的第20个赛季,由于近两年重大伤病,科比的状态下滑很快,本赛季他出场12次,场均上场30.8分钟,贡献15.7分、4.1个篮板...技术说明: R语言抓取数据,数据来源:http://stats.nba.com/ 数据的简单分析 一、抓取Kobe数据并对原始数据进行处理 利用R语言抓取科比职业生涯20个赛季的数据,并对初始数据作处理...3、聚类分析 首先,了解的朋友知道,科比职业生涯的前两个赛季是比较惨淡的,除了在97年新秀赛季夺得扣篮赛冠军外,并未有太多释放光芒的地方;不过此后,星光开始绽放,截止12-13赛季,基本上都处于巨星状态...其它分类,感兴趣的童鞋可以去自己探索,这里时间有限就不再继续了!想要数据的童鞋,可以加笔者微信(lhf_Peter)索要! 最后:你巅峰时我慕名而来,你落寞时我无法转身离开! 送给Kobe…
这个故事是根据第 n (n≤3) 手经验编造的,侧重于团队和组织,而非技术本身。为了表示准确,我特意使用了“数据科学家”这一术语来代表非常宽泛的概念。...这是一支只有三个人的小团队,但你得到的消息是在年底前将其扩大到 10 人。你的团队成员显然为你的到来而激动。他们向你介绍了迄今为止所建立的一切。这里有你之前见过的用于预测流失率的神经网络。...我有一整张电子表格,里面都是我渴望得到答案的问题。” 你看一下电子表格,就会发现如下内容:提交支持请求并在 1 小时内得到解决的客户转化率和 1 小时之外得到解决的客户转化率分别是多少?...这基本上是很多公司在数据成熟的早期阶段可能发生的事情: 缺乏数据,数据碎片化。 该产品的仪表化非常糟糕,所以数据通常一开始就没有。 数据系统碎片化,并且数据分布在许多不同的系统中。...它之前被卡住了,因为产品工程团队不能评估工作,也不想承诺,数据团队又没有实际的软件技能,不能将其带到生产业务中。 数据团队更深入地解决了这个问题,真正建立了演示。
推迟了一个月的高考终于来了,作为一个已经考完N年的人,说句实话,我比你们还激动! 因为我知道,它来的太不容易了。...因此,就需要使用专业的数据分析工具,比如BI工具,大数据时代的来临,只有它,能够既满足业务人员海量实时数据分析,也能满足决策层对于业务的分析指导。...这就是我要说的了,FineBI的数据可视化可谓一流,无论是图表的多样性,还是整体的视觉效果,这才是管理者想看见的。 接下来就要用FineBI对上面列出的需求点进行数据分析,往下看!...1、男女的总体成绩对比 无论文科还是理科,女生平均高考成绩都比男生高出一截,这似乎与我们的想象有着巨大的差距,不是说男生适合学理科吗?怎么从数据来看不是这样?...数据时代并不是淘汰传统行业,而是逼着传统行业的数字化转型。所以,不能因为数字时代而放弃传统行业,传统行业的重塑主要依靠这些行业的新人,而不是“数据专业”的人。
所以今天打算从产品经理的能力模型入手,跟大家聊聊产品经理应该具备哪些技能,一方面希望为转行的朋友带来帮助,另一方面也供我自己查漏补缺,如有补充,望大家不吝赐教。...那么,你需要在这幅漫画中,总结伪需求的本质: 往往用户提出来的想法或建议往往都是经过了自己的包装,主观性较强,而你作为产品经理,需要了解用户的使用场景,从而才能挖掘出用户最真实的需求。...当你将伪需求从需求池中剔除后,接下来就进入到了需求整理阶段。 根据产品生命周期阶段,我通常用kano模型来判断需求的优先级。...比如,以上是我临摹盒马鲜生App画的原型,共计临摹了20页左右的页面,画完后不仅工具使用更加熟练,而且还帮我系统地梳理了电商类产品的业务逻辑及交互页面,对我后期的工作开展很有帮助。...二、 软实力 自我管理、情绪管理、学习能力、沟通能力、逻辑能力,这可以说是产品经理老生常谈的必备软实力了。 俗话说,产品经理是公司的小CEO,这也从侧面说明了产品经理这个岗位对于公司和项目的重要性。
可以看到 第一次 请求的数据效果非常差!99% 的请求要 2552 ms,这可能就是没 预热JVM 的情况。...,这 网络抖动 还有点大,不知道怎的,这个 max 突然就卡到 3024 ms 去,严重降低了这个 吞吐量。...上文也提到过,最大的问题应该是 网络开销,毕竟还是用了 MQ 异步下单 ,内存标记,Redis 预扣库存 等手段去优化。...现在都部署到 k8s 上,RabbitMQ,Redis,MySQL 都在上面,就不会有这么大的网路开销了。接下来怎么优化呢?...难道是因为我这是 假的集群(都在 minikube 节点上)结果查看容器日志时,发现居然有错把日志下载到本地发现,原来是这个 ID 重复了……之前偷个懒,直接用 hutool 工具生成了,现在变成集群也不好修改呀
不过毕竟门槛还是比较低的,对于想转型的同学,业务型数据分析师会更加友好一些 明确了转型方向后,对于从零转型的同学来说,会有两个比较迫切的问题,我该从什么地方下手和我简历上啥都没有怎么办。...上,我个人是几乎没花什么时间在excel上,主要的是要掌握vlookup、透视表和一些常用图表,不会的函数就直接百度。...基于这个假设,我设计了一个 信用卡使用额度 / 工资的特征,经过可视化发现,确实是这个比值越大,用户违约的风险就会越高,把这个特征放到模型里面,我的模型分数有了显著的提高。...kaggle的优势不仅在于比赛众多,更重要的是里面会有很多选手分享他们的思路和代码,是分享做的最好的一个平台,我的python和数据挖掘基本就是从kaggle练起来的。 2....对于分析思维的学习,我建议新人也是从读书开始,我看过的且比较推荐的书包括: 数据分析类: 《精益数据分析》、《增长黑客》、《数据化管理:洞悉零售及电子商务运营》、《数据挖掘与数据化运营实战 思路、方法
领取专属 10元无门槛券
手把手带您无忧上云