上一篇文章 《漫谈socket-io的基本原理》 用了现实非常浅显的例子,尽可能地阐释非阻塞、阻塞、多线程、多路复用poll和 epoll 背后演进的整体思考脉络,将有助于读者从宏观的角度把握住socket-io的本质。 本文将聚焦在JDK socket-io 的多路复用 poll/epoll 的实现原理,可能比较枯燥复杂,为了降低理解成本,作者尽可能循序渐进,控制每个步骤的信息量。
从今天起,量化投资与机器学习公众号将为大家带来一个系列的 Deep Learning 原创研究。本次深度学习系列的撰稿人为 张泽旺 。希望大家有所收获,共同进步! 漫谈RNN之基本概念 RNN是一个图灵完全的模型,便意味着只要设计好RNN的外部存储机制,RNN模型的应用之广泛将远超我们的想象。为了更好地了解时序模型,从这期开始谈谈以RNN为核心的可扩展时序模型的研究状况及应用。 在神经网络模型中,一般分为非时序模型和时序模型,对于非时序模型而言,其应用场景有单一手写字识别、图像物体分类等等,最基本的模型是
在《漫谈软件缺陷管理的实践》一文中,文章介绍了缺陷管理落地到实际工作中的一种形式。本文将分享其呈现效果的自动化实践方案。
该系列会逐步更新于我的博客和公众号(博客见文章底部),也希望各位观众老爷能够关注我的个人公众号:后端技术漫谈,不会错过精彩好看的文章。
推送第二日,量化投资与机器学习公众号将为大家带来一个系列的 Deep Learning 原创研究。本次深度学习系列的撰稿人为 张泽旺 ,DM-Master,目前在研究自动语音识别系统。希望大家有所收获
大多数情况下,我们会在打印日志时定义日志的LOGGER级别,用来控制输出的信息范围。
首先,Redis 是跑在单线程中的,所有的操作都是按照顺序线性执行的,但是由于读写操作等待用户输入或输出都是阻塞的,所以 I/O 操作在一般情况下往往不能直接返回,这会导致某一文件的 I/O 阻塞导致整个进程无法对其它客户提供服务,而 I/O 多路复用就是为了解决这个问题而出现的。
随着互联网技术的高速发展,以往单应用的服务架构已经很难处理如山洪般增长的信息数据,随着云计算技术的大规模应用,以微服务、RESTful 为代表的各种软件架构广泛应用,跨团队、跨编程语言的大规模分布式系统也越来越多。相对而言,现在要理解系统行为,追踪诊断性能问题会复杂得多。
Native Client是Google在浏览器领域推出的一个开源技术,它允许在浏览器内编译Web应用程序,并执行原生的编译好的代码。Native Client有以下几个优势(参考Google官方英文介绍): 为Web提供更多的图形,音频以及其他功能:可以直接在web上执行了原生的2D,3D图形渲染程序(对Web游戏很有用),播放音视频,响应鼠标键盘事件,多线程执行代码等等,而这一切,不需要浏览器安装任何插件。 良好的可移植性:一个Web程序,只需要开发一份代码,即可以在所有平台(包括Windows,li
在充满变革与挑战的2023年里,我们见证了无数令人振奋的技术成果和创新思维的诞生。在过去的一年间,AI技术与行业的深度结合,带来了生产力上的巨变。如何利用好 AI 工具的能力,为自己的工作与生活提效,成了很多人思考的重心;C++技术委员会批准了一个名为 C++23 的新标准,对语言和标准库进行了多方面的改进,进一步增强了 C++ 的功能和易用性....相信你的技术征途上,也有了很多新的里程碑与故事。肉与酒已备好,2023年最后一期技术话题征文赛等你开聊。
选自Google Research Blog 作者:Praveen Paritosh等 机器之心编译 参与:蒋思源 近日,谷歌官方研究博客发布了一个开源数据集,该数据集包含10万多条经标注的在线讨论语料,是迄今为止最大的在线讨论标注数据集。该数据集的构建者希望其能进一步推动机器学习和自然语言处理研究的进步。 项目地址:https://github.com/google-research-datasets/coarse-discourse 论文地址:https://research.google.com/pu
以太坊源码分析---go-ethereum之MPT(Merkle-Patricia Trie)
推送第四日,量化投资与机器学习公众号将为大家带来一个系列的 Deep Learning 原创研究。本次深度学习系列的撰稿人为 张泽旺 ,DM-Master,目前在研究自动语音识别系统。希望大家有所收获,共同进步! 漫谈RNN之序列建模(机器翻译篇) 1.原理概述 序列学习其实是深度学习中的一个应用非常广泛的概念,例如语音识别、语言建模、机器翻译、机器作曲、机器写稿、自动对话、QA系统等都属于序列学习的领域,今天讲讲解如何运用序列建模的思想来构建一个端对端的机器翻译系统。 序列建模,顾名思义,处理的
我们先从XML各种解析技术的发展历程谈起,并介绍一些主流 O/X Mapping组件的使用方法,比如XStream、Castor、JiBX、JAXB等。
政务是个大市场,阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士,研发总监,他会写一系列文章来阐述政务云全景。 前面九篇分别深入阐述: 政务大数据点本质:《 浅谈政务大数据的本质》 政务大数据的全景图:《政务大数据的全景图》 政务大数据的上下文范围:《政务大数据的上下文范围》 政务大数据的概念模型:《政务大数据的概念模型》 政务大数据的逻辑模型:《政务大数据的逻辑模型》 政务大数据的物理模型:《政务大数据的物理模型》 政务大数据的部署结构:《政务大数据的部署结构》
时间很快,不知不觉漫谈模式系列已经将设计模式-创建型篇写完。本文主要来简单回顾一下之前写的一些内容。
时间很快,不知不觉漫谈模式系列已经将设计模式-结构型篇写完。本文主要来简单回顾一下之前写的一些内容。
作为测试工程师,我们为保障软件项目的质量付出了很多精力。但是,由于我们的工作内容所限制,相对于其他项目角色,我们在项目中很难输出比较直观的成果。又因为工作成果不明显,测试工程师容易被某些团队成员误解为工作量不大或者工作价值低的一种角色。那我们应该如何汇报自己的工作内容,才能突出自己在项目中的价值呢?
最近想起来学习java,看了下p神的java漫谈(十二),于是也跟着审了一下yso!cc6的链。
首先,大家可以理解为k8s已经解决一切了,我们spark,ray都跑在K8s上。但是,如果我们希望一个spark 是实例多进程跑的时候,我们并不希望是像传统的那种方式,所有的节点都跑在K8s上,而是将executor部分放到yarn cluster. 在我们的架构里,spark driver 是一个应用,我们可以启动多个pod从而获得多个spark driver实例,对外提供负载均衡,roll upgrade/restart 等功能。也就是k8s应该是面向应用的。但是复杂的计算,我们依然希望留给Yarn,尤其是还涉及到数据本地性,然计算和存储放到一起(yarn和HDFS通常是在一起的),避免k8s和HDFS有大量数据交换。
适配器模式是一种结构型模式,它允许接口不兼容的类能够一起工作,它通过创建一个中间适配器(Adapter)来实现这个功能。
一年多前,那时候我还在实习,正好上一个项目接近的尾声,紧随而来的就是一个大数据一体化的项目,包括了数据的采集、处理、计算、整合以及数据展示等。 而可视化这块,在前期就落在了我的头上,虽然这款开源的小工具最终没有作为大数据可视化的解决方案,但是这是一个自己完完整整,一步一个脚印写起来的,从中学到的东西自然不仅限于这款工具,还有查找资料的方法、解决问题的思路等等,总得来说都是一段不错的学习经历。 时隔一年多,我还是想着把代码开源出来: 一来是因为这是群友和一些网友的呼声; 二来是目前的工作与可视化方
我们知道现在深度学习在使用大型数据集掌握一项任务(检测,分类等)方面取得了巨大的成功,但这并不是真正我们追求的“人工智能”。具体来说,我们可能训练了一个能做物理题很高分的学生,但是他也只能做物理题而已,面对数学题他只能吞下零分的命运;其次,在面对新的任务(数学题)的时候,我们的学生仍然需要大量的数据(数学题)进行训练,而在学习物理的时候积累下的学习方法(先验知识)却基本帮不上忙。
由于前文《C/C++面向对象编程之封装》存在一些小错误或者难以理解的地方,Gorgon Meducer(傻孩子,PLOOC开源项目的作者)对此进行了修改和必要的补充,故将修正后的文章重新上传,若给大家带来不便请谅解。
在这周五我们举办了测开分享会第十一期的分享,现在就由芒果为大家整理这次分享会的知识。本次整理内容包含我们的V咖越女老师的分享内容,部分提问及回复,还有一部分小伙伴的讨论内容(关于提问与讨论环节语音比较多,由于篇幅原因,芒果这里没有像往常一样做整理,大家都可听语音版的)。想要提问或者观看完整问题解答的小伙伴,请积极参与到我们分享会中来,我们的分享会每两周就有一次哟~
Canal是开源的数据库Binlog日志解析框架,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。
时间很快,不知不觉漫谈模式系列已经将设计模式-行为型篇写完。本文主要来简单回顾一下之前写的一些内容。
前阵子业务上碰到了 DDOS 攻击,正好是 DNS 反射型的,之前只是听过,没自己处理过,仔细学习了一番之后做点记录。
☞ 03.OLAP引擎 [ Kylin Druid Presto Impala Kudu ADB ES .. ]
Docker和Snyk最近建立了合作伙伴关系,以提供容器漏洞扫描。这对您意味着什么?Snyk现在与Docker Hub集成在一起,可以扫描官方镜像。此外,Docker已将Snyk扫描直接集成到Docker Desktop客户端中。
然而搭建虽然简单,但是管理和推送文章却相对麻烦不少,在官方的教程里,我们需要经历繁琐的步骤才能发布一篇文章和修改个人空间界面。 使用 Gridea 在 Github Pages 上搭建静态博客
原文链接 本文首发于 InfoQ 旗下垂直社群聊聊架构(微信号 archtime)。
经过这些天的重新梳理,做了一个漫谈设计模式的系列。接下来,来简单聊聊如何设计模式。
写程序离不开运行时,但是有很多伙伴却并没有搞清楚运行时到底是什么。运行时的概念之所以容易被混淆,是因为运行时有两层不同的含义:run time 和 runtime,先贤们在翻译的时候可能忽略了中间的空格,导致运行时一词代表了两种含义:运行时期和运行环境/系统。
这本书原本是发表在InfoQ上的专栏文章,原名叫做《架构漫谈》,因为反响良好,所以编撰成书。全书没有涉及过多的具体技术,更像是一些随笔。
base64 编码可以将二进制数据转换为文本格式,并且能够在任何通信介质上传输数据。
翻译成中文大致意思:文件系统主要是管理数据存储以及数据如何检索的,而数据存储在磁盘或内存中。上期我们聊过了漫谈虚拟内存,本期我们就重点介绍磁盘中的机械磁盘的组成以及工作原理,然后引申到文件系统。
本系列文章来自云栖社区,对Flink的解析兼具广度和深度,适合对Flink有一定研究的同学学习。
在之前的2篇博文漫谈模式之单例模式(多种实现方式的思考)和漫谈模式之单例模式(破坏和防护的思考),已经讲解了单例的多种实现方式以及单例在反射、序列化反序列化以及克隆场景下的破坏和防护思考。本文也迎来了漫谈单例模式的最后篇章,如何写一个通用的单例?
最近我司已经放假过年了,在家里就不免会多逛一些“稀奇古怪”的网站,通过阮一峰的每周新闻,发现了一篇比较不错的英文文章。
在从图(Graph)到图卷积(Graph Convolution): 漫谈图神经网络 (一)中,我们简单介绍了基于循环图神经网络的两种重要模型,在本篇中,我们将着大量笔墨介绍图卷积神经网络中的卷积操作。接下来,我们将首先介绍一下图卷积神经网络的大概框架,借此说明它与基于循环的图神经网络的区别。接着,我们将从头开始为读者介绍卷积的基本概念,以及其在物理模型中的涵义。最后,我们将详细地介绍两种不同的卷积操作,分别为空域卷积和时域卷积,与其对应的经典模型。读者不需有任何信号处理方面的基础,傅里叶变换等概念都会在本文中详细介绍。
作为软件测试工程师,在求职面试中经常会被问到这样一个问题:你认为测试工程师在企业中扮演着什么样的角色呢?
在金融行业数字化转型的驱动下,国有银行、股份制银行和各级商业银行也纷纷步入容器化的进程。
Github之前更新了一个Action功能(应该是很久以前了),可以实现很多自动化操作。用来替代用户自己设置的自动化脚本(比如:钩子+Jenkins)。
阻塞与非阻塞主要是程序等待消息通知时的状态角度来说的。阻塞调用是指调用结果返回之前,当前线程会被挂起,一直处于等待消息通知,不能够执行其他业务。
“破窗理论”,DRY(Don't repeat yourself),曳光弹,正交性,这些词的意思是什么你还记得么?
领取专属 10元无门槛券
手把手带您无忧上云