swoole框架-swoft初体验 没有swoole之前,php一直被"誉“为世界上最好的语言。swoole横空出世后,php就成了宇宙最好的语言了... ___) \ V V / (_) | _| |_ |____/ \_/\_/ \___/|_| \__| swoft: 1.0.0, php: 7.1.19, swoole: 4.0.3 体验 http服务 由于swoft的websocket服务是基于http服务的,所以只需开启ws服务: ☁ swoft [master] ⚡ sudo php bin/swoft ws:start ? 路由 体验ws服务 首先开启swoft自带的开发工具,具体操作参考 DevTool 配置 访问 http://127.0.0.1/__devtool/ws/test ? devtool 在ws提供的文本域可以调试ws服务: ?
图计算之 nebula-plato [图计算 on nLive:Nebula 的图计算实践] nebula-plato 的分享主要由图计算系统概述、Gemini 图计算系统介绍、Plato 图计算系统介绍以及 图计算系统 图的划分 [图计算 on nLive:Nebula 的图计算实践] 图计算系统概述部分,着重讲解下图的划分、分片、存储方式等内容。 [图计算 on nLive:Nebula 的图计算实践] (图:以顶点为中心的编程模型) [图计算 on nLive:Nebula 的图计算实践] (图:以边为中心的编程模型) 这两种模式以顶点为中心的编程模型比较常见 Gemini 图计算系统 Gemini 图计算系统是以计算为中心的分布式图计算系统,这里主要说下它的特点: CSR/CSC 稀疏图/稠密图 push/pull master/mirror 计算/通信 协同工作 Nebula 图计算 [图计算 on nLive:Nebula 的图计算实践] 目前 Nebula 图计算集成了两种不同图计算框架,共有 2 款产品:nebula-algorithm 和 nebula-plato
精美礼品等你拿!
Pytorch底层最核心的概念是张量,动态计算图以及自动微分。 本节我们将介绍 Pytorch的动态计算图。 包括: 动态计算图简介 计算图中的Function 计算图和反向传播 叶子节点和非叶子节点 计算图在TensorBoard中的可视化 一,动态计算图简介 ? Pytorch的计算图由节点和边组成,节点表示张量或者Function,边表示张量和Function之间的依赖关系。 Pytorch中的计算图是动态图。这里的动态主要有两重含义。 第一层含义是:计算图的正向传播是立即执行的。无需等待完整的计算图创建完毕,每条语句都会在计算图中动态添加节点和边,并立即执行正向传播得到计算结果。 第二层含义是:计算图在反向传播后立即销毁。 下次调用需要重新构建计算图。
早就听说ASP.NET Core 3.0中引入了gRPC的服务模板,正好趁着家里电脑刚做了新系统,然后装了VS2019的功夫来体验一把。同时记录体验的过程。 如果你也想按照本文的步骤体验的话,那你得先安装.NET Core3.0预览版的SDK。至于开发工具我用的时VS2019,当然你也可以使用VS Code进行。 ASP.NET Core 3.0上gRPC服务模板初体验 创建gRPC服务 打开VS2019 从 Visual Studio“文件”菜单中选择“新建” > “项目”。 说好的要创建gRPC服务模板的,所以,点击上面的创建后会弹出如下图所示,让你选择服务模板的窗口,这里按照下图所示选择gRPC服务模板,然后再次点击右下角的创建,才是真正的创建项目。 ? 该服务端将发送一条消息“Hello GreeterClient”作为响应,并显示在命令提示符中。如下图所示: ? 至此,gRPC服务模板创建的服务端以及客户端测试成功。
什么是微服务 在介绍微服务时,首先得先理解什么是微服务,顾名思义,微服务得从两个方面去理解,什么是"微"、什么是"服务", 微 狭义来讲就是体积小、单个服务的设计。 微服务,关键其实不仅仅是微服务本身,而是系统要提供一套基础的架构,这种架构使得微服务可以独立的部署、运行、升级,不仅如此,这个系统架构还让微服务与微服务之间在结构上“松耦合”,而在功能上则表现为一个统一的整体 微服务由来 微服务最早由Martin Fowler与James Lewis于2014年共同提出,微服务架构风格是一种使用一套小服务来开发单个应用的方式途径,每个服务运行在自己的进程中,并使用轻量级机制通信 云计算的发展更让资源的调控灵活性和部署速度都有所提高,微服务就是一项在云中部署应用和服务的技术。 [img] 微服务很适合用 Docker 容器实现,每个容器承载一个服务。一台计算机同时运行多个容器,从而就能很轻松地模拟出复杂的微服务架构。
有的,那就是我们需要说的计算图 计算图 我们借用「图」的结构就能很好的表示整个前向和后向的过程。形式如下 ? 我们再来看一个更具体的例子 ? (这幅图摘自Paddle教程。 白色是卷积核每次移动覆盖的区域,而蓝色区块,则是与权重W1经过计算的位置 可以看到W1分别和1, 2, 5, 6这四个数字进行计算 我们最后标准化一下 这就是权重W1对应的梯度,以此类推,我们可以得到 因此池化层需要将梯度传递到前面一层,而自身是不需要计算梯度优化参数。 静态图 在tf1时代,其运行机制是静态图,也就是「符号式编程」,tensorflow也是按照上面计算图的思想,把整个运算逻辑抽象成一张「数据流图」 ? 在静态图里我们可以优化到同一层级,乘法和加法同时做到 总结 这篇文章讲解了计算图的提出,框架内部常见算子的反向传播方法,以及动静态图的主要区别。
文章目录 计算图 PyTorch的动态图机制 计算图 计算图是用来描述运算的有向无环图 计算图有两个主要元素: 结点 Node 边 Edge 结点表示数据:如向量,矩阵,张量 边表示运算:如加减乘除卷积等 用计算图表示:y = (x+ w) * (w+1) a = x + w b = w + 1 y = a * b 计算图与梯度求导 y = (x+ w) * (w+1) a = x + w 计算图与梯度求导 y = (x+ w) * (w+1) 叶子结点 :用户创建的结点称为叶子结点,如 X 与 W is_leaf: 指示张量是否为叶子结点 叶子节点的作用是标志存储叶子节点的梯度,而清除在反向传播过程中的变量的梯度 根据计算图搭建方式,可将计算图分为动态图和静态图 动态图 运算与搭建同时进行 灵活 易调节 例如动态图 PyTorch: 静态 先搭建图, 后运算 高效 不灵活。 静态图 TensorFlow
图计算可以作为对图查询的一个补充,图查询是直接获取关联的信息,而图计算的目标则是计算出基于关联结构蕴藏在点边中的信息,而且,图计算结果本身可以再存储到图数据库中作为图查询的查询目标。 对于希望借力图计算提升业务效果的同行来说,重点要关注两个方面,首先是图计算的结果怎么用,其次是如何高效算出图计算的结果。 对于图计算能起到多大作用问题,难以一概而论。 鉴于图计算任务大都是计算和资源均密集型的,明确图计算对业务助力的效果应该优于图计算在计算效率上的提升。图计算算法可达数十种,每种有各自适用的场景。 值得注意的是,目前图计算对异构图的支持有限,针对异构图的计算优化与实际图数据的构图形式有较大的关联,因此难以有通用的图计算系统或算法,但实际业务中的图计算往往更关注异构图。 、使用体验而非图技术本身 参考文献 [1] Sahu, Siddhartha, et al.
计算图 谈及计算,有人可能又要为烦人的计算公式头疼了,所以本文用了一种思考数学表达式的轻松方法——计算图。以非常简单的e=(a+b)×(b+1)为例,从计算角度看它一共有3步操作:两次求和和一次乘积。 为了让大家对计算图有更清晰的理解,这里我们把它分开计算,并绘制图像。 我们可以把这个等式分成3个函数: ? 在计算图中,我们把每个函数连同输入变量一起放进节点中。 为了计算图中的偏导数,我们先来复习这两个求和规则和乘积规则: ? 已知a=2,b=1,那么相应的计算图就是: ? 通过分解路径,这个式子能更高效地计算总和,虽然长得和求和等式有一定差异,但对于每条边它确实只计算了一次。 前向模式求导从计算图的输入开始,到最后结束。 虽然你以前可能没想过从计算图的角度来进行理解,但这样一看,其实前向模式求导和我们刚开始学微积分时接触的内容差不多。 另一方面,反向模式求导则是从计算图的最后开始,到输入结束。
计算图表现为有向无环图,定义了数据的流转方式,数据的计算方式,以及各种计算之间的相互依赖关系等。 2 计算图的基本组成 TensorFlow的计算图粒度比较细,由节点和有向边组成(后来也加入了层)。相比之下,腾讯的开源机器学习平台Angel,其计算图的粒度较粗,由层(Layer)组成。 3 计算图的运行 TensorFlow中可以定义多个计算图,不同计算图上的张量和运算相互独立,因此每一个计算图都是一个独立的计算逻辑。 3.1 图的启动 启动计算图的第一步是创建一个会话(Session)对象,如果没有任何的创建参数,会话构造器将启动默认图。 一个Session可以运行多个计算图,一个计算图也可以在多个Session中运行。
Tensorflow底层最核心的概念是张量,计算图以及自动微分。 本篇我们介绍计算图。 有三种计算图的构建方式:静态计算图,动态计算图,以及Autograph. 在TensorFlow1.0时代,采用的是静态计算图,需要先使用TensorFlow的各种算子创建计算图,然后再开启一个会话Session,显式执行计算图。 二,静态计算图 在TensorFlow1.0中,使用静态计算图分两步,第一步定义计算图,第二部在会话中执行计算图。 TensorFlow1.0静态计算图范例 ? 在TensorFlow1.0中,使用静态计算图分两步,第一步定义计算图,第二部在会话中执行计算图。 而动态计算图已经不区分计算图的定义和执行了,而是定义后立即执行。 在TensorFlow1.0中,使用计算图分两步,第一步定义计算图,第二步在会话中执行计算图。
所有这些情况都会将您的计算图变成一个随机的 - 先前的确定性节点现在变成随机的。 如何通过这些节点进行反向传播并不明显。 在这个系列中,我想概述可能的方法。 考虑大致的推理目标: [图片] 或强化学习目标: [图片] 在下面,我将使用以下符号为目标: [图片] 在这种情况下,(随机)计算图(SCG)可以用下面的形式表示[1]: [图片] 这里的 θ,双圈是一组可调参数 为了使用这样的图来估计F(θ),你只需要用你的θ,计算x的分布,从中得到尽可能多的样本,为每个样本计算f(x),然后对它们进行平均。 我们如何最大限度地提高呢? 基本上,这个想法是这样的:如果一些随机变量可以被分解成其他随机变量的组合,那么我们能够转换我们的随机计算图,使得我们不需要通过随机反向传播,并且将随机性注入到模型中作为独立 噪声? [p3.png] Gen Rep 1是一个广义的重新参数化,只有第一时刻变成白色, Gen Rep 2 - 只有第二个 仿真图清楚地表明,基于分数函数的梯度和第一次广义的重新参数化不能收敛,这与我们的方差分析是一致的
本节介绍TensorFlow与创建计算图的几个函数: g = tf.Graph() #创建新的计算图g g.as_default() #将计算图g设置为当前使用的计算图 g0 = tf.get_default_graph () # 获取默认的计算图 tf.reset_default_graph() #清空默认的计算图 示范1: import tensorflow as tf # 初始化一个计算图对象g 示范2: import tensorflow as tf #获取默认的计算图对象句柄g0 g0 = tf.get_default_graph() #在g0中添加节点定义计算图 with g0.as_default 示范3: import tensorflow as tf #清空默认的计算图 tf.reset_default_graph() # 直接用Operator定义的节点将添加到默认计算图中 a = tf.constant 推荐使用示范1的方式定义计算图,不用每次都 tf.reset_default_graph()。
怎样有效的计算它们? 解决问题 1 需要了解张量求导 (第一节),解决问题 2 需要了解计算图(第二节)。要理解张量请参考《张量 101》。 本节只用两层神经网络来说明一些核心问题,比如正向传播、反向传播、计算图等等。 计算图就是将计算形式化图形的方法,由输入结点、输出结点、函数 (从输入到输出的) 三部分组成。 每个一节点来表示一个变量,可以是标量、向量、矩阵或张量。 计算图的实例如下: ? 上图中 x, w[1], b[1], w[2], b[2], y 是输入节点,l 是输出节点,它们都是标量。 计算图核心 ? 注意我把“中间梯度×局部梯度”该成 dot(中间梯度, 局部梯度),这个函数实际上是 numpy 里面张量点乘的操作。
一、日志服务概述 日志服务为用户提供云服务日志采集、搜索、转储、监控、告警等功能,同时支持通过图表的方式进行图表转化,给用户提供云服务日志采集、API上传、日志搜索、日志分析的功能,用户无需开发,即可完成数据采集处理等 二、操作体验 1、界面操作提供日志整体概览功能,在此页面可快速查看读写流量、索引流量以及存储量,同时支持查看资源统计、流量统计、存储量统计等数据信息,用户通过概览页面可快速查看到日志服务的使用量等信息; 2、支持快速接入服务的日志信息,可减少用户在多个页面的操作,界面更友好; 3、日志对接支持采用客户端loglistener的方式进行日志采集,安装方式比较便捷,安装后可实时采集日志信息,使用比较好的功能点就是在界面上可根据日志格式等信息进行自动分离 日志采集以后支持关键字快速查看日志信息以及使用SQL进行日志的聚合查询、支持设置日志的保存时间等; 7、支持下载日志进行分析; 8、同时支持对日志的关键字进行统计,在设定的时间内达到指定次数可出发告警通知,可实时掌握服务的运行状况 9、支持多种接入方式以及兼容多种日志格式,让服务对接变的更加容易; 10、支持将日志投递到对象存储中,可将日志长期进行保存,并源数据和对象存储中的数据异地存储,可提高可靠性,在源数据异常情况下,可通过对象存储的数据进行恢复查看
一、什么是服务卡片服务卡片(以下简称“卡片”)是FA的一种界面展示形式,将FA的重要信息或操作直接放置到卡片中,用户通过直接操作卡片就可以达到应用的使用体验,这样做大大减少了应用的使用层级性。 卡片常用于嵌入到其他应用中作为其界面的一部分显示(也可以使用原子化服务将应用保存到服务中心中,这种方式不需要安装应用),并支持拉起页面,发送消息等基础的交互功能。原子化服务在下个帖子中介绍。 卡片管理服务 用于管理系统中所添加卡片的常驻代理服务,包括卡片对象的管理与使用,以及卡片周期性刷新等。 第三步、添加卡片模板创建模板:右击“Entry”→“New”→“Server Widget”设置模板第四步、查看卡片服务配置项目目录由图可见:添加卡片模板后在原来项目中增加一个widget文件夹,并在文件夹中出现了三个文件 长按应用,出现服务卡片。点击服务卡片选择界面,上下滑动可选择卡片内容。点击添加到桌面,则将卡片添加到桌面中。至此,卡片服务应用就以全部开发完成,后续会对卡片内部进行相关编写。
GraphLite github地址 https://github.com/schencoding/GraphLite 图很适合进行分布式并行计算,比如最短路径,PageRank等问题,比较著名的图计算框架有 BSP模型如下图: 也就是超步计算,apache giraph也属于此模式。 图着色在单机环境下的算法,最快一般是贪心算法,也就是每次去找不相邻的节点去着色,直到全部完成。 我们在分布式并行计算环境下也要用贪心算法,每次找到不相邻的所有节点同时着色,在4个超步内完成一次着色,第一步根据出度的大小选择哪些节点可能要被着色,第二步处理冲突,第三步删除被选中节点和邻居节点之间的边
机器之心报道 参与:蛋酱 11 月 14 日,腾讯正式宣布开源高性能图计算框架 Plato,据介绍,Plato 可满足十亿级节点的超大规模图计算需求,将算法计算时间从「天」级缩短到「分钟」级,性能全面领先于其它主流分布式图计算框架 ,并且打破了原本动辄需要数百台服务器的资源瓶颈。 相对于目前全球范围内其它的图计算框架,Plato 可满足十亿级节点的超大规模图计算需求,将算法计算时间从天级缩短到分钟级,性能全面领先于其它主流分布式图计算框架,并且打破了原本动辄需要数百台服务器的资源瓶颈 现在,最少只需要十台服务器即可完成计算。 (10 台服务器左右)即可完成腾讯数据量级的超大规模图计算,打破了动辄需要上百台服务器的资源瓶颈,同时也极大地节约了计算成本; Plato 隶属腾讯图计算 TGraph,起源于超大规模社交网络图数据,但可以完美适配其他类型的图数据
导读 日志服务(Cloud Log Service,CLS)是腾讯云提供的一站式日志服务平台,提供了从日志采集、日志存储到日志检索分析、实时消费、日志投递等多项服务,协助用户通过日志来解决业务运营、安全监控 用户无需关注资源扩容问题,五分钟便捷接入,即可享受稳定可靠的日志服务。 作为一个服务器小白来说,以入门的视角,简单的方式来看腾讯云的CLS日志服务。 本文就来分享一下关于使用CLS日志服务的初体验。 概念 日志服务中枢:腾讯云日志服务CLS,日志服务负责对日志的存储、过滤、推送等任务,推送和过滤操作都是由控制台操作。 Ckafka:CLS日志服务的消息队列产品Ckafka进行实时的消费服务,只需要在控制台打开对应的按钮即可实现该功能。 实践 一、腾讯云上搭建Nginx服务。 , 0012.jpeg 点击“下一步”,进入高级配置,设置完成之后,点击“确定”按钮,即可完成投递配置任务设置 0013.jpeg 最后 通过本文对腾讯云CLS日志服务的使用体验
---- 概述 Nginx是高性能的轻量级WEB服务器,由于其提供HTTP代理和反向代理、负载均衡、缓存等一系列重要特性,从而广泛应用于当今的WEB服务之中,学习其很有必要。 重启 Nginx 停止nginx 1 /usr/local/webserver/nginx/sbin/nginx -s stop # 停止 Nginx ---- Nginx服务器配置实例与实验 现在可以启动Nginx服务器,并在浏览器中进行测试 测试站点server1的访问 ? ? 这就说明配置文件中虚拟主机1配置生效! 注意:这里域名www.codesheep.com之所以能被解析识别,是因为本地配置了DNS服务器! 测试站点server2的访问 ? ? 这就说明配置文件中虚拟主机2配置生效! ---- 后记 如果有兴趣,可以看看作者一些关于容器化、微服务化方面的文章: RPC框架实践之:Apache Thrift 微服务调用链追踪中心搭建 利用K8S技术栈打造个人私有云连载文章 Docker
轻量应用服务器(Lighthouse)是一种易于使用和管理、适合承载轻量级业务负载的云服务器,能帮助中小企业及开发者在云端快速构建网站、博客、电商、论坛等各类应用以及开发测试环境,并提供应用部署、配置和管理的全流程一站式服务,极大提升构建应用的体验,是您使用腾讯云的最佳入门途径。
扫码关注腾讯云开发者
领取腾讯云代金券