1.基本概念 物理CPU数 主板上实际插入的CPU数量,可以数不重复的physical id 有几个(physical id) CPU核数 单块CPU上面能处理数据的芯片组的数量,如双核、四核等 (CPU cores) 逻辑CPU数 一般情况下,逻辑CPU数=物理CPU个数每颗核数,如果不相等的话,则表示服务器的CPU支持超线程技术(简单来说,它可使处理器中的1颗内核如2颗内核那样在操作系统中发挥作用 这样一来,操作系统可使用的执行资源扩大了一倍,大幅提高了系统的整体性能,此时逻辑CPU=物理CPU个数每颗核数*2) 它们之间的关系 总核数 = 物理CPU个数 * 每颗物理CPU的核数 总逻辑 CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数 2.查看物理CPU的个数 $ cat /proc/cpuinfo |grep "physical id"|sort |uniq|wc -l 2 3.查看逻辑CPU个数 $ cat /proc/cpuinfo |grep "processor"|wc -l 24 4.查看CPU核数 $ cat /proc/cpuinfo |grep
二.关于服务器基本配置 查询服务器的基本配置一般查询操作系统,CPU,内存,硬盘,下面进行逐一讲解。 2.1 操作系统基本配置查询 查看操作系统版本 #cat /etc/redhat-release这个命令主要是查看红帽发行的操作系统的版本号[root@node5 ~]# cat /etc/redhat-release 基本配置查询 名词解释 名词 含义 CPU物理个数 主板上实际插入的cpu数量 CPU核心数 单块CPU上面能处理数据的芯片组的数量,如双核、四核等 (cpu cores) 逻辑CPU数/线程数 一般情况下 配置总结 通过以上的查询,我们可以知道该服务器是1路4核的CPU ,CPU型号是Intel(R) Core(TM) i7-8550U CPU @ 1.80GHz,该CPU没有超线程。 2.3 内存基本配置查询 名词解释 名词 含义 Mem 内存的使用情况总览表 Swap 虚拟内存。
领8888元新春采购礼包,抢爆款2核2G云服务器95元/年起,个人开发者加享折上折
主流深度学习硬件速度对比(CPU,GPU,TPU) 个人主页--> http://www.yansongsong.cn 我们基于CNN实现Cifar10 数据集分类把这段相同的代码在不同主流深度学习进行测试 ,得到训练速度的对比数据。 主流深度学习硬件速度对比 (Colab TPU) 速度 382s/epoch (i5 8250u) 速度 320s/epoch (i7 9700k) 速度 36s/epoch (GPU MX150) 速度 36s/epoch (Colab GPU) 速度 16s/epoch (GPU GTX 1060) 速度 9s/epoch (GPU GTX1080ti) 速度 4s/epoch 通过对比看出相较于普通比较笔记本的 也欢迎大家在自己电脑上运行下面代码,对比一下速度。我的电脑CPU 320s/epoch。
“ 在软件系统中,IO速度比内存速度慢,IO读写在很多情况下会是系统的瓶颈,我们也知道Redis的查询速度比直接查数据库要快,因为Redis将数据存在内存中,而Mysql的查询是执行IO操作。 先说一下对比的条件:首先Redis和Mysql都是部署在远程服务器上(同一台)。其次接口是相同,在Service层开始区分以哪种形式获取数据(代码如下)。 这里的对比并不是说Mysql不好,而且这个对比也是有一定的问题,因为本人的SQL查询语句可能优化并不是特别好。同时我们也要知道NoSQL也是有它本身的缺陷: 1. 好了,既然我们知道Redis查询速度要比直接查询Mysql要快,那么如何合理的在项目中运用Redis呢?请继续关明天的文章,今天就讲到这里,希望大家能有一个充实的一周。 官方推荐用哪个 3.Jedis与Redisson对比有什么优缺点? 4.说说Redis哈希槽的概念? 5.Redis集群会有写操作丢失吗?为什么?
本文简单对比下Solr与MySQL的查询性能速度。 时间对比: 查询条件 时间 MySQL(无索引) 30s MySQL(有索引) 2s Solrj(select查询) 12s 如何优化? id Size: 220296 Time: 7340 时间对比: 查询条件(只获取ID) 时间 MySQL(无索引) 10s MySQL(有索引) 0.337s Solrj(select查询) 下面是Solr使用“/select”和“/export”的速度对比。 时间对比: 查询条件 时间 MySQL(无索引) 30s MySQL(有索引) 2s Solrj(select查询) 12s Solrj(export查询) 2s 项目中如果用分页查询,就用select
前言 在看CPU相关的文章的时候,想起来之前有文章讨论是否要做CPU绑定,这个有说绑定的也有说不绑定的,然后就想到一个问题,有去观测这些OSD到底运行在哪些CPU上面么,有问题就好解决了,现在就是要查下机器上的 OSD运行在哪些CPU上 代码 提前装好psutil和prettytable的python模块,这个通过rpm或者pip来安装都可以的 这里直接上代码了,最近学习python在,就用python来实现 printosdcputable() def printosdcputable(): row = PrettyTable() row.header = True cpulist = ["OSD\CPU "Core ID"] phylist = ["Physical ID"] emplist=["-----------"] for cpupro in range(psutil.cpu_count 看上去确实有些CPU上面运行了多个OSD,这里不讨论CPU绑定的好坏,只是展示现象,具体有什么效果,是需要用数据取分析的,这个以后再看下
在pandas的官方文档中对常用的SQL查询语句与pandas的查询语句进行了对比,这里以 @猴子 社群里面的朝阳医院数据为例进行演示,顺便求第四关门票,整体数据结构如下: import pandas
前言 在上一篇的最后, 我提到了一个矩阵乘法, 这次与CPU进行对比, 从中可以很明显GPU在并行计算上的优势. ---- 计时函数 在贴出代码之前, 来看下我常用的计时函数, 可以精确到微秒级 start.tv_sec + (end.tv_usec - start.tv_usec)/1000000.0; printf("Use Time:%f\n",timeuse); ---- 代码 其实CPU 结果图 gpu是gt750m, cpu是i7-4700mq. 其实cpu是比gpu好很多的, 但是并行计算上gpu的优势依旧明显. ---- 最后 喜欢记得点赞哦, 有意见或者建议评论区见~ ----
表格里是我收集的AMD和Intel各个主流的CPU参数、跑分和价格对比。 AMD和Intel主流CPU性价比和能耗比对比表格 型号 核心/线程 主频 核显 TDP 跑分 价格 性价比 能耗比 Ryzen5 1600X 6C/12T 3.6-4.0GHz 无 95W 13087
、 根据这个数据库做出一些查询,尽量的提高查询的复杂的方法来看看POSTGRESQL 在复杂查询,OLAP中的到底性能如何。 具体的语句撰写和结果,从语句的撰写看,里面包含了子查询,数值的转换,字段的合并,连接等等虽然还不是很复杂 ? 下面是这个查询的执行计划,可以从中看到POSTGRESQL 优化查询的方式也是多种多样的。 在postgresql 中的子查询,在查询中是需要优化的,优化中子查询是要进行提升条件的,一般一个子查询要提升需要以下一些要求 1 子查询必须是一个子查询树, 2 子查询中不能包含聚集操作,窗口函数,GROUP 操作等 3 子查询中的条件仅仅是两个表之间进行关系界定的条件,针对子查询本身的条件将不能进行子查询的条件提升 下面这两条语句的结果是一样的,执行计划基本上也是一样,但语句的写法是很不一样的。 试验的版本是 VERSION 11.2 ,这里参与计算的表数据量在几十万,经过验证上面三种查询的写法,最后一种没有子查询的写法,占优势。
一、实验目的 本实验通过模拟一个典型的应用场景和实际数据量,测试并对比HAWQ内部表、外部表与Hive的查询性能。 二、硬件环境 1. 四台VMware虚机组成的Hadoop集群。 每台机器配置如下: (1)15K RPM SAS 100GB (2)Intel(R) Xeon(R) E5-2620 v2 @ 2.10GHz,双核双CPU (3)8G内存,8GSwap (4)10000Mb by domain_nm, requested_file_txt order by unique_visits desc; 七、测试结果 Hive、HAWQ外部表、HAWQ内部表查询时间对比如表 4 66.367 359.778 1.217 5 60.341 118.329 2.789 表2 从图2中的对比可以看到,HAWQ内部表比Hive on Tez快的多(4-50倍)。 同样的查询,在HAWQ的Hive外部表上执行却很慢。因此,在执行分析型查询时最好使用HAWQ内部表。如果不可避免地需要使用外部表,为了获得满意的查询性能,需要保证外部表数据量尽可能小。
以前只用过Hive与impala两个类SQL查询系统,最近又将Hortonworks开源的Stinger与Apache的Drill做了些调研。累死累活搞了一天的资料,头都大了。 由于调查时间比较短(一天的时间都头晕眼花了,再长点估计我就要过劳死了),所写之处难免会有差错,欢迎大家指正 总体来说虽然impala、stinger、drill三个系统都是类SQL实时查询系统,但是它们的侧重点完全不同 impala主要是为hdfs与hbase数据提供实时SQL查询。它是根据google的dremel论文实现的一套分布式系统,自用户提交的SQL开始都是基于自身的分析器与执行器。 它的数据接口都是插件化,理论上支持各种查询语言,SQL自然也不例外,不过目前这个系统还是Apache的一个孵化项目,很多功能尚未完成与稳定。但是可以预见,这个系统如果完成是很有影响力的。 ://cwiki.apache.org/confluence/display/DRILL/High-level+Architecture) Stinger Hortonworks开源的一个实时类SQL查询系统
(2)显示使用事务(做数据库更新修改操作时用事物能够提高大概8位的速度) (3)建立索引(这个我觉得没必要说了,所有数据库查询时索引都会有帮助) (4)查询数据优化(少用cursor.getColumnIndex 上图为自己的程序里面原先的查询一条信息的数据,调用到经过测试,输出的时间为43毫秒 ? 然后我们新写了一个方法,把显示列前面定义出来,然后直接取列的序号 ? ---- 查询多条数据(2W6左右) 这次我们再找出来另一个获取所有资料的方法,本地Sqlite数据库里有2W6的数据量,我们先看一下用了getcolumnindex的代码 ? ? ---- 结论 当我们在查询一条语句的时候,用getcolumnindex获取到对应列和直接取列的序号几乎没有影响。 当我们查询很多数据的时候,会有一些变化,但是可能影响的也不算太大,不过有节省就算了一个优化了,还是建议我们在写的时候尽量少用到cursor.getcolumnindex方法。 ---- -END-
需求背景 即席查询AD-HOC :以单独的SQL语句的形式执行的查询就是即席查询,比如说:HUE里面输入SQL语句并获得结果或者使用dbeaver连接hiveserver2自己键入的SQL代码并获取结果 我们可以把OLAP分为两大类,即席查询就是其中的一类,另外一类可以被称作固化查询。 它们之间的差别在于,固化查询在系统设计和实施时是已知的我们可以在系统中通过分区、预计算等技术来优化这些查询使这些查询的效率很高,而即席查询是用户在使用时临时生产的,查询的内容无法提前运算和预测。 引擎介绍和对比 这里我根据不同的实现方式把支持即席查询的系统分成了3个类别: 预计算 Kylin:通过建立cube模型,将事实表、维度、度量之间进行各种的排列组合和预计算,用户查询的结果直接从cube中获取 对于多表的查询,Presto和Impala不相上下,对比其他的引擎性能要好一些。greenplum也不错;ClickHouse对于多表join所以效果不好,并且上面说了很多复杂语法支持的不够好。
禁用GPU设置 # 在import tensorflow之前 import os os.environ['CUDA_VISIBLE_DEVICES'] = '-1' CPU与GPU对比 显卡:GTX 1066 CPU ? 简单测试:GPU比CPU快5秒 补充知识:tensorflow使用CPU可以跑(运行),但是使用GPU却不能用的情况 在跑的时候可以让加些选项: with tf.Session(config=tf.ConfigProto allow_soft_placement=True, log_device_placement=True)) 其中allow_soft_placement能让tensorflow遇到无法用GPU跑的数据时,自动切换成CPU 以上这篇使用Tensorflow-GPU禁用GPU设置(CPU与GPU速度对比)就是小编分享给大家的全部内容了,希望能给大家一个参考。
[MXNet逐梦之旅]练习五·使用MXNetFashionMNIST数据集CNN分类(对比CPU与GPU) 使用下述代码实现检测当前环境GPU是否支持 def try_gpu(): try: ctx = mx.gpu() _ = mx.nd.zeros((1,), ctx=ctx) except mx.base.MXNetError: ctx = mx.cpu () return ctx ctx = try_gpu() 使用下述代码实现将CPU数据转换到GPU上(运算操作也会自动转换到GPU)如果ctx为CPU则保持在CPU上 for x,y in data_iter: x, y = x.as_in_context(ctx), y.as_in_context(ctx)#如果ctx为CPU则保持在CPU上 code from mxnet import : Train on cpu(0) Epoch 1, loss: 1.047916 acc: 0.770000, time: 57.309021 Epoch 2, loss: 0.580764 acc
背景介绍 最近在写SQL语句时,对选择IN 还是Exists 犹豫不决,于是把两种方法的SQL都写出来对比一下执行效率,发现IN的查询效率比Exists高了很多,于是想当然的认为IN的效率比Exists ,得到结果集B,可以使用到tabB表的索引y; (2)执行tabA表的查询,查询条件是tabA.x在结果集B里面,可以使用到tabA表的索引x。 原因分析 对t_poetry表的子查询结果集很小,且两者在t_poetry表都能使用索引,对t_poetry子查询的消耗基本一致。 这种情况下子查询结果集很大,我们看看MySQL的查询计划: 使用in时,由于子查询结果集很大,对t_author和t_poetry表都接近于全表扫描,此时对t_author表的遍历耗时差异对整体效率影响可以忽略 Exists的适用场景: IN查询在内部表和外部表上都可以使用到索引; Exists查询仅在内部表上可以使用到索引; 当子查询结果集很大,而外部表较小的时候,Exists的Block Nested Loop
同时各大云计算厂商也推出了信创云(服务器),但是针对 ARM 和 X86 两种架构的 CPU 算力,很多人都存在疑问,今天我们就一起来对某主流云厂商的 ARM 和 X86 架构云服务器的 CPU 算力进行测试 工具安装 sysbench 用于测试 CPU 整型算力。 被测机型 CPU 型号 被测X86云服务器CPU型号:Intel(R) Xeon(R) Silver 4114 CPU @2.20GHz 被测ARM云服务器CPU型号:Phytium FT-2000+/ Score:2813.42 [root@X86-Performance ~]# sysbench cpu --cpu-max-prime=20000 --threads=8 --time=60 run Score:7077.50 [root@performance-arm ~]# sysbench cpu --cpu-max-prime=20000 --threads=8 --time=60 run
CPU 模式: Makefile.config CPU_ONLY:=1 make clean make -j4 . examples/mnist/lenet_train_test.prototxt Testing for 50 iterations. 3350ms GPU 模式: Makefile.config #CPU_ONLY
点击下方卡片,关注“OpenCV与AI深度学习” 视觉/图像重磅干货,第一时间送达 导读 本文主要介绍C++版PaddleOCR GPU版的使用步骤和测试时间对比(相对CPU)。 OCR更简单 | PaddleOCR+OpenCV实现文字识别步骤与代码演示 【3】C++ | PaddleOCR+OpenCV实现文字识别步骤与代码演示 其中【3】介绍了PaddleOCR C++ CPU GPU & CPU运行时间对比 硬件信息: 系统:Win10 64位 CPU:i7 8750H,2.20Hz,内存32G GPU:NVIDIA GTX1070,显存8G ---- 对比效果如下,查看运行时间 ms: 对比结果:GPU加速效果明显,同时测试时间与测试图像有关,图像分辨率越高,图像中文字内容越多,则测试时间越长。
轻量应用服务器(Lighthouse)是一种易于使用和管理、适合承载轻量级业务负载的云服务器,能帮助中小企业及开发者在云端快速构建网站、博客、电商、论坛等各类应用以及开发测试环境,并提供应用部署、配置和管理的全流程一站式服务,极大提升构建应用的体验,是您使用腾讯云的最佳入门途径。
扫码关注腾讯云开发者
领取腾讯云代金券