sktj-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

sktj

专栏成员

1542

文章

1964542

阅读量

34

订阅数

《大型网站技术架构》笔记

负载均衡负载均衡缓存缓存编程算法

WEB前端性能优化：减少http请求，合并CSS、合并JavaScript、合并图片。使用浏览器缓存。启用压缩。CSS放页面最上面，JS放页面最下面。减少Cookie传输。CDN加速。反向代理。

2022-05-24

6490

Zabbix SNMP监控安装、配置与服务器实例

http linux 缓存 unix

view systemview included .1.3.6.1.2.1.25.1.1 //找到这行,增加下面配置

2022-05-24

2.9K0

node.js 缓存 ios linux

监控CPU\MEN： dstat --top-mem --top-io --top-cpu 常用常规监控：dstat -cmsdnl -D sda1 -N lo,ens33 100 5

2022-05-23

4440

(memcached)高性能Linux服务器构建实战：运维监控、性能调优与集群应用

memcached 缓存数据分析

memcached:分布式内存对象缓存系统，很多时候做数据库前端CACHE使用使用LRU算法，自动删除不需要的缓存 1、安装memcached 2、memcached -m 32m -p 11211 -d -u root -P xx.pid -c 256 -vv

2022-05-19

5430

(varnish)高性能Linux服务器构建实战：运维监控、性能调优与集群应用

varnish 反向代理服务器和HTTP加速器 📷 image.png 1、varnish安装 2、VCL函数 📷 image.png 3、内置变量 📷 image.png 📷 image.png 📷 image.png 📷 image.png 4、varnish单实例配置 📷 image.png 📷 image.png 📷 image.png 📷 image.png 📷 image.png 5、varnish多实例配置，动静分离 📷 image.png 📷 image.png 📷 image.png

2022-05-19

7780

(nginx)高性能Linux服务器构建实战：运维监控、性能调优与集群应用

nginx 打包 php 缓存编程算法

nginx分为核心模块，基础模块，第三方模块 handlers,filters,proxies worker_processes 开启的进程数，一般和CPU个数相同就行 debug, info,notice,warn,error,crit worker_connections 每个进程的最大连接数 keepalive_timeout nginx -V 查看编译的模块 gzip_vary 可以让前端的缓存服务器缓存经过压缩的页面 gzip_comp_level 压缩的等级 upstream ip_hash down weight max_fails fail_timeout backup 要使用fair算法，必须编译upsream_fair模块要使用url_hash轮询算法，必须编译hash charset utf8; location ~ .*.(jpg|png)

2022-05-19

5130

yum 安装、卸载、升级软件

html yum 缓存网站

一、使用yum安装和卸载软件，有个前提是yum安装的软件包都是rpm格式的。安装的命令是，yum install ~，yum会查询数据库，有无这一软件包，如果有，则检查其依赖冲突关系，如果没有依赖冲突，那么最好，下载安装;如果有，则会给出提示，询问是否要同时安装依赖，或删除冲突的包，你可以自己作出判断；删除的命令是，yum remove ~，同安装一样，yum也会查询数据库，给出解决依赖关系的提示。其中~ 代表软件名 1.用YUM安装软件包命令：yum install xxxx 2.用YUM删除软件包命令：yum remove xxxx 二、用yum查询想安装的软件我们常会碰到这样的情况，想安装一个软件，只知道它和某方面有关，但又不能确切知道它的名字。这时yum的查询功能就起作用了。我们可以用 yum search keyword这样的命令来进行搜索，比如我们要则安装一个Instant Messenger，但又不知到底有哪些，这时不妨用 yum search messenger这样的指令进行搜索，yum会搜索所有可用rpm的描述，列出所有描述中和messeger有关的rpm包，于是我们可能得到 gaim，kopete等等，并从中选择。有时我们还会碰到安装了一个包，但又不知道其用途，我们可以用yum info packagename这个指令来获取信息。 1.使用YUM查找软件包命令：yum search ~ 2.列出所有可安装的软件包命令：yum list 3.列出所有可更新的软件包命令：yum list updates 4.列出所有已安装的软件包命令：yum list installed 5.列出所有已安装但不在Yum Repository 內的软件包命令：yum list extras 6.列出所指定软件包命令：yum list ～ 7.使用YUM获取软件包信息命令：yum info ～ 8.列出所有软件包的信息命令：yum info 9.列出所有可更新的软件包信息命令：yum info updates 10.列出所有已安裝的软件包信息命令：yum info installed 11.列出所有已安裝但不在Yum Repository 內的软件包信息命令：yum info extras 12.列出软件包提供哪些文件命令：yum provides~ 三、清除YUM缓存 yum 会把下载的软件包和header存储在cache中，而不会自动删除。如果我们觉得它们占用了磁盘空间，可以使用yum clean指令进行清除，更精确的用法是yum clean headers清除header，yum clean packages清除下载的rpm包，yum clean all 清除所有。 1.清除缓存目录(/var/cache/yum)下的软件包命令：yum clean packages 2.清除缓存目录(/var/cache/yum)下的 headers 命令：yum clean headers 3.清除缓存目录(/var/cache/yum)下旧的 headers 命令：yum clean oldheaders 4.清除缓存目录(/var/cache/yum)下的软件包及旧的headers 命令：yum clean, yum clean all (= yum clean packages; yum clean oldheaders) 四、yum命令工具使用举例 yum update 升级系统 yum install ～安装指定软件包 yum update ～升级指定软件包 yum remove ～卸载指定软件 yum grouplist 查看系统中已经安装的和可用的软件组，可用的可以安装 yum grooupinstall ～安装上一个命令显示的可用的软件组中的一个 yum grooupupdate ～更新指定软件组的软件包 yum grooupremove ～卸载指定软件组中的软件包 yum deplist ～查询指定软件包的依赖关系 yum list yum* 列出所有以yum开头的软件包 yum localinstall ～从硬盘安装rpm包并使用yum解决依赖

2022-05-19

9890

CDN实践（视频案例）

缓存 python php nginx

1、同步源站服务器 -Lighttpd提供各个节点服务器的文件下载 -Woyofly.py提供给各个节点服务器下载文件的MD5值 -服务器用途：当请求的格式为xx.flv，下载原始文件当请求格式为xx-46521cxvsdfs.flv，解析成实际路径，然后返回 MD5值 -存储挂载方式NAS

2022-05-19

7380

squid优化实例

1、使用大内存服务器 2、创建磁盘缓存时不要使用RAID，通过cache_dir配置使用时，每个独立磁盘只配置一个缓存 cache_dir ufs /mnt/sdb1 8096 32 32 cache_dir ufs /mnt/sdc1 8096 32 32 3、禁用atime更新 /dev/sdb1 /mnt/sdb1 ext3 noatime,nodiratime 0 0 4、squid对CPU的支持不好，对多CPU，配置多实例 visible_hostname unique_hostname http_port snmp_port access_log cache_log pid_filename cache_dir这几项要不一样 5、对squid做负载均衡时，要采用URL哈希方法 6、禁用缓存通信协议

2022-05-19

8340

squid权威指南

缓存 https http 网络安全

echo fs.file-max=792956 >> /etc/sysctl.conf

2022-05-19

1.8K0

NSCD本地DNS缓存软件安装、配置

dns 内容分发网络 CDN 缓存

1、yum install -y nscd 2、vi /etc/nscd.conf logfile /var/log/nscd.log threads 4 max-threads 32 server-user nscd debug-level 0 reload-count 5 paranoia no restart-interval 3600 enable-cache hosts yes positive-time-to-live hosts 3600 negative-time-to-live hosts 20 suggested-size hosts 211 check-files hosts yes persistent hosts yes shared hosts yes max-db-size hosts 33554432 3、service nscd start 4、查看命中数nscd -g 5、清除缓存,nscd -i hosts 6、配置解析 enable-cache指定对DNS解析进行缓存。 positive-time-to-live是指对解析成功的DNS结果进行缓存的时间。 negative-time-to-live是指对解析失败的DNS结果进行缓存的时间。例如网络故障导致的DNS解析失败或者请求的DNS条目没有配置等。 suggested-size是NSCD内部的哈希表的大小，如果缓存条目数量远大于默认的211（如10倍以上，则修改此值）。 check-files是指是否检查/etc/hosts文件的变化。 persistent是指是否在重启NSCD进程时保留已缓存的条目。 shared是指是否允许客户端直接查询NSCD的内存镜像以获得结果。 max-db-size是指DNS的缓存大小，以字节为单位。

2022-05-19

1.6K0

优化mysql数据库

数据库 sql 缓存云数据库 SQL Server

1、缓存池的大小：innodb_buffer_pool_size 内存的70~80%

2022-05-19

2K0

ceph设计原理与实现(BlueStore文件系统)

缓存编程算法

1、BlueStore:事务型的本地日志文件系统 2、磁盘块大小：普通磁盘 512字节；SSD磁盘：4KB 3、COW：写时复制 RMW: 4、读写锁

2022-05-18

7640

CDN模拟搭建

./squid -z //初始化 cache_dir ufs /usr/local/var/cache 100 16 256 http_port 80 accel vhost vport cache_peer srcip parent 80 0 http_access allow all refresh_pattern //设置缓存保存期限 squidclient 删除缓存

2022-05-14

1.5K0

python核心编程(网络编程)

socket编程 udp python 缓存

1、创建TCP 套接字，必须使用SOCK_STREAM 作为套接字类型。创建UDP 套接字，必须使用SOCK_DGRAM 作为套接字类型。 2、创建TCP套接字：tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 创建UDP套接字：u pSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) 3、服务端方法： s.bind() s.listen() s.accept() 客户端方法：s.connect() s.connect_ex()

2022-05-14

1.5K0

Django2.0中文(中间件)

http 缓存 django 网络安全

1、中间件是一个用来处理Django的请求和响应的框架级别的钩子。它是一个轻量、低级别的插件系统，用于在全局范围内改变Django的输入和输出。每个中间件组件负责做一些特定的功能。由于其影响的是全局，所以需要谨慎使用，使用不当会影响性能。说的直白一点，中间件可以帮助我们在视图函数执行之前和执行之后做一些额外的操作。它的本质是一个自定义类，类中定义了几个方法，Django框架会在请求的特定时间去执行这些方法。 2、中间的五种方法： process_request(self, request) process_view(self, request, view_func, view_args, view_kwargs) process_template_response(self, request, response) process_exception(self, request, exception) process_response(self, request, response) 以上方法的返回值可以是None，或者是一个HttpResponse对象，如果是None，则继续按照django定义的规则向后继续执行，如果是HttpResponse对象，则直接将改对象返回给用户。 3、自定义中间件： from django.utils.deprecation import MiddlewareMixin

2022-05-14

3300

Django2.0中文(缓存)

数据分析 http html python 缓存

1、settings.py中配置使用memcached缓存： CACHE_BACKEND = 'memcached://172.19.26.240:11211;172.19.26.242:11212;172.19.26.244:11213/' // pip install python-memcached 2、使用数据库做缓存： python manage.py createcachetable [cache_table_name] CACHE_BACKEND = 'db://my_cache_table' 3、使用文件做缓存：需要运行的用户有读写该目录的权限 CACHE_BACKEND = 'file:///var/tmp/django_cache' 4、本地内存： CACHE_BACKEND = 'locmem:///' 5、使用自定义缓存：CACHE_BACKEND = 'path.to.backend://'

2022-05-14

3190

influxdb 时间序列数据库

unix 缓存编程算法 php 命令行工具

1、InfluxDB 是用Go语言编写的一个开源分布式时序、事件和指标数据库，无需外部依赖。基于时间序列，支持与时间有关的相关函数（如最大，最小，求和等）可度量性：你可以实时对大量数据进行计算基于事件：它支持任意的事件数据 1）无结构（无模式）：可以是任意数量的列 2）可拓展的 3）支持min, max, sum, count, mean, median 等一系列函数，方便统计 4）原生的HTTP支持，内置HTTP API 5）强大的类SQL语法 6）自带管理界面，方便使用 2、安装： rpm -ivh https://dl.influxdata.com/influxdb/releases/influxdb-0.13.0.x86_64.rpm 3、启动： sudo service influxdb start 4、客户端：在usr/bin里使用influx即可登入Influx服务器。也可以将路径加入环境变量中，这样既可在任意地方使用influx。 InfluxDB自带web管理界面，在浏览器中输入 http://服务器IP:8083 即可进入web管理页面。 5、基本概念： database 数据库 measurement 表 point 表中的一行数据 point由time(自动生成的时间戳),field数据，tags由索引的数据 series所有在数据库中的数据，都需要通过图表来展示，而这个series表示这个表里面的数据，可以在图表上画成几条线：通过tags排列组合算出来。 6、基本操作: 客户端命令行、HTTP API、各语言API库 show databases; create database test drop database test use test

2022-05-14

1.1K0

多线程和多进程的区别(并行编程 1)

编程算法缓存单片机

进程：具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位，是“活的”

2022-01-10

5380

scrapy python 爬虫 https 缓存

xpath / // //a/@href 返回属性 //a/text() 返回文本 //div/* 返回所有元素 //a[@href]包含href的a //a[@href='xx'] //a[contains(@href,'xxx')] 模糊搜索 //a[not(contains(@href,'abc'))]

2022-01-10

3080

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态