本文主要用到的工具软件有《网页自动操作通用工具》或《网页自动刷新监控工具》，其中《网页自动操作通用工具》包含《网页自动刷新监控工具》所有功能，所以主要以前者为例说明。请自行在网上搜索和下载软件。
最近张戈博客在阿里云和腾讯云服务器之间来回折腾了数次，别的收获没有，就悟出了一个问题：网站更换 IP 或使用 CDN 会不会影响 SEO 收录或排名？ 收录就不好意思说了，张戈博客这几个月内发布的文章
即使开了所谓的代理或者host文件，还是打不开，甚至一点动静都没有。但是过了一段时间又可以访问了。
如何通过对付ip查询别人的具体位置呢？这里两个分享高精度查IP定位网站，亲测可以直接准确的定位到你家楼下哦，只要你知道对付的IP就可以定位他人在哪里，再也不怕被骗而找不到对付的ip了，或者是有某方面的需求。
GitHub 是全球最大的代码开源平台，小伙伴们平时都喜欢在那里找一些优质的开源项目来学习，以提升自己的编程技能。
最常见的基本都会使用代理IP来进行访问，但是对于一般人来说，几万ip差不多是极限了，所以一个ip还是可能多次请求。意味着爬虫需要付出更多的成本投入在IP资源上，IP越多，爬取的成本越高，自然容易劝退一部分人。
写了这么多年爬虫了，经常还是会撞上反爬机制。虽然大多数时候都能解决，但是毕竟反爬机制多种多样，有时候遇到一个许久不见的反爬机制，也会感到手生，一时想不上来应对方法，而浪费不少时间。最近写了不少爬虫，接下来一段时间又不写了，趁着手还比较熟，记录一下备忘，方便大家也方便自己。
互联网科技时代，网站和域名是我们几乎每天都要应用和面对的东西。域名被墙怎么办，遇到这种情况我们应该怎么处理呢？
简单说明：环境需要四台虚拟机，每一台分别充当企业内不同的功能分区，在真实环境中的配置还需视情况自行更改
大家好，相信各位可爱的读者或多或少都需要和 GitHub 打打交道，比如上去看看代码，交个同性朋友什么的。但众所周知的是，GitHub 在国内速度可谓是越来越慢了（自从被微软接管以后…… 好像是的）。现在下点稍微大一点的文件速度简直能和某网盘有得一比，不，连某网盘都比不过。
在上一篇文章中介绍了下载器中间件的一些简单应用，现在再来通过案例说说如何使用下载器中间件集成Selenium、重试和处理请求异常。
网站搬家可以分为两种情况，比方说用原来的域名换个服务器，或者用原来的服务器换个域名！
域名访问网站啥意思？相信有不少人会有这样的疑问，因为在大家的传统认知里面，域名是用来建设网站的，又怎么会和访问网站有关系呢，下面就将为大家介绍域名访问网站啥意思。
在爬取简单的页面则很轻松的可以抓取搞定，但是如今一个b***p项目(不透露)，需要抓取的网站有比较强悍的反爬虫技术，我们也提高作战技术，汇总并逐步实现反爬虫技术。
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。
目前遇到的比较难搞的反爬虫技术有两个：特别难识别的人机识别验证码–如极验的手势验证，另外就是ip大量的限制，如R网站两次访问就被强制跳转到验证码页面。现在留下部署手记
爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件 web scraper 或者让 selenium 驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。
今天我们来分享的内容是，爬虫隧道代理设置多久换一次比较好的问题！让我们一起来探讨，为你的爬虫工作增添一份稳定与流畅！
如果您需要使用创建的云服务器搭建一个对外展示的网站或者Web应用程序，请按以下步骤进行相关的配置操作。建站参考如果您使用的是公共镜像创建的云服务器，那么购买完成后可以参考以下建站指导完成完网站或应用程序的搭建。搭建WordPress博客平台，请参考部署WordPress博客系统搭建Discuz论坛平台，请参考搭建Discuz 论坛网站。更
Python cookbook：Python Cookbook，完全基于 Python 3，写的也很不错，中文版。
我们先讲讲爬虫，这10w个网页我没有写代码去实现抓取，当时在上班，不想花太多时间去抓取这些内容（flag）。所以就采用Chrome浏览器的插件Web Scrape去实现抓取。
前段时间看了别人的一个写了羊了个羊刷次数网页版，但是 js 代码做了混淆，然后我的那个解混淆的工具还没适配上，短时间内还原不了。但由于是网页版，所以抓包数据还是能看到的，于是就准备复刻了一个（其实就没有也照样能写出来，因为确实没啥难度）。
稍大一些的网站，通常都会有好几个服务器，每个服务器运行着不同功能的模块，使用不同的二级域名，而一个整体性强的网站，用户系统是统一的，即一套用户名、密码在整个网站的各个模块中都是可以登录使用的。各个服务器共享用户数据是比较容易实现的，只需要在后端放个数据库服务器，各个服务器通过统一接口对用户数据进行访问即可。但还存在一个问题，就是用户在这个服务器登录之后，进入另一个服务器的别的模块时，仍然需要重新登录，这就是一次登录，全部通行的问题，映射到技术上，其实就是各个服务器之间如何实现共享 SESSION 数据的问题。
爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示： 大规模数据采集流程图 先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内采集，这样既不会有道德法律风险，也没有网站故意设置的障碍；不过调用API接口的访问则处于网站的控制中，网站可以用来收费，可以用来限制访问上限等。整体来看，如果数据采集的需求并不是很独
谈到移动APP开发的优化方案，开发者第一时间会想到关于GPU渲染和CPU优化问题，而这两大方案确实是优化app的两把尖刀，使APP提升用户量和体验度有较高的推动力。然而我们却会忽视一个比较简单而又难记住的方面，是对用户潜在行为的预估和把控，其实也属于APP业务优化范畴。 在无法预估的就是用户的实用操作欲望的情况下，针对已经发出去的版本，我们很难知道用户喜欢什么功能，和想要怎样的功能，包括用户卸载了，甚至安装不用的情况，并且对潜在线上崩溃的问题也想知道问题出在哪里等等 ，这些对于app的成长优化也有关键的导向作用，其实这也可以算是一种对app的优化方案。
随着国家对网络安全的进一步重视，攻防演练活动变得越来越重要，规模也更大。高强度的演习让无论是蓝方还是红方都变得精疲力竭，借用朋友圈里一位大佬的一句话：活动结束的这一天，安全圈的氛围像过年了一样。
如果你是一名网站运营人员，突然发现自己运营的网站被百度搜索标记“该页面因服务不稳定可能无法正常访问”，你可能会非常着急。而对于不是特别了解搜索行业风控机制的人来说，甚至还会怒问百度：“你为什么要给我打上这个标签？”
为了保证代理的有效性，我们往往可能需要维护一个代理池。这个代理池里面存着非常多的代理，同时代理池还会定时爬取代理来补充到代理池中，同时还会不断检测其中代理的有效性。当然还有一个很重要的功能就是提供一个接口，这个接口可以随机返回代理池中的一个有效代理。
Siteground是美国有名的主机商家，经过魏艾斯博客和朋友们几个月的使用，感觉Siteground在稳定性、速度、操作上比较的方便易用，所以写下本文把这个好用的美国虚拟主机分享给外贸建站的朋友们。
相信不少人想拥有一个自己的网站，学习一下技术、写写文章。轻量级服务器特别适合新手使用，运行成本低。今天教大家使用轻量级服务器建网站。
访问80端口的网页报错 This page can’t be displayed. Contact support fo additional information. The incident ID is: D/A 报错如图所示
从2010年第一次被DDOS了一下后从此把安全以及性能这2样东西放到了我设计工作中几乎占据了一半的时间与修练。
讲个笑话：手中没有剑，和有剑不用是两种事，因此这里特地学了一下DDOS攻击。使用的工具主要事kali机中的hping3，网安实在是太神奇了，有很多牛逼的工具，但是由于时间有限，所以这里就只学一下hping3，本着能够完成攻击机的任务的目的来学习的。
如今的CloudFlare越来越不行了 经常在境内宕机 ，高延迟访问巨慢 有的时候可能连自选CloudFlare IP 救不了，但是Cloudflare的用户网站在境内还是蛮多的，作为Cloudflare用户之一 我经常收到接入来自于DNSPOD的D监控提醒接入Cloudflare的网站宕机也有很多人使用的dnspod的解析但是局限于解析免费版只可以解析2个A记录配合d监控也就4个IP 时效还慢 自选2-4个ip太少了经常性网站因为Cloudflare原因境内部分地区用户访问网站经常访问不了在海外却正常 相比这个是cloudflare用户最苦恼之一
为什么在地址栏输入域名，就能直接访问到对应服务器？全局负载均衡和内部负载均衡又是什么？这些都和 DNS 解析息息相关，让我们一起来解密 DNS 解析。
服务器是任何网络平台的搭建必不可少的基础架构，通常是由大型的服务器品牌提供。通过云服务器供应商的网站申请账号登录后，按照企业平台对云服务器的使用需求选配参数，购买成功之后就可获得一个IP地址。如果后期要更换IP地址的数字组成的话，可先了解云服务器怎么换ip，掌握如何进行操作申请。只要外网IP地址与其他企业的网站平台没有重复，一般都可以直接更换成功。
ssh隧道技术 1. 用ssh做正向连接 啥叫正向连接？就是client连上server，然后把server能访问的机器地址和端口（当然也包括server自己）镜像到client的端口上。 ssh -L [客户端IP或省略]:[客户端端口]:[服务器侧能访问的IP]:[服务器侧能访问的IP的端口] [登陆服务器的用户名@服务器IP] -p [服务器ssh服务端口（默认22）] 其中，客户端IP可以省略，省略的话就是127.0.0.1了，也就是说只能在客户端本地访问。服务器IP都可以用域名来代替。 举例说明：
反向代理的原理 简单来说就是B站点反代A站点 用户访问B站点 B站点在去获取A站点的资源内容 反向代理的好处是什么？ 首先就是安全，因为B站点反代A站点 用户访问B站点即可获取A站点的内容，不用暴露源站的IP也不需要存储数据 其次就是速度，因为B站点不需要存储数据就可以降低网络带宽和服务器的内存及CPU负载，就可以提高访问效率 也不用担心数据被盗取、网站被攻击之类的 当然被D的话还是会死，但是对方不会知道你A站点的IP 这个时候B站点被打死了 你就可以随时换一台服务器域名解析过去接着使用就可以无缝衔接 反代也不用担心数据被某些不道德的服务商盗取或者跑路 因为B站点是不需要存储A站点的任何数据的
BoredHackerBlog: Social Network ~ VulnHub
在开头这里给不懂的审核解释一下啊，好几次过不了审核，DNS跟翻墙有个茄子关系，能不能学习一下，DNS是域名解析服务器，转换成IP之后IP在国外访问不了了的还是访问不了，DNS跟翻墙有哪门子关系，审核能不能教教我。
之所以如此紧迫的推进支持IPv6，主要还是由于IPv4地址的匮乏。2011年11 月 25 日，全球五大区域互联网注册管理机构之一的欧洲网络协调中心（RIPE NCC）宣布 IPv4 地址已全部用完，该机构负责欧洲、中东和部分中亚的 IP 地址分配和注册，其声明中写道：
当我们需要配置 Web 服务器，或是购买云服务器时，通常带宽选择上会带来一定的困惑，一般的云服务器基础配置都是 1Mbps 起步的带宽，根据实际需求最多可以加到 200Mbps 甚至更高，同时对于云服务器费用来说，最贵的也是带宽费用，所以合理的选择带宽是节约服务器成本的重要且必要的一环。
最近突然发现我的网站在苹果手机上Safari浏览器上第一次会访问会非常慢，但只要第一次访问后，后续的访问速度均不受影响...这就纳闷了，网站速度我都是优化过的，为什么会存在这种情况呢？困扰我许久，因为只有手机访问才这样，在电脑上访问速度都很快，完全没有头绪...
今天查看服务器状态，不小心误点了服务器的IP地址，然后居然能打开，，，OMG，怎么会这样，这怎么行呢？所以得修改以下配置文件，不让IP地址访问，至于为什么不让IP访问，有很多解释，其中最重要的就是防止恶意解析。
概述 最近.NET的世界开始闹腾了，微软官方终于加入到了对.NET跨平台的支持，并且在不久的将来，我们在VS里面写的代码可能就可以通过Mono直接在Linux和Mac上运行。那么大家（开发者和企业）为什么那么的迫切的希望.NET跨平台呢？第一个理由是便宜，淘宝号称4万多台服务器全部运行在Linux，Linux平台下还有免费的MySql,这些都是免费的，这些省下来直接就是利润呀，做企业的成本可以降低又没有任何损失，何乐而不为呢？第二个理由是在Linux系统下还有很多非常优秀的构架（当然同样也是免费的），分
在本公众号文章：谈谈国外互联网公司的骨干网，介绍了国外互联网公司的骨干网。本文主要深入讲述互联网公司的网络架构和典型业务或者服务具体实现。
最近在折腾博客主题，通常来说大多数人认为换主题会影响 SEO，实际上只要你把工作都做到位了，是没有任何问题的。比如，换主题后你得仔细检查标题和描述等内容是否发生改变、换主题后是否带来了大量的 404
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
