我们尝试维护过一个免费的代理池，但是代理池效果用过就知道了，毕竟里面有大量免费代理，虽然这些代理是可用的，但是既然我们能刷到这个免费代理，别人也能呀，所以就导致这个代理同时被很多人使用来抓取网站，所以
爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件 web scraper 或者让 selenium 驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。
我们尝试维护过一个代理池。代理池可以挑选出许多可用代理，但是常常其稳定性不高、响应速度慢，而且这些代理通常是公共代理，可能不止一人同时使用，其IP被封的概率很大。另外，这些代理可能有效时间比较短，虽然代理池一直在筛选，但如果没有及时更新状态，也有可能获取到不可用的代理。 如果要追求更加稳定的代理，就需要购买专有代理或者自己搭建代理服务器。但是服务器一般都是固定的IP，我们总不能搭建100个代理就用100台服务器吧，这显然是不现实的。 所以，ADSL动态拨号主机就派上用场了。下面我们来了解一下ADSL拨号
在使用动态vps服务器的时候发现一枚已经写好的自动配置拨号的shell脚本，分享一下，免去手动配置的烦恼，代码如下
在如今这个数字时代，宽带已经成为我们每个人、每个家庭的生活必需品。如果没有它，我们会坐立难安、心绪不宁。
首先简述下NAT服务器在负载均衡中做了什么，简单的说就是Linux (内核2.4以后是Netfilter肩负起这个使命滴)内核缓冲区修改来源，目标地址。
在工作中，很有可能遇到的外网接入方式就是ADSL拨号了，虽然看着简单，但是这里讲讲Cisco路由器上面的一些注意事项与配置。
错误代码651意思为 您的调制解调器(或其它连接设备)报告了一个错误。既未找到指定的端口。 解决办法： 1、远程访问记事簿文件和当前的“网络和拨号连接”配置可能不一致如果更改了通讯设备（例如：串行口或调制解调器），请确保重新配置“网络和拨号连接”。如果错误仍然存在，请删除并重新创建“网络和拨号连接”. 2、win7 错误代码651，路由能上，拨号上不了 试一下:打开 \windows\system32\logfiles\wmi，双击打开wmi再打开里面的RtBackup 会提示你需要管理员权限 继续 重启，
首先检查一下家里线路，看屋内接头是否接好，线路是否经过了什么干扰源，比如空调、冰箱、电视等，尽量与这些用电设备保持一定的距离。也可以自行把室内的线路使用抗干扰能力更强的网线代替。确保线路连接正确。电话线入户后连接接线盒，然后再到话音分离器分离，一线走电话、一线走MODEM(分离器上有标注)。同时确保线路通讯质量良好没有被干扰，没有连接其它会造成线路干扰的设备。并检查接线盒和水晶头有没有接触不良以及是否与其它电线串绕在一起。有条件最好用标准电话线，PC接ADSL Modem附带的双绞线。线路是影像上网的质量的重要因素之一。距离用户电缆线100米以内的无线电发射塔、电焊机、电车或高压电力变压器等信号干扰源，都能使用户下线接收杂波（铜包钢线屏蔽弱，接收信号能力强），对用户线引起强干扰。受干扰的信号往往是无屏蔽的下线部分进入，因为中继电缆有屏蔽层，干扰和影响都很小。如果在干扰大的地方用一些带屏蔽的下线，就会减少因干扰造成的速度不稳定或掉线现象。另外，电源线不可与adsl线路并行，以防发生串扰，导致adsl故障。另外其他也有很多因素造成网络不稳定，例如信号干扰、软件冲突。手机这一类辐射大的东西一定不要放在ADSL Modem的旁边，因为每隔几分钟手机会自动查找网络，这时强大的电磁波干扰足以造成ADSL Modem断流。
在工作中，很有可能遇到的外网接入方式就是ADSL拨号了，虽然看着简单，但是这里讲讲juniper SSG 防火墙上面的一些注意事项与配置。
整个互联网的体系架构看起来复杂，实际上基本的工作方式单调而乏味，就是从一个路由器到下一个路由器。
在重要的攻防对抗中进行前期的信息收集时，我们的各种渗透行为很有可能暴露自己的ip，导致们在后期进行渗透攻击行为时很容易被对方溯源，并且通过ip找到你。
在工作中，很有可能遇到的外网接入方式就是ADSL拨号了，虽然看着简单，但是这里讲讲Cisco 防火墙ASA上面的一些注意事项与配置。
目前遇到的比较难搞的反爬虫技术有两个：特别难识别的人机识别验证码–如极验的手势验证，另外就是ip大量的限制，如R网站两次访问就被强制跳转到验证码页面。现在留下部署手记
很抱歉地提醒大家：虽然感觉已经热了很久，但是实际上，昨天才是入伏的第一天。接下来，我们将进入一年当中最炎热的时期。
近年来，随着全球局势的紧张，各种冲突愈演愈烈，情报、监视与侦察（ISR）的作用愈发明显，成为了决定胜负的关键因素之一。侦察是获取情报的重要手段，反侦察能力是保障安全和成功的关键，有效的反侦察可以保护侦察人员和设备的安全性，维护情报的机密性，提高战场的隐蔽性。如图1是一种躲避警犬式追踪的方法，侦察者可以采用反复迂回的方式进行逃跑，目的是误导敌军，使其沿着错误的路线追踪，实现反跟踪。
import os g_adsl_account = {"name": "adsl", "username": "0512...", "password": "..."} class Adsl(object): #============================================================================== # __init__
PV即Page View，网站浏览量，指页面浏览的次数，用以衡量网站用户访问的网页数量。用户每次打开一个页面便记录1次PV，多次打开同一页面则浏览量累计。一般来说，PV与来访者的数量成正比，但是PV并不直接决定页面的真实来访者数量，如同一个来访者通过不断的刷新页面，也可以制造出非常高的PV。具体的说，PV值就是所有访问者在24小时（0点到24点）内看了某个网站多少个页面或某个网页多少次。PV是指页面刷新的次数，每一次页面刷新，就算做一次PV流量。
最近计划开源一个基于Springboot的BLOG程序，我会尽量写明中间的每一个步骤。如果近期有打算学习java或spring框架的同学可以参与一块进行协作开发。
在电信上申请了网号和密码，想让电脑通过adsl拨号上网。电脑和网络配置如下：
可能有不少人知道V**的，在其中有一部分人应该知道并在使用OpenV**或其相关技术。看看你的网络连接，是不是有TAP/TUN之类的虚拟网卡？是不是用过一些软件穿墙而出？有一些V**类型的穿墙工具其实也是基于OpenV**的，只不过可能自己再封装一个图形界面程序仅此而已。今天我要说的并不是穿墙的事，而是……如题。
2、研究宽带帐号和密码生成规律(实验环境，宽带帐号为4个数字组成，密码为3个数字组成)，发现帐号和密码都很简单
从最底层开始故障排除 1.物理故障:查看连接状态 发送和接受的数据包 2.数据链路层故障:MAC地址冲突 ADSL欠费 网速无法协商一致 计算机连接到错误的VLAN 3.网络层:规划地址 配置了错误的IP地址 子网掩码 配置了错误的网关 路由器没有配置到达目标网络的路由 4应用层故障:应用程序配置错误
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：
#!/bin/bash #author: GaoMing #date: 2015-05-20 #qq: 530035210 #blog: https://my.oschina.net/pwd/blog #pppoe 定期重新拨号 logdir=/data/log/shell #日志路径 log=$logdir/log.log #日志文件 is_font=1 #终端是否打印日志: 1打印 0不打印 is_log=1
总结一下：要保证虚拟机系统可以上网，得先解决虚拟机和真实主机的连接关系。VMware主要给出3种模式，我们常用的有“bridge（桥接）”和
转载：http://duanzw102.blog.163.com/blog/static/161838173201392431722650/
SNAT是source network address translation的缩写即源地址目标转换
目前宽带比较流行的接入方式为ADSL，ADSL是非对称DSL技术，使用的是PPPoE（PPP over Ethernet）协议。
IPtables中可以灵活的做各种网络地址转换（NAT），网络地址转换主要有两种：SNAT和DNAT。
在遥远的上古时代(1995-2000)，家庭计算机连接互联网，需要一个叫做“猫”的设备，连接在计算机的“串口”上，进行“拨号”连接。
最近因为换了Mac，以前的Linux基本上不再使用了，但是我的SS代理还得用。SS代理大家都了解，一个很NB的Socket代理工具，但是就是因为他是Socket的，想用HTTP代理的时候很不方便。
Apache的核心配置文件是“Httpd.conf”，它在电脑中的位置为Apache的安装路径/Conf/，如果安装在C盘的根目录下，则该文件应该在“C:/Apache/Conf/”中，此外，打开Windows的“开始菜单”→“程序”→“Apache HTTP Server”→“Edit the Apache httpd.conf Configuration File”也可以，在最新的1.3.26版中，它的作用更加明显。用记事本打开它，可以看到这些配置文件都以文本方式存在，其中“#”为Apache的注释符号，我们可以在记事本菜单中的编辑选项点击“查找”逐一输入下面要配置的关键字，并进行相应配置。如图15在配置文件中查找“DocumentRoot”。
InterWikiMap: Ubuntu技巧 (2007-02-21 16:51:22由huangjiahua编辑)
命令行下配置非常简单，方法如下： 1 sudo pppoeconf 然后进行下去就行了，中途需要输入adsl用户名和密码。 注意配置完成后的第一个选项，是否开机自动拨号，默认是开机自动拨号 2 以后，要手工拨号，打开终端，输入命令： sudo pon dsl-provider 3 手工断线： sudo poff 4 查看连接情况： plog 和 ifconfig ppp0 ifconfig ppp0 可查询本机的上网IP。
前阵子组装了一个主机，然后在主机上搭建了一个Linux的服务器，这里主要记录其流程和碰到的问题。
一直想买一台低功耗小主机做软路由，前几天刚好看到淘宝有卖便宜双网口j1900小主机，看样子和成色应该是整机二手，不过看着还行，叫卖家给我装了爱快，插电直接用也省的我装。
很多初学者不知道vps，物理服务器，虚拟主机，云服务器的含义和区别，今天与大家一起说说它们之间的含义和区别： VPS： VPS（Virtual Private Server 虚拟专用服务器）技术，由于有很多的物理服务器其实使用率很低，平均cpu的使用率在20%以下。于是就将一台物理服务器分割成多个虚拟专享服务器的优质服务。实现VPS的技术分为容器技术和虚拟化技术。在容器或虚拟机中，每个VPS都可分配独立公网IP地址、独立操作系统、实现不同VPS间磁盘空间、内存、CPU资源、进程和系统配置的隔离，为用户和应用程序模拟出“独占”使用计算资源的体验。VPS可以像独立服务器一样，重装操作系统，安装程序，单独重启服务器。 简单的说，就是在物理服务器内通过虚拟化技术，在一套操作系统的技术上，虚拟出很多套的独立运行的操作系统出来，从用户角度来看，就像是有很多台服务器可以使用（其实是运行在同一套物理设备里面）。这一套套虚拟出来的独立的操作系统就是VPS。如果您还未找到一款合适的动态拨号vps，我可推荐青果云动态拨号vps，专业技术，自建机房，节点丰富，秒拨数百万ip，高可靠人性化设计，精心打造从节点到系统给您不一样的感觉，力助您的业务遍布全国的每一个角落。 物理服务器： 一台实实在在物理机，服务器性能和稳定性比普通PC强，但是价格昂贵，一般有钱的大佬才会使用独立的物理服务器（就是需要自己实实在在买一台设备放在那里）。性能强，但是无论用还是不用，机器和网络等成本都在那里。 虚拟主机： VPS主机可以像独立服务器一样分割出许多虚拟主机空间，每个空间都可以放许多网站，非常适合为中小企业、小型门户网站、个人工作室、SOHO一族提供网站空间，较大独享资源，安全可靠的隔离保证了用户对于资源的使用和数据的安全。 云服务器： 云服务器就是一些实际的硬件设备（很多个物理服务器），通过虚拟化技术，可以大规模统一调度，并当成“一台”机器的技术。你根本看不到它在哪里，看不到它的CPU、内存、硬盘，但是你可以轻松把它当成“一台”现实中的主机来操作，无论是配置软件、测试性能、还是上传文件都和传统服务器没什么区别。由是数量庞大的服务器阵列，在均衡负载之后诞生很多虚拟主机，无论是数据安全还是性能都有基本的保证。 可以说云服务器是一种类似VPS服务器的虚拟化技术，VPS是采用虚拟软件，VZ或VM在一台服务器上虚拟出多个类似独立服务器的部分，每个部分都可以做单独的操作系统，管理方法同服务器一样。 云服务器是在一组集群服务器上虚拟出多个类似独立服务器的部分，集群中每个服务器上都有云服务器的一个镜像，从而大大提高了虚拟服务器的安全稳定性，除非所有的集群内服务器全部出现问题，云服务器才会无法访问。
代理服务器（Proxy Server）是网上提供转接功能的服务器，在一般情况下，我们使用网络浏览器直接去连接其他Internet站点取得网络信息时，是直接联系到目的站点服务器，然后由目的站点服务器把信息传送回来。代理服务器是介于客户端和Web服务器之间的另一台服务器，有了它之后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。
internet中文名称是因特网。 常用浏览器：IE(即internet explorer，微软公司开发的浏览器)、Firefox（火狐浏览器）、chrome(谷歌浏览器)、Opera、Apple Safari、qq浏览器、360浏览器、搜狗浏览器等 Internet 前身：ARPANET。最初ARPANET主要用于军事研究。 www又称3w，中文名称是万维网。 不同的计算机之间必须使用相同的网络协议才能进行通信。Internet基于tcp/ip协议通信。 IE浏览器的发展经历了：IE6/7/8/9
很多人的电脑目前宽带拨号，或者在公司，都是内网IP，也就是说你只能连接别人，别人不能连接你
我从一个只知道Linux的小子，成长为一个能够实际操作、懂得思考问题、解决问题的人
先连网，找到屏幕右上角键盘旁边的一个网络图标，瞄准点左键，选“编辑连接” 对于ADSL拨号宽带连接上网，在出来的对话框右边，点 DSL 标签，然后点添加 在出来的对话框里，先打勾上边的 “自动连接”，
1、上新大官网 (opens new window)http://www.xju.edu.cn/，内网是插上网线就可以进的，依次点击为您服务-常用软件-新疆大学电信出口新客户端软件下载1.4.1beta，这是最新版的，兼容性会好一些。
Maximum Transmission Unit，缩写MTU，中文名是：最大传输单元。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
