首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

关于大型网站技术演进的思考(一)--存储的瓶颈(1)

前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训,两天12个小时信息量非常大,知识的广度和难度也非常大,培训完后我很难完整理出全部听到的知识,今天我换了个思路是回味这次培训,这个思路就是通过本人目前的经验和技术水平来思考下大型网站技术演进的过程。   首先我们要思考一个问题,什么样的网站才是大型网站,从网站的技术指标角度考虑这个问题人们很容易犯一个毛病就是认为网站的访问量是衡量的指标,懂点行的人也许会认为是网站在单位时间里的并发量的大小来作为指标,如果按这些标准那么像hao123这样的网

015

python爬虫-2018那年我破解了天某查

2017年我自己写代码开发了各种爬虫系统,喜欢破解各种网站验证码,cookie加密,采集数据被封ip技术,从事了5年多php和python技术研发工作,破解过天猫、淘宝、天某查、企查查、启信宝等各种网站的数据爬虫技术工作,随着互联网技术的发展,大数据和人工智能成为当前的风口,大数据和人工智能是未来的趋势和方向,于是技术也从互联网技术扩展到大数据技术,关于爬虫技术,从事爬虫工作有不少的心得,希望能够给其他的朋友分享一些个人的经验和心得。以下从天某查、天猫、淘宝等个种网站的数据采集面临的技术和如何快速的得采集到整个网站的数据而且不受限制和封号。(需要爬虫技术交流的朋友欢迎加我qq:2779571288)

01

网站速度优化之“动静分离”、有效减轻后端服务器压力!

在介绍动静分离之前,我感觉还是有必要介绍一下:什么是静态网站?什么是动态网站?由于我之前已经在一篇个人博客中详细介绍了动静态网站,在这里就不再做详细的描述(有需要的小伙伴可以前往了解:《什么是动静态网站?》)。知道什么是动态网站之后,我们拿最常见的PHP动态网站来说,一次完整的网站加载请求中,浏览器客户端会向服务器请求一系列所需静态文件:.html;.css;.js;.jpg;.png还有一些字体文件等,当然还包括动态请求:***.php等。而所谓的“动静分离”是将网站静态资源(HTML,CSS,JS,JPG,PNG等文件)与后台应用分开部署,提高用户访问静态文件的速度,降低对后台应用访问,这样您的小服务器就可以把全部精力投入到动态请求的查询和解析中去,从而有效的减轻后端服务器的压力。

09
领券