https://www.cnblogs.com/poloyy/category/1680176.html
ECMAScript是JavaScript的核心，但如果要在web中使用JavaScript，那么BOM则是真正的核心，BOM提供了很多对象，用于访问浏览器的功能，这些功能与任何网页内容无关。
模拟浏览器功能，自动执行网页中的js代码，实现动态加载。使请求更加真实(好像是真的浏览器在请求)
ECMAScript模块是 JavaScript 的新标准格式。在Node.js中越来越多的库逐渐从从CommonJS转移到ES模块
01 — 什么是RPO攻击？ RPO（Relative Path Overwrite）相对路径覆盖，是一种新型攻击技术，最早由GarethHeyes在其发表的文章中提出。主要是利用浏览器的一些特性和部
当下浏览器内核主要有 Webkit、Blink 等。本文分析注意是自 2001 年 Webkit 从 KHTML 分离出去并开源后，各大浏览器厂商魔改 Webkit 的时期，这些魔改的内核最终以 Chromium 受众最多而脱颖而出。本文就以 Chromium 浏览器架构为基础，逐层探入进行剖析。
看到上面的那只蜘蛛没？别误会，今天要教你如何玩上面的蜘蛛。我们正式从0到1轻松学会Python爬虫.......
phantomjs 是一个基于js的webkit内核无头浏览器 也就是没有显示界面的浏览器，利用这个软件，可以获取到网址js加载的任何信息，也就是可以获取浏览器异步加载的信息
htmlunit是一款开源的Java页面分析工具，读取页面后，可以有效的使用htmlunit 分析页面上的内容。项目可以模拟浏览器运行，被誉为Java浏览器的开源实现。这个没有界面的浏览器，运行速度也是非常迅速的。
我们在学习web知识的时候就已经学过了状态码的相关知识，我们知道这是服务器给我的相关反馈，我们在学习的时候就被教育说应该将真实情况反馈给客户端，但是在爬虫中，可能该站点的开发人员或者运维人员为了阻止数据被爬虫轻易获取，可能在状态码上做手脚，也就是说返回的状态码并不一定就是真实情况，比如:服务器已经识别出你是爬虫，但是为了让你疏忽大意，所以照样返回状态码200，但是响应体重并没有数据。
浏览器中有JS解析引擎：每个浏览器的解析引擎都不一样，Chrome浏览器中的V8解析引擎最好。
When something is important enough, you do it even if the odds are not in your favor.
在后端为了加速服务的访问速度，通常可以使用 Memcached、Redis 做数据缓存，那么在浏览器端又有哪些缓存策略呢？
根据上图，我们可以知道：评论使用了Ajax异步刷新技术。这样就不能使用以前分析当前页面找出规律的手段了。因为展示的页面只有部分评论，还有大量的评论没有被刷新出来。
Chrome浏览器在浏览器类应用软件中一直居于榜首，很多人选择Chrome浏览器不仅仅是因为它的稳定，还有它丰富的可拓展性。那么有没有想自己开发一款自己的谷歌浏览器插件呢？本文将介绍大家手动开发一个谷歌浏览器插件获取cookies.
相信每一个前端er对于跨域这两个字都不会陌生，在实际项目中应用也是比较多的。但跨域方法的多种多样实在让人目不暇接。老规矩，碰到这种情况，就只能自己总结一篇博客，作为记录。
随着开发过程中自动 UI 测试的兴起，无头浏览器已变得非常流行。网站爬虫和基于 HTML 的内容分析也有无数的用例。
一、 分析： 抓取动态页面js加载的人民日报里面的新闻详情 https://wap.peopleapp.com/news/1 先打开，然后查看网页源码，发现是一堆js，并没有具体的每个新闻的url详情，于是第一反应，肯定是js动态加载拼接的url。然后接着按f12 查看，就看url，发现出来了好多url。 然后点击具体的某一个新闻详情页面，查看url，把这个url的 后面两个数字其中一个拿到访问主页的时候，f12 抓包结果里面去查找，发现一个url，点击这个url，发现preview里面有好多数据，我第一反应，肯定是每个新闻数据了。看到这些数据里面有两个ID，联想到刚刚访问具体新闻详情页面也有两个数字，肯定，具体新闻页面肯定是 https://wap.peopleapp.com/article 加上两个ID形成的。于是试了一下拼接一个url访问，果然是。于是乎只要抓到这个url，就能获取到每个新闻的详情页了。
为什么需要刷PV？提升排名，提升权重，提升收录，以前我通过Go操作无头浏览器进行刷PV，并且执行页面Js。今天我在想是否可以通过Java来刷我新上线的某网站，同时我也不想依赖谷歌浏览器，于是找到了一个纯Java实现的包，坐标位置如下：
前面有分享过requests采集Behance 作品信息的爬虫，这篇带来另一个版本供参考，使用的是无头浏览器 selenium 采集，主要的不同方式是使用 selenium 驱动浏览器获取到页面源码，后面获取信息的话与前篇一致。
本章主要内容 构建并启动Electron应用 生成package.json,配置成Electron应用 在你的项目中包含预先构建Electron版本 配置package.jso
在使用Vue搭建的一个后端管理系统中，我使用axios请求本地的Node环境下的接口，但是请求失败，然后我错误信息是：
Themeablebrowser是一个外部浏览器插件，它fork自inappbrowser，相比于后者，此插件的目的是提供一个可以与你的应用程序的主题相匹配的in-app-browser，以便给你的应用保持一致的外观和感觉。所以，除了一些主题化的配置外，核心部分使用参考inappbrowser文档。
XSS（Cross Site Scripting）攻击全称跨站脚本攻击，为了不与层叠样式表CSS(Cascading Style Sheets)混淆，故将跨站脚本攻击缩写为XSS。
“CSS文件在header中引入，JS文件在body底部引入”，这条建议在前端界几乎是黄金法则。
HTTP缓存（ ETag、Cache-Control）——谷歌开发者 HTTP缓存有利于web性能优化
“瑞数” 是逆向路上的一座大山，是许多JS逆向者绕不开的一堵围墙，也是跳槽简历上的一个亮点，我们必须得在下次跳槽前攻克它！！ 好在现在网上有很多讲解瑞数相关的文章，贴心的一步一步教我们去分析瑞数流程，分析如何去扣瑞数逻辑，企图以此教会我们 (手动狗头)。却鲜有文章详细去讲解如何通过纯补环境的方式过瑞数。今天，它来了！
众所周知，早期 JavaScript 原生并不支持模块化，直到 2015 年，TC39 发布 ES6，其中有一个规范就是 ES modules（为了方便表述，后面统一简称 ESM）。但是在 ES6 规范提出前，就已经存在了一些模块化方案，比如 CommonJS（in Node.js）、AMD。ESM 与这些规范的共同点就是都支持导入（import）和导出（export）语法，只是其行为的关键词也一些差异。
一、什么是防盗链 网站资源都有域的概念，浏览器加载一个站点时，首先加载这个站点的首页，一般是index.html或者index.php等。页面加载，如果仅仅 是加载一个index.html页面，那么该页面里面只有文本，最终浏览器只能呈现一个文本页面。丰富的多媒体信息无法在站点上面展现。 那么我们看到的各类元素丰富的网页是如何在浏览器端生成并呈现的？其实，index.html在被解析时，浏览器会识别页面源码中的 img，script等标签，标签内部一般会有src属性，src属性一般是一个绝对的URL地址或者相
主要思路就是爬取播放页里的播放源文件的url，程序可以读取用户输入并返回歌单，，，因为在线网站包含大量js，requests就显得很无奈，又懒得手动解析js，于是寄出selenium大杀器。 selnium是一款很强大的浏览器自动化测试框架，直接运行在浏览器端，模拟用户操作，目前selenium支持包括IE,Firefox,Chrome等主流浏览器及PhantomJS之类的无头浏览器，selenium+phantomjs也是现在很火的一个爬虫框架。 代码不长，做的有些简陋，以后可以加个GUI
提起Chrome扩展插件(Chrome Extension)，每个人的浏览器中或多或少都安装了几个插件，像一键翻译、广告屏蔽、录屏等等，通过使用这些插件，可以有效的提高我们的工作效率；但有时候，我们想要的某个功能市面上没有现成的插件，作为开发者自然而然想到，自己是否可以动手开发一个定制化的插件？网上目前很多不错的关于Chrome插件的开发教程，可以帮助我们快速上手开发一个插件， 本文换个思路，从应用着手，通过讲解插件的特性来启发读者在工作中哪些场景可以通过插件来解决。
总结：seo是网站为了提高自已的网站排名，获得更多的流量，对网站的结构及内容进行调整和优化，以便搜索引擎 （百度，google等）更好抓取到优质网站的内容。
作为一个前端小白，入门跟着这四个来源学习，感谢作者的分享，在其基础上，通过自己的理解，梳理出的知识点，或许有遗漏，或许有些理解是错误的，如有发现，欢迎指点下。
0x00 起因 不久前@三好学生师傅买了一个wooyun wifi,然后聊到了缓存投毒： 然后看到wooyun wifi的这个说明： 默认情况下该功能附带缓存投毒功能，将视图缓存所有的页面至2099年
web driver 是可以直接操作浏览器的driver, 根据不同的浏览器，需要不同的driver,下面列出了一些可用的web driver的镜像地址： chrom浏览器的web driver（chromedriver.exe）：http://npm.taobao.org/mirrors/chromedriver/ firefox（火狐浏览器）的web driver （geckodriver.exe）：https://github.com/mozilla/geckodriver/releases IE(IEDriverServer_Win32_3.9.0.zip 是32位的3.9.0 driver): http://selenium-release.storage.googleapis.com/index.html web自动化测试中，可以通过webdriver的API，向浏览器发送相应的request, 然后实现自动测试，比如自动点击，自动填写，自动滚动，自动切换窗口/标签页等。 但是如上所述，不同的浏览器有不同的web driver. 那么自然也就有不同的API提供，所以对于同一个功能，那么就需要基于不同的driver,学习不同的API,这操作起来，岂不是头疼？ 在python中，我们只需要按照如下导入webdriver, 就可以轻松用一种方式来应付各种不同的web driver了:
简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前；
在web产品优化准则中，很重要的一条是针对js脚本的加载和执行方式的优化。本篇文章简单描述一下其中的优化准则。 1. 脚本加载优化 1.1 脚本位置对性能的影响 优化页面加载性能的原则之一是将script标签放在body底部，这跟浏览器的渲染原理有关： js脚本的下载和执行会阻塞浏览器的解析。在较早时期，浏览器不支持并行下载的时候，js脚本的下载执行按照在html文档中的位置依次进行，可以想象当页面有大量js脚本时页面的加载有多慢； js脚本的下载会阻塞其他资源的下载，比如图片、外链css等。虽然目前大多数
Kali Linux内已经有BeEF的环境，只需要进入/usr/share/beef-xss目录下，./beef运行即可
更新 http://www.bootcdn.cn/jquery.pjax/ 简介 pjax是一个jQuery插件，使用ajax和pushState技术提供快速的浏览体验与真正的永久链接、网页标题、以及浏览器的后退前进按钮操作。 pjax通过抓取HTML从您的服务器通过Ajax和更换容器页面上的HTML内容会与Ajax。然后更新无需重新加载你的网页的布局或任何资源使用pushstate浏览器的当前URL（JS，CSS），提供了一个快速的外观，全页面加载。但它确实就是Ajax和pushstate。 点击这里查看
计算机与网络设备要相互通信，必须要遵循一定的规则，我们把这种规则称为协议。协议会规定好谁先发起请求，怎么寻找服务器地址，怎么获取请求内容，怎么响应请求等等。
作为一个前端，经常会有老板或测试给我们提出某个地方加载太慢了，需要优化一下。我们自己的网站也一样，加载时间过长，自己都不耐烦，对于网页优化是很常见的，今天我们先介绍下网页加载原理。
在上一篇文章中，我们介绍了浏览器的渲染流程，这篇文章中，我们将重点聚焦在渲染阻塞上，来详细看一下渲染阻塞以及一些常见的解决方法。
最近朋友需要让我帮忙设计能抓取网页特定数据的爬虫，我原以为这种程序实现很简单，只要通过相应的url获得html页面代码，然后解析html获得所需数据即可。但在实践时发现我原来想的太简单，页面上有很多数据根本就无法单纯从html源码中抓取，因为页面展现的很多数据其实是js代码运行时通过ajax的从远程服务器获取后才动态加载页面中，因此无法简单的通过读取html源码获得所需数据。
在 JavaScript 逆向过程中，我们可能找到了一些入口，但是深入追踪下去，就发现这个过程过于复杂，调用层级越来越深，最终很难完全把整个过程完整还原出来，不得不放弃。
在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值。
Web文档(document)：一些呈现静态信息的页面，虽然有的页面是会动的，但信息本身还是静态！
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
