首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

一款用GO语言编写JS爬取工具~

分享一个自己在实战过程中用比较顺手JS爬取工具 @Author: pingc0y https://github.com/pingc0y/URLFinder URLFinder URLFinder是一款用于快速提取检测页面中...JS与URL工具 通常用于快速查找隐藏在页面或js敏感或未授权api接口 功能类似于JSFinder,开发由来就是使用它时候经常返回空或链接不全,作者还不更新修bug,那就自己来咯 URLFinder...更专注于提取页面中JS与URL链接,提取数据更完善且可查看状态码、内容大小、标题等 基于golang多线程特性,几千个链接也能几秒内出状态检测结果 有什么需求或bug欢迎各位师傅提交lssues...功能说明 1.提取页面与JSJS及URL链接(页面URL最多深入一层,防止抓偏) 2.提取到链接会显示状态码、响应大小、标题等(带cookie操作时请使用-m 3 安全模式,防止误操作) 3.支持配置...结果会优先显示200,按从小到大排序(输入域名最优先,就算是404也会排序在其他子域名200前面) 使用截图 单url截图(旧版截图) ‍批量url截图 (旧版截图) 使用教程 单url时使用

1.5K20
您找到你想要的搜索结果了吗?
是的
没有找到

一款用GO语言编写JS爬取工具~

分享一个自己在实战过程中用比较顺手JS爬取工具 @Author: pingc0y https://github.com/pingc0y/URLFinder URLFinder URLFinder...是一款用于快速提取检测页面中JS与URL工具 通常用于快速查找隐藏在页面或js敏感或未授权api接口 功能类似于JSFinder,开发由来就是使用它时候经常返回空或链接不全,作者还不更新修bug...,那就自己来咯 URLFinder更专注于提取页面中JS与URL链接,提取数据更完善且可查看状态码、内容大小、标题等 基于golang多线程特性,几千个链接也能几秒内出状态检测结果 有什么需求或bug...欢迎各位师傅提交lssues 功能说明 1.提取页面与JSJS及URL链接(页面URL最多深入一层,防止抓偏) 2.提取到链接会显示状态码、响应大小、标题等(带cookie操作时请使用-m 3 安全模式...other 结果会优先显示200,按从小到大排序(输入域名最优先,就算是404也会排序在其他子域名200前面) 使用截图 单url截图(旧版截图) 批量url截图 (旧版截图) 使用教程

1.6K20

Node.js 编写 CLI 实践

本文作者:ivweb 程柳锋 导语 通常而言,Node.js应用场景有前后端分离、海量web页面渲染服务、命令行工具和桌面端应用等等。...本篇文章选取CLI(Command Line Tools)子领域,来谈谈Node.js编写CLI实践,让CLI切实解决实际工程问题。 Why Node.js?...常用用来编写CLI语言有 python, ruby, perl, Node.js等等。 为什么选取Node.js作为CLI语言编写工具呢?...看个demo 注: 此处Logo使用是figlet这个npm包, demo地址 npm关联CLI基本原理 如何让Node.js编写包可执行?...之后,需要编写一个规则引擎,这个规则引擎里面有多个规范相关检查工具,解析完成后会将结果生成HTML格式字符串。最后调用邮件服务和定时任务服务去通知相关开发者。

2.4K00

Node.js编写组件几种方式

Node.js编写组件几种方式 本文主要备忘为Node.js编写组件三种实现:纯js实现、v8 API实现(同步&异步)、借助swig框架实现。...简介 首先介绍使用v8 API跟使用swig框架不同: (1)v8 API方式为官方提供原生方法,功能强大而完善,缺点是需要熟悉v8 API,编写起来比较麻烦,是js强相关,不容易支持其它脚本语言...(2)swig为第三方支持,一个强大组件开发工具,支持为python、lua、js等多种常见脚本语言生成C++组件包装代码,swig使用者只需要编写C++代码和swig配置文件即可开发各种脚本语言C...(4)编写测试js代码 const m = require('....组件 利用swig框架编写Node.js组件 (1)编写好组件实现:.h和.cpp ** eg: namespace a { class A{ public: int add(int a, int y

1.3K41

如何使用Node.js编写命令工具——以vue-cli为例

vue-cli全局安装之后,提供了vue命令和vue init、vue list、vue build三个子命令,通过命令可以搭建基于vue.js脚手架项目。本文简单介绍一下这些命令是如何实现。...vue-cli项目目录 如下图,由之前文章介绍,npm安装过程中,可以利用package.json中bin字段配置,将bin目录下命令文件软连到全局命令。...official templates') .command('build', 'prototype a new project') .parse(process.argv)  该命令采用commander.js...:主要设置命令参数,同时提供参数对应说明文档,默认提供option是--help。...> 这里仍需要解析process.argv,所以在vue-init中又引入了commander.js,生成了一个program program .usage(' [

1.7K80

编写兼容性JS代码

前文介绍了:  1 DOM四个常用方法   2 使用DOM核心方法完成属性填充 本篇主要介绍在JS中需要注意几个地方,另外为了减小html与javascript耦合使用java进行onclick...方法编写。   ...其实javascript不是一门简单语言,但是由于入门简单,很多人使用时候,都是直接复制粘贴,导致网页中充斥着大量冗余代码。   ...但是在编写合格javascript代码时,需要注意:   1 平稳退化:保证在不支持js或者低版本浏览器也能正常访问   2 分离javascript:把html与javascript分离,有助于后期代码维护...  3 向后兼容性:确定老版本浏览器不会因为脚本禁止而死掉   4 性能考虑:确定脚本执行最优   编写优化代码   针对前一篇中相册代码,这里主要修改地方是把onclick方法删除,在页面加载时

3.2K90

字段匹配工具----python编写

简介 FuzzyWuzzy是一个基于Levenshtein Distance算法模糊字符串匹配工具包。该算法计算两个序列之间差异,即从一个字符串转换到另一个字符串所需最少编辑操作次数。...编辑距离越小,两个字符串相似度越大。 详解 场景 前两天工作遇到了一个场景。是一个数据集匹配另一个数据集,正常来说是一对一或者多对一关系,但是由于叫法差异,只能进行模糊匹配。比如中国和中华。...'Sun', 30)] print(process.extractOne("culture", choices)) # 结果: ('culture', 100) 场景解决 需要使用process模块extractOne...循环第一个数据集,依次使用process.extractOne()方法匹配第二个数据集,来得到匹配度最高项。

35520

一次编写,到处发布工具

Java标语是:Write once,Run anywhere 但我们今天不说 Java 做技术要想持续输出就要有输入,输入方法之一就是写点东西,慢慢提升自己在圈子影响力 今天我整理了一个写作工具箱...,让你事半功倍提高自己博文技巧(如果你有写作需求就向下看,没有就马上关掉学习其他内容去吧) 其实相关工具我已经用了有一段时间了(我过往文章截图) OpenWrite openwrite.cn...坚决支持与助力原创博主内容输出 助力博主运营,一文多发平台:CSDN、博客园、思否、开源中国、掘金等一键搞定!...https://zh-cn.wordpress.com/ Ghost:https://ghost.org/ 博客群发平台 OpenWrite 博客一键群发:https://openwrite.cn 配色工具...网站配色:http://www.peise.net/tools/web/ 图片工具 在线水印管家:https://www.apowersoft.cn/online-watermark-remover

50020

教你怎么编写高效JSON工具

在这里笔者整理了一个完整工具类,能够帮助大家快速而高效开发,妈妈再也不用担心我在这一块出错了。...,里面用到一个工具包就是Gson,这个包里面集成了很多对JSON数据操作方法,可以让我们很轻松完成对这一块数据转换操作。...加进项目后就可以使用这么一个工具类了。下面就来简单介绍下这个工具用法吧!...像这种类型数据,我们可以通过调用工具类将JSON数组转换成StudengCount对象,转换起来很方便,可以大大减少开发中部必要麻烦。...工具类中还有很多方法,这里只讲解了常用三种,有兴趣可以多研究研究。大家可以在实际开发中直接使用到,希望能帮到大家!

1.1K30

Gitbook电子书编写工具

简述 GitBook是一个非常酷电子书编写工具,之前在学Git时候就曾经接触过一个叫"ProGit"电子书,我们可以在很多网站上都可以直接以静态网页形式浏览他,比如这里和这里,非常酷。...与此同时,他还能够非常方便翻译成各种不同语言,非常便捷进行文章修改,并且能非常自然融合进不同网站。...后来仔细一查,发现原来这本书本身就发布在Github上,并且用了一个特殊工具进行处理,这个工具就是Gitbook。...更重要是,在Github这样一个自由开放平台共享书籍,势必能够促进知识交流与传播,对整个人类而言都是一件非常有意义事情。...当然,为了能够方便我们使用MarkDown+Gibook+GitHub进行编写和版本控制,他们也发布了一个挺不错编辑器,名字也叫GitBook,使用起来也是非常方便: 不过使用GitBook进行编写时候

89110

采用go编写工具

用windows过程中发现一个很不便地方,以前用类Unix系统,可以很方便写脚本完成一些小任务,但在windows里就变得很麻烦。解决方案有好几种: 使用cygwin之类bash环境模拟器。...但涉及windows命令与cygwin里命令互操作时,会出现一些问题,解决起来很麻烦。 使用微软powershell写脚本。不太想学一门新类bash脚本语言。...最后想了下,之前用过Go,可以用它来写小工具,试了试还挺好使,下面举几个小例子。...部署hexo博客 package main import ( "path/filepath" "os/exec" "os" "log" ) // 此命令工具用于将hexo部署至服务器 func...log.Fatal(err) } } 杀Tomcat package main import ( "os/exec" "log" "bufio" "strings" "io" ) // 此命令工具杀掉意外未死

1.2K40
领券