腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
FunTester
Fun·BUG挖掘机·性能征服者·头顶锅盖·Tester
专栏成员
举报
915
文章
813899
阅读量
47
订阅数
订阅专栏
申请加入专栏
全部文章(915)
腾讯云测试服务(385)
java(194)
编程算法(143)
自动化测试(133)
自动化(130)
性能测试(117)
apache(101)
groovy(70)
http(63)
selenium(63)
uml(61)
api(60)
测试(53)
网站(50)
单元测试(48)
json(40)
android(40)
数据库(36)
sql(34)
go(32)
linux(31)
python(29)
接口测试(29)
数据(28)
实践(27)
javascript(26)
devops(26)
网络安全(25)
ide(22)
jvm(22)
腾讯云开发者社区(21)
https(19)
接口(19)
性能(19)
对象(18)
工作(18)
线程(17)
云数据库 Redis(15)
爬虫(15)
socket编程(15)
测试策略(15)
系统(14)
云数据库 SQL Server(13)
缓存(13)
gradle(13)
安全(13)
开发(13)
配置(13)
html(12)
jar(12)
工具(12)
php(11)
开源(11)
函数(11)
连接(11)
软件(11)
maven(10)
存储(10)
jdk(10)
框架(10)
xml(9)
软件测试(9)
打包(8)
git(8)
正则表达式(8)
敏捷开发(8)
jenkins(8)
功能测试(8)
其他(7)
github(7)
深度学习(7)
serverless(7)
压力测试(7)
shell(7)
hashmap(7)
rpc(7)
微信(7)
队列(7)
管理(7)
设计(7)
线程池(7)
异步(7)
cci 持续集成(6)
dns(6)
jdbc(6)
网站渗透测试(6)
变量(6)
并发(6)
日志(6)
最佳实践(6)
负载均衡(5)
node.js(5)
unix(5)
神经网络(5)
文件存储(5)
访问管理(5)
socket.io(5)
分布式(5)
windows(5)
kafka(5)
负载测试(5)
bug(5)
编译(5)
工程师(5)
监控(5)
客户端(5)
浏览器(5)
视频(5)
效率(5)
机器学习(4)
c++(4)
css(4)
负载均衡缓存(4)
人工智能(4)
gui(4)
mybatis(4)
数据结构(4)
微服务(4)
sdk(4)
验证码(4)
测试服务(4)
app(4)
chatgpt(4)
测试工具(4)
产品(4)
多线程(4)
高性能(4)
开发者(4)
面试(4)
统计(4)
优化(4)
字符串(4)
对象存储(3)
官方文档(3)
面向对象编程(3)
tcp/ip(3)
class(3)
com(3)
for循环(3)
mysql(3)
netty(3)
websocket(3)
并发编程(3)
程序(3)
行业(3)
脚本(3)
进程(3)
敏捷(3)
模型(3)
内存(3)
搜索(3)
同步(3)
通信(3)
线程安全(3)
项目经理(3)
协程(3)
序列化(3)
异常(3)
语法(3)
源码分析(3)
区块链(2)
mac os(2)
bash(2)
windows server(2)
容器镜像服务(2)
spring(2)
命令行工具(2)
消息队列 CMQ 版(2)
短信(2)
运维(2)
spring boot(2)
二叉树(2)
机器人(2)
虚拟化(2)
白盒测试(2)
黑盒测试(2)
fiddler(2)
链路测试(2)
etcd(2)
数据库管理(2)
腾讯云(2)
chrome(2)
ethereum(2)
httpclient(2)
list(2)
map(2)
plotly(2)
trace(2)
编程(2)
编码(2)
编译器(2)
操作系统(2)
插件(2)
登录(2)
泛型(2)
服务(2)
服务器(2)
公众号(2)
基础(2)
集群(2)
教程(2)
漏洞(2)
内存管理(2)
事件(2)
数学(2)
调试(2)
网络(2)
异常处理(2)
依赖注入(2)
云服务器(1)
NLP 服务(1)
自动驾驶(1)
ios(1)
ruby(1)
lua(1)
actionscript(1)
.net(1)
servlet(1)
scala(1)
regex(1)
jquery(1)
ajax(1)
typescript(1)
nosql(1)
access(1)
搜索引擎(1)
bash 指令(1)
laravel(1)
日志服务(1)
云数据库 MongoDB(1)
NAT 网关(1)
海外加速(1)
mongodb(1)
图像处理(1)
DevOps 解决方案(1)
企业(1)
express(1)
xslt & xpath(1)
容器(1)
游戏(1)
黑客(1)
html5(1)
图像识别(1)
numpy(1)
监督学习(1)
markdown(1)
dubbo(1)
大数据(1)
小程序(1)
数据分析(1)
数据处理(1)
数据可视化(1)
物联网(1)
nat(1)
canvas(1)
ascii(1)
ipv6(1)
app测试(1)
es(1)
手机行业(1)
adb(1)
assert(1)
atomic(1)
bat(1)
bitmap(1)
block(1)
build(1)
case(1)
channel(1)
config(1)
cookies(1)
dalvik(1)
debug(1)
druid(1)
dump(1)
el(1)
excel(1)
func(1)
get(1)
gin(1)
google(1)
header(1)
heap(1)
iframe(1)
input(1)
int(1)
jacoco(1)
jsonpath(1)
kill(1)
lambda(1)
lock(1)
logcat(1)
math(1)
native(1)
phaser(1)
pool(1)
process(1)
record(1)
redis(1)
restful(1)
runtime(1)
select(1)
session(1)
src(1)
stream(1)
stringbuilder(1)
swipe(1)
thread(1)
token(1)
uuid(1)
watch(1)
web(1)
wifi(1)
yaml(1)
youtube(1)
闭包(1)
笔记(1)
编程语言(1)
遍历(1)
测试开发(1)
测试自动化(1)
程序员(1)
持续交付(1)
代码质量(1)
递归(1)
定时器(1)
定时任务(1)
服务端(1)
函数式编程(1)
后端(1)
后台(1)
互联网(1)
继承(1)
技巧(1)
架构(1)
兼容性(1)
解决方案(1)
镜像(1)
可视化(1)
快捷键(1)
垃圾回收(1)
流量(1)
路由(1)
命令行(1)
模块化(1)
求职(1)
权限(1)
全栈(1)
软件开发(1)
设计模式(1)
渗透测试(1)
生命周期(1)
手机(1)
数组(1)
算法(1)
索引(1)
腾讯(1)
图表(1)
协议(1)
虚拟机(1)
研发(1)
用户体验(1)
原理(1)
源码(1)
中间件(1)
主机(1)
回归测试(1)
2023腾讯·技术创作特训营 第一期(1)
搜索文章
搜索
搜索
关闭
程序员的AB面
自动化
爬虫
性能测试
程序员
接口
FunTester
2023-08-04
171
0
微信公众号文章爬虫实践
爬虫
markdown
json
腾讯云开发者社区
php
年前发了一篇FunTester公众号原创文章总结FunTester原创大赏,但是整理的时候却发现自己没有记录文章的发表日期,导致有一些文章由于发表日志过早(且排名靠前)影响了一丝阅读体验,所以我想了一个办法爬取了每篇文章的发表时间,在自己整理的Markdown文档中增加发表日期内容。
FunTester
2022-04-01
1.2K
0
图片爬虫实践
爬虫
之前写了一个Java&Groovy下载文件对比,其中主要的实践就是通过下载图片验证的功能。之前也承诺过一个图片爬虫的功能,刚好有个机会写了一个爬虫,下载一些二维码图片的素材。
FunTester
2021-03-11
443
0
Java&Groovy下载文件对比
php
groovy
apache
java
爬虫
最近工作有个上传和下载的相关的测试,所以就写了一个下载文件(目前都是图片)的方法。Java不过瘾,顺手也找了一下Groovy的下载文件方法。
FunTester
2021-03-11
730
0
scrapy 工作踩坑记
爬虫
1. 一次启动所有爬虫 ### crawlall.py from scrapy.commands import ScrapyCommand class Command(ScrapyCommand): requires_project = True def syntax(self): return '[options]' def short_desc(self): return 'Runs all of the spiders' def
FunTester
2020-12-24
403
0
关注专栏作者,随时接收最新技术干货
FunTester
隐藏技能性能测试
关注
用户6343696
大连东软实习生
关注
用户5563503
关注
用户8176918
关注
FunTester原创文章(升级篇)
爬虫
编程算法
api
腾讯云测试服务
java
公众号:FunTester,原创分享爱好者,腾讯云、掘金社区、开源中国推荐,知乎八级原创作者,主要方向接口功能、自动化、性能测试,兼顾白盒测试,框架开发,业务开发。工作语言Java和Groovy,欢迎关注。 GitHub地址 测开笔记 我的开发日记(一) 我的开发日记(二) 我的开发日记(三) 我的开发日记(四) 我的开发日记(五) 我的开发日记(六) 我的开发日记(七) 我的开发日记(八) 我的开发日记(九) 我的开发日记(十) 我的开发日记(十一) 我的开发日记(十二) 我的开发日记(十三) 我的开发日
FunTester
2020-12-01
3.8K
0
记一次失败的爬虫
爬虫
收到一天振奋人心的假新闻,导致我去找了公开信息网站定点药店的信息,虽然结果比较失败,过程还是挺欢乐的,记录下来又可以水一篇文章了。以下是原文:
FunTester
2020-02-17
320
0
如何在跨浏览器测试中提高效率
腾讯云测试服务
网站
android
selenium
爬虫
Web端应用测试主要障碍之一就是在不同的浏览器上“测试他们的网站/应用程序”,也称为“跨浏览器测试”或者“兼容性测试”。浏览器和浏览器版本很多(Google Chrome,Mozilla Firefox,Internet Explorer,Microsoft Edge,Opera,Yandex等),可以通过多种设备(通过台式机,笔记本,智能手机,平板电脑等)访问网站/应用。)以及可能用于访问网站的多种操作系统(Windows,MacOS,Linux,Android,iOS等)。
FunTester
2020-01-17
628
0
爬虫实践--CBA历年比赛数据
爬虫
闲来无聊,刚好有个朋友来问爬虫的事情,说起来了CBA这两年的比赛数据,做个分析,再来个大数据啥的。来了兴趣,果然搞起来,下面分享一下爬虫的思路。
FunTester
2019-11-15
573
0
爬取720万条城市历史天气数据
爬虫
java
apache
内容爬虫完毕,校验完毕,缺失信息暂未统计。总数据720万,地区3200个,年份从2011-2019,大小950Mb,原始数据已丢失,需要的朋友可以自己运行脚本挂一晚上。中间遇到了很多坑,有机会我再写一遍博客专门讲讲大量数据爬虫遇到的坑。
FunTester
2019-10-24
1.1K
0
电子书网站爬虫实践
网站
爬虫
canvas
脚本
搜索
近期搜电子是的时候发现一个有趣的网站,很多精校版的电子书,由于好奇,就想做一个爬虫把名称汇总一下。(具体原因在于canvas的页面背景效果在Chrome浏览器里面特别消耗资源)自己去搜索书名,然后找下载地址。十几分钟,脚本基本写完,一晚上时间也差不多能够跑完了。
FunTester
2019-10-23
678
0
groovy爬虫实例——历史上的今天
http
sql
json
爬虫
github
最近做了一个历史上今天的爬虫程序,跟历史天气数据源一致,数据量比较小,几十秒就爬完了。中间遇到一些问题,一起分享出来供大家参考。本项目源码和相关数据已经上传到了github,有兴趣的朋友可以去看看,会不定期更新。
FunTester
2019-10-23
692
0
selenium2java让浏览器停止加载的方法
爬虫
多线程
快捷键
浏览器
本人在使用selenium2java的过程中,偶然会遇到一些网页一直在加载,大概是防爬虫的一些东西,或者网速太慢了,或者有一些请求一直没有返回,今天想到一个办法,使用多线程按快捷键esc来使浏览器停止加载。试了效果不错,分享出来,供大家参考。
FunTester
2019-09-25
954
0
httpclient 多线程爬虫实例
爬虫
本人最近在研究安全测试的过程中,偶然发现某站一个漏洞,在获取资源的时候竟然不需要校验,原来设定的用户每天获取资源的次数限制就没了。赶紧想到用爬虫多爬一些数据,但是奈何数据量太大了,所以想到用多线程来爬虫。经过尝试终于完成了,脚本写得比较粗糙,因为没真想爬完。预计10万数据量,10个线程,每个线程爬1万,每次爬100个数据(竟然是 get 接口,有 url 长度限制)。
FunTester
2019-09-18
688
0
httpclient爬虫爬取汉字拼音等信息
apache
linux
自动化测试
java
爬虫
下面是使用httpclient爬虫爬取某个网站的汉字相关信息的实践代码,中间遇到了一些字符格式的问题。之前被同事见过用html解析类来抓取页面信息,而不是像我现在用正则,经常尝试,效果并不好,毕竟页面放爬虫还是非常好做的。在本次实践中,就遇到了相关的难点,所以还是才去了正则提取的方式。分享代码,供大家参考。关键信息并未隐去。
FunTester
2019-09-17
913
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档