腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
小灰灰
专栏成员
举报
415
文章
763733
阅读量
77
订阅数
订阅专栏
申请加入专栏
全部文章(415)
spring(170)
java(124)
https(70)
网络安全(55)
sql(47)
数据库(43)
编程算法(40)
spring boot(35)
github(33)
网站(29)
云数据库 SQL Server(25)
http(25)
容器(23)
xml(21)
jdk(21)
mybatis(19)
c++(16)
servlet(16)
html(16)
云数据库 Redis(16)
其他(14)
mvc(14)
php(13)
git(13)
android(12)
腾讯云测试服务(11)
maven(10)
aop(10)
开源(9)
数据结构(9)
json(8)
jar(8)
apache(8)
文件存储(7)
缓存(7)
javascript(6)
爬虫(6)
rabbitmq(6)
css(5)
lucene/solr(5)
存储(5)
分布式(5)
tcp/ip(5)
机器学习(4)
react(4)
打包(4)
linux(4)
命令行工具(4)
jdbc(4)
spring cloud(4)
case(4)
node.js(3)
api(3)
tomcat(3)
日志服务(3)
云数据库 MongoDB(3)
mongodb(3)
图像处理(3)
渲染(3)
jvm(3)
hashmap(3)
zookeeper(3)
大数据(3)
Elasticsearch Service(3)
nginx(2)
shell(2)
markdown(2)
socket编程(2)
微服务(2)
es(2)
注解(2)
对象存储(1)
mac os(1)
c 语言(1)
python(1)
vue.js(1)
jquery(1)
嵌入式(1)
ide(1)
unix(1)
centos(1)
容器镜像服务(1)
消息队列 CMQ 版(1)
腾讯移动分析(1)
人工智能(1)
express(1)
svg(1)
serverless(1)
面向对象编程(1)
asp(1)
gradle(1)
kafka(1)
groovy(1)
autowired(1)
bigdecimal(1)
bug(1)
class(1)
debug(1)
insert(1)
media(1)
null(1)
plugin(1)
png(1)
pojo(1)
row(1)
scale(1)
web(1)
二维码(1)
前端(1)
异常(1)
语法(1)
搜索文章
搜索
搜索
关闭
Spring之RestTemplate中级使用篇
spring
json
爬虫
mvc
前面一篇介绍了如何使用RestTemplate发起post和get请求,然而也只能满足一些基本的场景,对于一些特殊的如需要设置请求头,添加认证信息等场景,却没有提及可以怎么做,这一篇则相当于进阶版,将主要介绍
一灰灰blog
2018-08-15
2.5K
0
Java 动手写爬虫: 五 对象池
爬虫
java
第五篇,对象池的设计与实现 前面每爬取一个任务都对应一个Job任务,试想一下,当我们爬取网页越来越多,速度越来越快时,就会出现频繁的Job对象的创建和销毁,因此本片将考虑如何实现对象的复用,减少频繁的gc 设计 我们的目标是设计一个对象池,用于创建Job任务,基本要求是满足下面几点: 可以配置对象池的容量大小 通过对象池获取对象时,遵循一下规则: 对象池中有对象时,总对象池中获取 对象池中没有可用对象时,新创建对象返回(也可以采用阻塞,直到有可用对象,我们这里采用直接创建新对象方式) 对象用完后扔回对象
一灰灰blog
2018-02-06
649
0
Java 动手写爬虫: 三、爬取队列
爬虫
第三篇 爬取队列的实现 第二篇中,实现了深度爬取的过程,但其中一个比较明显的问题就是没有实现每个爬取作为一个独立的任务来执行;即串行的爬取网页中的链接;因此,这一篇将主要集中目标在并发的爬网页的问题
一灰灰blog
2018-02-06
1.9K
0
Java 动手写爬虫: 二、 深度爬取
爬虫
java
第二篇 前面实现了一个最基础的爬取单网页的爬虫,这一篇则着手解决深度爬取的问题 简单来讲,就是爬了一个网页之后,继续爬这个网页中的链接 1. 需求背景 背景比较简单和明确,当爬了一个网页之后,目标是不要就此打住,扫描这个网页中的链接,继续爬,所以有几个点需要考虑: 哪些链接可以继续爬 ? 是否要一直爬下去,要不要给一个终止符? 新的链接中,提取内容的规则和当前网页的规则不一致可以怎么办? 2. 设计 针对上面的几点,结合之前的实现结构,在执行 doFetchPage 方法获取网页之后,还得做一些其他的操
一灰灰blog
2018-02-06
2K
0
Java 动手写爬虫: 一、实现一个最简单爬虫
java
爬虫
第一篇 准备写个爬虫, 可以怎么搞? 使用场景 先定义一个最简单的使用场景,给你一个url,把这个url中指定的内容爬下来,然后停止 一个待爬去的网址(有个地方指定爬的网址) 如何获取指定的内容(可以配置规则来获取指定的内容) 设计 & 实现 1. 基本数据结构 CrawlMeta.java 一个配置项,包含塞入的 url 和 获取规则 /** * Created by yihui on 2017/6/27. */ @ToString public class CrawlMeta { /*
一灰灰blog
2018-02-06
3K
0
Java 动手写爬虫: 四、日志埋点输出 & 动态配置支持
java
爬虫
第四篇, 日志埋点输出 & 动态配置支持 前面基本上实现了一个非常简陋的爬虫框架模型,很多关键链路都没有日志,在分析问题时,就比较麻烦了,因此就有了这一篇博文 其次就是解决前几篇遗留的容易解决的问题 实际上,日志的输出应该贯穿在实际的开发过程中的,由于之前写得比较随意,直接System.out了, 所以现在就来填坑了 1.日志埋点设计 采用 logback 左右日志输出, 这里有一篇博文可供参考 《Logback 简明使用手册》 埋点的关键链路 当前爬取的任务信息 爬取任务的耗时 应用的状态(如爬取了多
一灰灰blog
2018-02-06
1.3K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档