首页
学习
活动
专区
工具
TVP
发布

JavaEdge

关注公众号:JavaEdge,加入全国最大的后端交流群。
专栏作者
2430
文章
2468468
阅读量
176
订阅数
位图:爬虫URL去重最佳方案
网页爬虫,解析已爬取页面中的网页链接,再爬取这些链接对应网页。而同一网页链接有可能被包含在多个页面中,这就会导致爬虫在爬取的过程中,重复爬取相同的网页。
JavaEdge
2023-02-26
1.3K0
Dubbo注册中心
➢ Multicast注册中心[掌握] ➢ Zookeeper注册中心[掌握] ➢ Redis注册中心[了解] ➢ Simple注册中心[了 解]
JavaEdge
2022-11-30
4740
Python分布式爬虫实战(三) - 爬虫基础知识
做爬虫的时候,经常都会听到 scrapy VS requests+beautifulsoup的组合 在本次分布式爬虫实现中只用scrapy而不用后者的原因是:
JavaEdge
2022-11-30
4890
消息传递系统场景
尽管这些直接消息传递系统在设计它们的环境中运行良好,但是它们通常要求应用代码意识到消息丢失的可能性。容错程度有限:即使协议检测到并重传在网络中丢失的数据包,它们通常也只是假设生产者和消费者始终在线。
JavaEdge
2022-10-04
5610
短链系统设计-用户自定义短链
实现一个顾客短网址,使得顾客能创立他们自己的短网址。即你需要在前文基础上再实现一个 createCustom。
JavaEdge
2022-09-14
2.1K0
关注专栏作者,随时接收最新技术干货
JavaEdge
华为软件开发工程师
短链系统设计性能优化-分片键选型及全局自增 ID 策略
但使用全局自增 id 不是解决 tiny url最佳方案。 Generating a Distributed Sequence Number
JavaEdge
2022-09-14
3070
短链系统设计-服务设计
该系统其实很简单,只需要有一个 service即可:URL Service。由于 tiny url只有一个 UrlService:
JavaEdge
2022-09-14
3330
短链系统设计-存储设计
scalability 要求多高?存储和 qps 都不高,单机都能搞定。sql+1
JavaEdge
2022-09-14
4990
短链系统设计性能优化-缓存提速及CDN
4 Scale 如何提高响应速度,和直接打开原链接一样的效率。 明确,这是个读多写少业务。 4.1 缓存提速(Cache Aside) 缓存需存储两类数据: long2short(生成新 short url 需要) short2long(查询 short url 时需要) 📷 4.2 CDN 利用地理位置信息提速。 优化服务器访问速度: 不同地区,使用通不同 web 服务器 通过 dns 解析不同地区用户到不同服务器 优化数据访问速度 使用中心化的 MySQL+分布式的 Redis 一个 MySQL 配多个
JavaEdge
2022-09-14
4840
短链系统设计-场景需求及性能要求分析
如 http://www.javaedge.com => http://bit.ly/1ULoQB6
JavaEdge
2022-09-14
5460
Spring怎么又 bug 了,响应结果居然乱码了?
期待"JavaEdge:dev 666",但是运行上述代码后,你会发现结果却是下面这样:
JavaEdge
2021-12-07
6050
彻底讲清Web开发的Cookie、Session机制
会话(Session)跟踪是Web程序中常用的技术,用来跟踪用户的整个会话 常用的会话跟踪技术是Cookie与Session。 Cookie通过在客户端记录信息确定用户身份 Session通过在服务器端记录信息确定用户身份
JavaEdge
2021-12-07
7240
彻底讲清Web开发的Cookie、Session机制
会话(Session)跟踪是Web程序中常用的技术,用来跟踪用户的整个会话 常用的会话跟踪技术是Cookie与Session。 Cookie通过在客户端记录信息确定用户身份 Session通过在服务器端记录信息确定用户身份
JavaEdge
2021-10-18
1.1K0
GET和POST到底啥区别了
这都是一些经典面试材料抄袭的"经典"的答案,没有一点权威意义,不一提,今天我们就从官方RFC文档一探究竟
JavaEdge
2021-02-23
3680
JDK为何自己首先破坏双亲委派模型?
如果有一个类加载器能加载某个类,称为定义类加载器,所有能成功返回该类的Class的类加载器都被称为初始类加载器。
JavaEdge
2021-02-23
4640
Spring MVC报错: java.lang.IllegalStateException: Ambiguous mapping. Cannot map 'XXXController' method
该控制器下有两个相同的url,导致spring容器不知道该url映射到哪个方法,在程序源挑错指南网站高票答案也可看出:
JavaEdge
2021-02-23
1.4K0
@RequestParam,@PathParam,@PathVariable等注解区别
@RequestParam 和 @PathVariable 注解是用于从request中接收请求的,都可接收参数
JavaEdge
2021-02-23
1.2K0
统一资源定位符分清URL、URL、URN
统一资源标识符(Uniform Resource Identifier,URI),用于标识某一互联网资源名称的字符串。
JavaEdge
2021-02-22
8690
JavaWeb全栈开发前后端交互通用标准
在开发中,URL主要是由后台来写好给前端。 若后台在查询数据,需要借助查询条件才能查询到前端需要的数据时,这时后台会要求前端提供相关的查询参数(即URL请求的参数)。
JavaEdge
2021-02-22
7.7K0
Dubbo源码解析实战 - 路由Router的奥秘
集群容错中的第二个关键词Router,中文意思就是路由 前端的路由和后端的路由他们是不同的,但是思想是基本一致的. 鉴于很多技术文章都有一个诟病,就是只讲概念,却不讲应用场景,其实Router在应用隔离,读写分离,灰度发布中都有它的影子.因此本篇用灰度发布的例子来做前期的铺垫
JavaEdge
2021-02-22
2890
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档