点击某一个用户, 进去查看用户的详情信息
3. 用户详情页右侧有猜你喜欢, 链接到一个新的用户详情页
需要注意的是, 用户推荐, 会出现重复推荐的情况....拿到我们想要的地址,以及点击地址跳转的url. 把地址信息保存到数据库. 数据量预估300
2. 通过url循环获取用户列表. 拿到页面详情url, 在获取用户详情信息. 把用户信息保存到数据库....抓取的某个城市的用户列表
?
具体某个人的详细信息
?
至此, 完成了单机版爬虫. 再来回顾一下....需要使用自定义的http请求, 设置header 的User-agent,否则服务器请求被拒绝
使用函数式编程. 函数的特点就是灵活. 灵活多变. 想怎么封装都行....这里是在cityParse解析出user信息的时候,使用了函数式编程.把用户名传递过去了