Node.js爬虫数据抓取 -- 问题总结

一  返回的信息提示  Something went wrong 

request模块请求出现未知错误

其中,所用代码如下(无User-Agent部分)

问题多次派查无果,包括:

  1:postman请求正常

  2. curl 请求正常

  解决办法:

为请求添加user-agent头,如取消上注释部分。(我发现,只要有了user-agent这个key,无论其value是否为空,都可以正常返回了)

所以对于模拟请求,有时候相应的http头部信息还是必须的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏aCloudDeveloper

UNIX环境高级编程笔记之线程

  本章涉及到线程的一些基本知识点,讨论了现有的创建线程和销毁线程的POSIX.1原语,此外,重点介绍了线程同步问题,讨论了三种基本的同步机制:互斥量、读写锁、...

2626
来自专栏企鹅号快讯

OS命令注入详解

关于OS命令执行漏洞我相信各位并不陌生,那今天我也就在这里分享一些OS命令注入的经验与技巧。 OS命令执行漏洞介绍: 原理: 应用程序有时需要调用一些执行系统命...

9069
来自专栏抠抠空间

浅谈virtualenv(虚拟环境)

1833
来自专栏惨绿少年

默认权限umask、文件系统权限、特殊权限

第1章 权限相关错误 1.1 普通用户 ls /root/ /root  属于root 普通用户没有任何权限,所以无法查看 [oldboy@znix ~]$ l...

4590
来自专栏桥路_大数据

React Natived打包报错java.io.IOException: Could not delete path '...\android\support\v7'解决

4319
来自专栏java闲聊

多个Mysql安装

1925
来自专栏刺客博客

Linux下升级python2.7到python3.5

这里显示的Python版本是2.7,而不是刚下载的3.5。这是因为python被软连接到python2.7了。可以在/usr/bin下查看python link...

2152
来自专栏IT技术精选文摘

微服务架构中的服务发现

为什么使用服务发现? 我们假设您正在编写一些调用具有REST API或Thrift API的服务的代码。为了发送请求,您的代码需要知道服务实例的网络位置(IP...

2548
来自专栏Rgc

ubuntu环境部署项目

 安装 nginx:  https://www.cnblogs.com/EasonJim/p/7806879.html

2862
来自专栏龙首琴剑庐

win7 + manjaro linux 双系统安装

这里统一采用efi引导,因此windows系统必须win7 64 或更新系统。 1、在别的电脑选择一个PE系统写入U盘,比如大白菜,真的大白菜。 2、PE系统中...

91711

扫码关注云+社区

领取腾讯云代金券