如何将xargs -P 20与curl和主机列表一起使用
xargs是一个命令行工具，用于将标准输入的数据作为参数传递给其他命令。-P参数用于指定并行执行的进程数。
curl是一个用于发送HTTP请求的工具，可以通过URL获取数据或发送数据到服务器。
当结合xargs -P 20和curl以及主机列表时，可以实现并行地向多个主机发送HTTP请求。
具体步骤如下：
- 创建一个包含主机列表的文本文件，每行一个主机地址。
- 使用xargs命令读取主机列表文件，并将每行主机地址作为参数传递给curl命令。
- 使用xargs命令读取主机列表文件，并将每行主机地址作为参数传递给curl命令。
- -P 20指定同时执行的进程数为20，可以根据实际情况调整。
- -I {}指定占位符{}，用于替换每行的主机地址。
- curl命令中的-s参数表示静默模式，不显示进度信息。
- -o /dev/null将curl的输出重定向到/dev/null，即丢弃输出。
- -w "%{http_code} %{url_effective}\n"指定输出格式，显示HTTP响应码和请求的URL。
- 执行上述命令后，xargs将并行地将主机列表中的每个主机地址替换到curl命令中，并发送HTTP请求。
这种方法适用于需要向多个主机发送相同的HTTP请求的场景，例如批量检查多个网站的可用性或性能。
腾讯云相关产品推荐：
- 云服务器（CVM）：提供弹性计算能力，可用于部署和运行应用程序。
- 产品介绍链接：https://cloud.tencent.com/product/cvm
- 负载均衡（CLB）：用于将流量分发到多个云服务器，提高应用的可用性和负载能力。
- 产品介绍链接：https://cloud.tencent.com/product/clb
- 云函数（SCF）：无服务器计算服务，可按需执行代码逻辑，无需管理服务器。
- 产品介绍链接：https://cloud.tencent.com/product/scf
相关·内容
还有一个努布的问题..我有一个脚本，这是检查主机从列表中一个接一个的http响应。如何使用xargs或其他方法将其升级到multitrhead？ #!/bin/bashcat list.txt | while read stringtest=$(curl -I --path-as-is -s -k "http:
浏览 13提问于2020-01-19得票数 0
回答已采纳
2回答
我使用xargs + seq并行运行数千次命令。例如，在20个并行进程中运行curl 10,000次：但是，xargs将因此，它最终有效地运行：
curl "https://www.example.com&#x
浏览 5提问于2020-10-08得票数 0
回答已采纳
7回答
例如，如果我发出20个请求，我希望它们同时执行。for ((request=1;request<=20;request++)) for ((x=1;x<=20;x++)) time curl -X POST
浏览 0提问于2017-09-22得票数 41
1回答
下面是我正在运行的命令：此命令的响应是一个URL，如下所示：
$ curl 'http://test.com/?id=12345' | grep -o -P '(?<=content="2;url=)
浏览 1提问于2016-12-16得票数 0
回答已采纳
4回答
sapid", } .... upto 1 million例如，我必须使用这个curl <REST Server URL with temp.json as input> "Content-Type: application/json" -d @temp.json
我的服务器一次不会接受
浏览 6提问于2020-08-19得票数 1
回答已采纳
我希望在shell脚本中依次运行traceroute -w2和traceroute6 -w2，以尝试多个不同的主机。一种简单的方法可能只是使用一个临时变量来收集内部的所有主机(例如，将HOSTS设置为ordns.he.net one.one.one.one google-public-dns-a.google.com)，然后将其单独输送到每个命令，例如echo $HOSTS | xargs -n1 traceroute -w2等，但这在tcsh中的工作方式与在bash中不同，如果您想要添
浏览 0提问于2019-01-05得票数 1
回答已采纳
我试图理解如何使用xargs -n选项来循环csv文件，并运行CURL操作将输出收集到文件中，以获得更快的处理时间。我需要根据CSV文件和URI检查网页的健康状况(其中1000 s)。URI.csvaccountclose
cat URI.csv \ xargs -n1 -I {} /bin/bash -c 'curl我知道，我可以使用类似-<
浏览 0提问于2018-04-03得票数 2
回答已采纳
我有一个域列表，我想添加前缀http和https。为了通过代理将目标添加到burp套件中，为此我使用curl，但只添加“http"：
xargs -n1 -P 10 curl -o /dev/null --silent -x 127.0.0.1:8080
浏览 2提问于2016-02-01得票数 1
回答已采纳
2回答
/bin/bash curl -o /dev/null --silent --head --write-out "%{http_code} $LINE\n"测试：我已经尝试过其他选择，例如福平 (考虑到列表的大小非常有限)、吡咯 (冻结)、惠特、GNU并行等等。这里是一种带有xargs的解决方案，但是输出与原始脚本不同。问题：如何使用此脚本启动多个查询(并行处理)，以便同时处理多行(如果可以手动设置要处
浏览 0提问于2019-08-30得票数 4
回答已采纳
1回答
我想使用PHP从服务器A向服务器B发出并行请求。Curl、Multi Handle和Http Pooling哪种方式最好。
这两种方法的优缺点是什么？请给我推荐一种在性能，内存消耗，CPU使用率方面最好的优化方法。
浏览 10提问于2014-05-30得票数 0
有些文件名有空格( xargs有问题)。这个片段返回一个列表文件名，可以流水线到沙格中：
如何将片段与xargs一起用于处理文件名中可能有空格的.pdf文件？-name
浏览 0提问于2022-03-23得票数 0
arg #sequence and curl| xargs seq 1 | xargs -L 1 printf "?pagelen=50&page=%s&${1:-$project}\n" \
| xargs -I {} -L 1 -P 20 -I {} ba
浏览 0提问于2019-11-19得票数 4
1回答
使用链接源文件压缩并行请求
、、、、
我有这个脚本来通过一个URL列表和检查返回代码使用Curl。navbase.txt"
HTTP_CODE=$(curl也许我可以使用一些并行的Curl请求，但是在一个"for“循环中使用"xargs”，同时打印一条消息似乎并不可行。我能够
浏览 0提问于2022-01-04得票数 0
我使用curl和sed一起过滤它来创建下载的urls：cat ~/dirlist.txt | xargs mkdir
然后我可以下载它们，将所有
浏览 1提问于2018-07-21得票数 0
回答已采纳
1回答
我有一个简单的参数化作业，只有一个步骤，分支和计数是作业参数。首先，我尝试从命令行使用Jenkins REST API：
for c in $(seq 1 15000); do curl -X POST http://<server ip>:8080/job/TEST_SIMPLE我的第二次尝试是使用另一个作业，它通过使用系统groovy脚本并调用'job.scheduleBuild‘API来触发这个'TEST_SIMPLE’作业。
浏览 2提问于2017-04-03得票数 2
我使用xargs生成2550个数字，将其分成100个args，每个行共26行，其中26行只包含50个args。22 lines, 2150 args 22 2150 10043 /tmp/out我相信这个问题与底层shell无关，因为shell将在命令执行和等待
浏览 6提问于2015-09-08得票数 5
回答已采纳
1回答
我不是专业的脚本编写或找到命令的任何时候(只是一个警告)。我正在尝试创建一个脚本，它可以将我所有的mp3播客移动到一个文件夹中，然后我可以移动到我的手机上。find /home/jason/gPodder/ -name '*.mp3' -exec bash " cp '{}' /home/jason/gPodder/mp3/ " \;bash: cp
浏览 0提问于2017-08-29得票数 5
回答已采纳
4回答
如何替换文字双引号？
、、、
每行一个，如下所示：{"_id":"1","name":"one"}{"_id":"3","name":"three"}curl<source xargs -I % curl -X POST -H "appl
浏览 3提问于2014-07-16得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
