我有一个问题为抓取URL,如果我使用Chrome的开发工具,我看到的URL和预览如果内容,但如果我打算从浏览器打开URL返回我404找不到。
这是包含AJAX数据的URL。我需要parte.of的赔率比较:http://www.betexplorer.com/soccer/england/premier-league/wolves-manchester-city/Kz6hM15m/这是一个AJAX数据的网址: www.betexplorer.com/gres/ajax/matchodds.php?p=0&e=Kz6hM15m&b=1x2这个网址返回404在浏览器中找不到,但在嘉年华的网址显示赔率。是否有可能从第二个url获取数据?
谢谢。
发布于 2018-08-21 08:12:13
在快速检查你的问题中提到的网站后,我发现它在处理请求时正在检查referer和user-agent。
添加值为"http://www.betexplorer.com/“的标头"Referer”和一个随机的“类似浏览器”的用户代理,生成具有请求的odds的json响应:)
例如:
<?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "http://www.betexplorer.com/gres/ajax/matchodds.php?p=0&e=Kz6hM15m&b=1x2");
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:7.0.1) Gecko/20100101 Firefox/7.0.12011-10-16 20:23:00");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_REFERER, "http://www.betexplorer.com/");
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
$output = curl_exec($ch);
curl_close($ch);
https://stackoverflow.com/questions/51939474
复制相似问题