我正在尝试找出在Twitch上每个游戏有多少粉丝。不幸的是,此信息不能从Twitch API获得。当我去任何游戏(如Mortal Kombat 11)时,我可以看到"115,175名追随者·199,041名观众“。然而,当我转到“查看源代码”时,这些信息就不在那里了。我已经尝试使用phantomjs打开站点,但到目前为止我还不能想出如何让该部分渲染。
我如何在Twitch上抓取给定游戏的追随者和观众数量?
(首选R中的解决方案,但不是强制性的)
发布于 2019-04-24 05:00:02
几个月前,我使用axios和cheerio创建了一个web scraper。
您可以使用带有get请求的axios获取整个HTML页面,然后使用cheerio开始查找您想要的信息在本例中,cheerio就像一个服务器端jquery。
下面是一个小示例:
import axios from 'axios';
import cheerio from 'cheerio';
import _ from 'lodash';
async function getStats () {
const html = await axios.get('http://www.espn.com/nba/team/_/name/ny');
const $ = cheerio.load(html.data);
const wonLooseRatio = $('.ClubhouseHeader__Record').children().first().text().trim();
console.log(wonLooseRatio); // 17-65
}
该图像说明了在抓取中的信息。
此外,请记住,一些网站认为网络抓取是非法的或违反他们的政策,确保你阅读twitch条款和条件,上面的例子只是为了教育目的。
希望能有所帮助。
https://stackoverflow.com/questions/55818223
复制相似问题