从Twitch中抓取数据
从Twitch中抓取数据
提问于 2019-04-24 03:33:05
我正在尝试找出在Twitch上每个游戏有多少粉丝。不幸的是，此信息不能从Twitch API获得。当我去任何游戏(如Mortal Kombat 11)时，我可以看到"115,175名追随者·199,041名观众“。然而，当我转到“查看源代码”时，这些信息就不在那里了。我已经尝试使用phantomjs打开站点，但到目前为止我还不能想出如何让该部分渲染。
我如何在Twitch上抓取给定游戏的追随者和观众数量？
(首选R中的解决方案，但不是强制性的)
回答 1
Stack Overflow用户
发布于 2019-04-24 05:00:02
几个月前，我使用axios和cheerio创建了一个web scraper。
您可以使用带有get请求的axios获取整个HTML页面，然后使用cheerio开始查找您想要的信息在本例中，cheerio就像一个服务器端jquery。
下面是一个小示例：
import axios from 'axios';
import cheerio from 'cheerio';
import _ from 'lodash';
async function getStats () {
const html = await axios.get('http://www.espn.com/nba/team/_/name/ny');
const $ = cheerio.load(html.data);
const wonLooseRatio = $('.ClubhouseHeader__Record').children().first().text().trim();
console.log(wonLooseRatio); // 17-65
}该图像说明了在抓取中的信息。
此外，请记住，一些网站认为网络抓取是非法的或违反他们的政策，确保你阅读twitch条款和条件，上面的例子只是为了教育目的。
希望能有所帮助。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55818223
复制相关文章
相似问题