python如何抓取微博定时热搜

小白学大数据

发布于 2024-06-08 18:06:14

1050

发布于 2024-06-08 18:06:14

不知道大家在工作无聊时，是不是总想掏出手机，刷刷微博看下热搜在讨论什么有趣的话题，但又不方便直接打开微博浏览，今天就和大家分享一个有趣的小爬虫，那就是如何定时采集微博热搜榜&热评，下具体的实现方法我们接下来慢慢讲。首先我们需要找到微博排行、热度、标题，以及详情页的链接。热搜首页链接https://weibo.com/hot/search我们通过这个链接获取500条数据，热搜榜采集代码，然后发起请求，简单的代码如下<?php // 要访问的目标页面

// 代理服务器(产品官网 www.16yun.cn)
define("PROXY_SERVER", "tcp://t.16yun.cn:31111");

// 代理身份信息
define("PROXY_USER", "16YAQOZD");
define("PROXY_PASS", "660237");

$proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);

// 设置 Proxy tunnel
$tunnel = rand(1,10000);

$headers = implode("\r\n", [
    "Proxy-Authorization: Basic {$proxyAuth}",
    "Proxy-Tunnel: ${tunnel}",
]);
$sniServer = parse_url($urls, PHP_URL_HOST);
$options = [
    "http" => [
        "proxy"  => PROXY_SERVER,
        "header" => $headers,
        "method" => "GET",
        'request_fulluri' => true,
    ],
    'ssl' => array(
            'SNI_enabled' => true, // Disable SNI for https over http proxies
            'SNI_server_name' => $sniServer
    )
];
print($url);
$context = stream_context_create($options);
$result = file_get_contents($url, false, $context);
var_dump($result);

// 访问 HTTPS 页面
print($urls);
$context = stream_context_create($options);
$result = file_get_contents($urls, false, $context);
var_dump($result);

?>虽然我们获取的数量量不大，但是也可能会遇到网站封ip的，为保证程序的正常运行，我们可以加上代理ip，比如我们示例里面加的亿牛云代理，有了代理ip的辅助，整体的效果会好很多。关于Python定时爬取微博热搜示例介绍的文章就介绍到这了,更多相关Python爬取微博热搜内容我们下次分享学习。若有收获，就点个赞吧

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2024-06-07，如有侵权请联系 cloudcommunity@tencent.com 删除

python