从代码到内容：使用C#和Fizzler探索Instagram的深处

using System;
using System.Collections.Generic;
using System.Linq;
using System.Net;
using System.Net.Http;
using System.Text;
using System.Threading.Tasks;
using Fizzler.Systems.HtmlAgilityPack;
using HtmlAgilityPack;
using Newtonsoft.Json;

namespace InstagramScraper
{
    // 定义一个自定义的类，用来保存Instagram的内容
    public class InstagramItem
    {
        public string ImageUrl { get; set; } // 图片的URL
        public string UserName { get; set; } // 用户的昵称
        public int Likes { get; set; } // 点赞的数量
    }

    // 定义一个爬虫的类，用来实现Instagram的爬虫
    public class InstagramScraper
    {
        // 定义一些常量，如API地址，代理IP的域名，端口，用户名和密码等
        private const string ApiUrl = "https://www.instagram.com/graphql/query/?query_hash={0}&variables={1}";
        private const string QueryHash = "e769aa130647d2354c40ea6a439bfc08"; // 查询的类型，表示获取图片的信息
        private const string ProxyHost = "http://www.ProxyPort.com"; // 爬虫代理-标*准*版 域名
        private const int ProxyPort = 9010; // 爬爬虫代理-标*准*版的 端口
        private const string ProxyUser = "YUNUN"; // 爬虫代理-标*准*版 用户名
        private const string ProxyPass = "YUNPASS"; // 爬虫代理-标*准*版 密码
        private const string UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36"; // 请求头中的User-Agent
        private const string Referer = "https://www.instagram.com/"; // 请求头中的Referer
        private const string Cookie = "sessionid=...; csrftoken=...; ds_user_id=...;"; // 请求头中的Cookie，需要替换为有效的值

        // 定义一个HttpClient的实例，用来发送和接收HTTP请求
        private readonly HttpClient _httpClient;

        // 定义一个列表，用来保存爬取到的Instagram内容
        private readonly List<InstagramItem> _items;

        // 定义一个对象，用来实现线程安全
        private readonly object _locker;

        // 定义一个构造函数，用来初始化HttpClient和其他字段
        public InstagramScraper()
        {
            // 创建一个HttpClientHandler的实例，用来设置代理IP和请求头等
            var handler = new HttpClientHandler
            // 设置代理IP的地址和凭证
            handler.Proxy = new WebProxy(ProxyHost, ProxyPort)
            {
               Credentials = new NetworkCredential(ProxyUser, ProxyPass)
            };

            // 创建一个HttpClient的实例，传入handler作为参数
            _httpClient = new HttpClient(handler);

            // 设置请求头中的User-Agent，Referer和Cookie等
            _httpClient.DefaultRequestHeaders.Add("User-Agent", UserAgent);
            _httpClient.DefaultRequestHeaders.Add("Referer", Referer);
            _httpClient.DefaultRequestHeaders.Add("Cookie", Cookie);

            // 初始化列表，用来保存爬取到的Instagram内容
            _items = new List<InstagramItem>();

            // 初始化对象，用来实现线程安全
            _locker = new object();
         }

          // 定义一个公共的方法，用来启动爬虫
         public async Task StartScrapingAsync(string tag, int limit)
         {
        // 根据标签和限制的数量，构造第一个请求的参数
        var variables = new
        {
            tag_name = tag,
            show_ranked = false,
            first = limit
        };

        // 将参数转换为JSON字符串
        var variablesJson = JsonConvert.SerializeObject(variables);

        // 调用私有的方法，发送请求并处理数据
        await ScrapeAsync(QueryHash, variablesJson);

        // 输出爬取到的Instagram内容的数量
        Console.WriteLine($"Scraped {_items.Count} items.");
    }

        // 定义一个私有的方法，用来发送请求并处理数据
        private async Task ScrapeAsync(string queryHash, string variablesJson)
        {
           try
           {
            // 根据API地址，查询类型和参数，构造完整的请求地址
            var url = string.Format(ApiUrl, queryHash, variablesJson);

            // 使用HttpClient发送GET请求，获取响应
            var response = await _httpClient.GetAsync(url);

            // 检查响应的状态码，如果不是200，表示请求失败，抛出异常
            if (!response.IsSuccessStatusCode)
                {
                throw new Exception($"Request failed: {response.StatusCode}");
                }

            // 从响应中读取JSON数据
            var json = await response.Content.ReadAsStringAsync();

            // 将JSON数据转换为C#对象
            var data = JsonConvert.DeserializeObject<dynamic>(json);

            // 从C#对象中提取感兴趣的内容，如图片的URL，用户的昵称，点赞的数量等
            var edges = data.data.hashtag.edge_hashtag_to_media.edges;

            // 遍历每一个内容
            foreach (var edge in edges)
            {
                // 创建一个InstagramItem的实例，用来保存内容的信息
                var item = new InstagramItem();

                // 使用Fizzler的QuerySelector方法，使用CSS选择器来提取内容的信息
                var node = edge.node;
                item.ImageUrl = node.display_url;
                item.UserName = node.owner.username;
                item.Likes = node.edge_liked_by.count;

                // 使用lock关键字，保证线程安全，将内容添加到列表中
                lock (_locker)
                {
                    _items.Add(item);
                }

                // 输出内容的信息
                Console.WriteLine($"ImageUrl: {item.ImageUrl}");
                Console.WriteLine($"UserName: {item.UserName}");
                Console.WriteLine($"Likes: {item.Likes}");
                Console.WriteLine();
            }

            // 从C#对象中提取分页的信息，如是否有下一页，下一页的游标等
            var pageInfo = data.data.hashtag.edge_hashtag_to_media.page_info;
            var hasNextPage = pageInfo.has_next_page;
            var endCursor = pageInfo.end_cursor;

            // 如果有下一页，构造下一个请求的参数，递归调用自己，继续爬取数据
            if (hasNextPage)
            {
                // 根据标签和游标，构造下一个请求的参数
                var nextVariables = new
                {
                    tag_name = tag,
                    show_ranked = false,
                    first = limit,
                    after = endCursor
                };

                // 将参数转换为JSON字符串
                var nextVariablesJson = JsonConvert.SerializeObject(nextVariables);

                // 递归调用自己，发送请求并处理数据
                await ScrapeAsync(queryHash, nextVariablesJson);
            }
        }
           catch (Exception ex)
           {
            // 如果发生异常，输出异常信息
            Console.WriteLine($"Error: {ex.Message}");
        }
        }
    }

    // 定义一个主程序，用来测试爬虫的功能
    class Program
    {
        static async Task Main(string[] args)
        {
           // 创建一个InstagramScraper的实例
           var scraper = new InstagramScraper();

           // 调用StartScrapingAsync方法，传入标签和限制的数量，启动爬虫
           await scraper.StartScrapingAsync("cat", 100);
    }
}