blocks|key|5004357|text|HtmlAgilityPack是你的朋友。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|5004358|entityMap|0|LINK|mutability|MUTABLE|url|http://htmlagilitypack.codeplex.com/^0|0|F|0|0^^$0|@$1|2|3|4|5|6|7|L|8|@]|9|@$A|M|B|N|1|O]]|C|$]]|$1|D|3|-4|5|6|7|P|8|@]|9|@]|C|$]]]|E|$F|$5|G|H|I|C|$J|K]]]]

<a href="http://htmlagilitypack.codeplex.com/" rel="nofollow">HtmlAgilityPack</a> is your friend.

blocks|key|1313894|text|是的，HtmlAgeilityPack是一个解析超文本标记语言的好工具，但这肯定是不够的。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1313895|有3个要抓取的元素：|1313896|HTTP1)爬行本身，即在网站中循环：这可以通过向随机IP地址发送请求来完成，但这并不起作用，因为许多网站使用带有主机报头的共享IP地址，所以使用IP不会命中它。另一方面，有太多的IP地址没有使用或没有托管web服务器，所以这不会给你带来任何好处。|1313897|我建议你向google发送请求(从字典中搜索单词)，然后抓取返回的结果。|1313898|2)呈现内容：许多网站在表单加载时生成JavaScript格式的内容，因此如果您发送一个简单的请求，它将无法捕获用户所能看到的内容。您需要像浏览器一样呈现页面，这可以使用Webkit.net来实现，这是一个开源工具，但仍处于测试阶段。|offset|length|style|BOLD|1313899|HTML3)理解和解析：使用HTML，网上有大量的例子。这也可以用来抓取网站。|1313900|entityMap|0|LINK|mutability|MUTABLE|url|http://webkitdotnet.sourceforge.net/^0|0|0|0|0|0|7|2D|A|0|0|B|1|0^^$0|@$1|2|3|4|5|6|7|X|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|Y|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|Z|8|@]|9|@]|A|$]]|$1|F|3|G|5|6|7|10|8|@]|9|@]|A|$]]|$1|H|3|I|5|6|7|11|8|@$J|12|K|13|L|M]]|9|@$J|14|K|15|1|16]]|A|$]]|$1|N|3|O|5|6|7|17|8|@$J|18|K|19|L|M]]|9|@]|A|$]]|$1|P|3|-4|5|6|7|1A|8|@]|9|@]|A|$]]]|Q|$R|$5|S|T|U|A|$V|W]]]]

Yes, HtmlAgeilityPack is a good tool to parse the HTML but that is definitely not enough.

There are 3 elements to crawling:

1) Crawling itself i.e. looping through web sites: This can be done by sending requests to random IP addresses but this does not work well since many websites use shared IP address HTTP with host header so using IP does not hit it. On the other hand, there are far too many IP addresses unused or not hosting a web server so this does not get you anywhere.

I suggest you send request to google (search for words from a dictionary) and crawl the results coming back.

2) Rendering the content: Many websites generate the HTML content in JavaScript when the form is loaded so if you send a simple request, it will not be able to capture the content as a user would be able to see. You need to render the page as browser does and that can be done using <a href="http://webkitdotnet.sourceforge.net/" rel="nofollow">Webkit.net</a> which is an open source tool although still in beta.

3) Comprehending and parsing the HTML: use HTML pack and there are tons of examples online. This can be used to crawl the site as well.

blocks|key|5004432|text|前段时间，我也想写一个自定义的网络爬虫，找到了这个文档：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|5004433|Web+Crawler|offset|length|5004434|它有一些很好的信息，并且写得很好。|5004435|entityMap|0|LINK|mutability|MUTABLE|url|http://www.google.com/url?sa=t&source=web&cd=3&sqi=2&ved=0CDEQFjAC&url=http%253A%252F%252Fciteseerx.ist.psu.edu%252Fviewdoc%252Fdownload%253Fdoi%253D10.1.1.62.4776%2526rep%253Drep1%2526type%253Dpdf&rct=j&q=web%2520crawler%2520algorithm&ei=HBLbTPcLisKwA4uvockH&usg=AFQjCNF2TfICSkp-rgpI9Fd9taWLU08BGw&sig2=Em-hF0iEigcLOrp7F4qr4w&cad=rja^0|0|0|B|0|0|0^^$0|@$1|2|3|4|5|6|7|P|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|Q|8|@]|9|@$D|R|E|S|1|T]]|A|$]]|$1|F|3|G|5|6|7|U|8|@]|9|@]|A|$]]|$1|H|3|-4|5|6|7|V|8|@]|9|@]|A|$]]]|I|$J|$5|K|L|M|A|$N|O]]]]

A while ago I also wanted to write a custom web crawler, and found this document:

<a href="http://www.google.com/url?sa=t&amp;source=web&amp;cd=3&amp;sqi=2&amp;ved=0CDEQFjAC&amp;url=http%3A%2F%2Fciteseerx.ist.psu.edu%2Fviewdoc%2Fdownload%3Fdoi%3D10.1.1.62.4776%26rep%3Drep1%26type%3Dpdf&amp;rct=j&amp;q=web%20crawler%20algorithm&amp;ei=HBLbTPcLisKwA4uvockH&amp;usg=AFQjCNF2TfICSkp-rgpI9Fd9taWLU08BGw&amp;sig2=Em-hF0iEigcLOrp7F4qr4w&amp;cad=rja" rel="nofollow">Web Crawler</a>

It has some great info, and is very well written IMO.

I've tried to find som good how to, or some example that is good for beginners when it comes to write your first web crawler. I would like to write it in c#. Does anybody have any good example code to share or some tips on some sites where I can find info for c#, and some bacic webcrawling. 

Thanks

Writing my first webcrawler

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

我试着找到一些好的方法，或者一些例子，当涉及到编写你的第一个网络爬虫时，对初学者来说是很好的。我想用c#写它。有没有人有什么好的示例代码可以分享，或者在一些网站上有一些提示，我可以在这些网站上找到c#的信息，或者一些bacic网络爬行。谢谢

问编写我的第一个网络爬虫
EN

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问编写我的第一个网络爬虫EN