健康问答语料的爬虫(C#)

为了实现健康问答系统的构建，需要找一些语料，发现好大夫在线的数据挺好的，于是花了一个小时时间，写了个爬虫，能够爬取其页面上显示的40个疾病左右的问答语料。

采用C#来编写，主要效率高一些。开辟了20个线程进行下载，约下载了30多万的问答语料。

爬取下来的结果如下所示：可以看到当中存在着几轮对话，当然也有一些噪声，如尽快填表等。

###### 鼻炎患者的治疗[鼻炎] http://www.haodf.com/wenda/wangzhenghe1_g_5409878737.htm y*** 状态：就诊前 2017-08-09 咨询标题：鼻炎患者的治疗 疾病： 鼻炎 过敏史： 无（2017-08-08填写） 病情描述： 过敏性鼻炎，检测花粉和灰尘过敏，现在鼻腔干燥，鼻粘膜损伤，眼睛痒，鼻塞。 希望提供的帮助： 如何用药治疗 所就诊医院科室： 石嘴山市第三人民医院 耳鼻喉 用药情况： 药物名称：盐酸西替利嗪 服用说明：1次每日 既往病史： 无（2017-08-08填写） 好大夫在线友情提示： 请详细描述或拍照上传疾病相关检查结果，以便医生了解病情，给出诊疗建议。 如何上传：您可以将检查报告用数码相机拍成照片，在您的咨询服务申请详情页面点击“补充资料”完成上传。 王** 大夫 2017-08-09 您好，咨询我已看到，为了给您提供更高质量的回复，需要您提供更多的信息，请配合填写一下问诊表 王** 大夫 2017-08-09 请尽快填表，我需要了解你的情况 王** 大夫 2017-08-09 请尽快填表，我需要了解你的情况 y*** 状态：就诊前 2017-08-12 我已完成了您下发的《小儿过敏性鼻炎问诊表》 点击查看详情 王** 大夫 2017-08-12 现在做什么治疗？ y*** 状态：就诊前 2017-08-16 服用盐酸西替利嗪，有症状时才服用。请问，如何系统治疗。 王** 大夫 2017-08-16 如果确诊是过敏性鼻炎，单单用这个药应该不够 $$$$$$

注：由于好大夫在线也设置了一些反爬虫策略，本文获取数据只是用于实验室实验用。