全网采集工具（msray）-百度搜索引擎进行全网采集
原创
全网采集工具（msray）-百度搜索引擎进行全网采集
Msray-plus，是一款采用GO语言开发的企业级综合性爬虫/采集软件。
支持：搜索引擎结果采集、域名采集、URL采集、网址采集、全网域名采集、CMS采集、联系信息采集
支持亿级数据存储、导入、重复判断等。无需使用复杂的命令，提供本地WEB管理后台对软件进行相关操作，功能强大且简单易上手!
1：可从国内外多个搜索引擎批量采集用户导入的关键词对应的搜索结果(SERP数据)，并进行结构化数据存储与自定义过滤处理；
2：可从用户提供的url种子地址，源源不断的自动爬取全网网站数据，并进行结构化数据存储与自定义过滤处理；
3：可从用户提供的网站列表数据中，全自动的提取出网站联系方式信息，包括但不限于邮箱、手机/电话、QQ、微信、facebook、twitter等。
同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑。
MSRAY-PLUS可从国内外多个搜索引擎批量采集用户导入的关键词对应的搜索结果(SERP数据)，并进行结构化数据存储与自定义过滤处理。支持存储与导出的数据包括：
所属引擎：如 baidu
关键词：如 招牌
域名：如 www.msray.net
根网址: 如 http://www.msray.net
网址(url): 如 http://www.msray.net/page/1.html
IP: 如 113.123.12.123
IP所属国家： 如 美国
标题：如 这是一个网站的标题
描述：如 这是一个网站的描述内容
访问状态码：如 200目前支持百度手机端、百度电脑端、必应、谷歌、神马、搜狗、Yandex、QWANT、DuckDuckGo等等主流搜索引擎，并且不断添加中...
支持导出自动拓展出的关键词数据，并可显示拓展词的来源；
支持持续性的根据种子关键词，全自动拓展出相关词并采集(无限采集)；
1：配置采集参数
2: 执行采集任务
3: 采集结果预览
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。