1、苏宁百万级商品爬取 思路讲解 类别爬取
苏宁类别面 https://list.suning.com/
解析图.png
通过图可知，总共有N个类别，每个类别都是一个DIV区块，然后再继续分解DIV区块分析内容。我们要得到的是类别表，据图所示我们可以分析得出类别表的结构应当树形的。所以涉及的表应该是包含子节点和父节点的。初步设计图如下
Id | Pid | Code | Name | Url |
|---|---|---|---|---|
主键 | 父节点 | 编码 | 名称 | 地址 |
解析图2.png
我们可以得到解析图2对应的 Xpath为：//*[@id="20089"]/div[2]/div[2] 。可是因为是通过ID作为唯一Key来向下找，所以我们需要先得到所有的Key值。这个方法被我放弃而选用了另外一种方式。
/html/body/div[5]/div[2].首先找到如果所示xpath对应的内容
/html/body/div[5]/div[2].png 那么如果我们想要得到下属的内容只需要增加一个后缀 /html/body/div[5]/div[2]/div 此时我们得到了所有模块的内容，那么我们接下去分析
一级.png
二级+三级.png
还是以“手机配件”为例。一级类别，二级类别、三级类别如果所示。我们又如何得到内容，然后将其变成单元行的形式插入数据库中呢？
解决方案如下 根据网页内容可知，一级类别包含着二级类别，二级类别包含着三级类别。所以我们可以采用如下方式。 首先获取所有一级类别，即解析图2.png所示内容。 一级类别 A方法 循环当前内容 1、解析内容 增加当前A级类别实体 2、循环包含的二级内容，处理 3、合并实体 二级类别 B方法 循环当前内容 1、解析内容 增加当前B级类别实体 2、循环包含的三级级内容，处理 3、返回实体给A方法 三级类别 C方法 循环当前内容 1、解析内容 增加当前C级类别实体 2、返回实体给B方法
ABC.png
代码讲解
ABC(Combine)方法 遍历InitA方法获取的内容，增加A实体后将ANode作为参数传递给InitB方法。依次类推，最后得到符合要求的实体。
private static List<POCO_Category> CombineA_B_C()
{
List<POCO_Category> AList = new List<POCO_Category>();
int idIndex = 1;
foreach (HtmlNode xNode in InitA())
{
POCO_Category aModel = new POCO_Category()
{
Id = ToLevelCode(idIndex),
PId = "000",
Levels = 1,
Code = ToLevelCode(idIndex),
Name = xNode.SelectSingleNode("./h2").InnerText
};
AList.Add(aModel);
var blist = InitB(aModel, xNode);
AList.AddRange(blist);
idIndex = idIndex + blist.Count + 1;
}
return AList;
}
private static List<HtmlNode> InitA()
{
var url = "https://list.suning.com/#20089";
var web = new HtmlWeb();
var docWeb = web.Load(url);
//var cssNodes = docWeb.DocumentNode.CssSelect(".search-main.introduce.clearfix > div").ToList();//147毫秒
List<HtmlNode> xpathNodes = docWeb.DocumentNode.SelectNodes("/html/body/div[5]/div[2]/div").ToList();
return xpathNodes;
}
private static List<POCO_Category> InitB(POCO_Category parentModel, HtmlNode node)
{
int idIndex = Convert.ToInt32(parentModel.Id) + 1;
List<POCO_Category> bList = new List<POCO_Category>();
var xNodes = node.SelectNodes("./div").ToList();
foreach (var xNode in xNodes)
{
var cateModel = xNode.SelectSingleNode("./div[1]/a");
POCO_Category bModel = new POCO_Category()
{
Id = ToLevelCode(idIndex),
PId = parentModel.Id,
Code = $"{parentModel.Code}_{ToLevelCode(idIndex)}",
Name = cateModel.InnerText,
Url = $"https:{cateModel.GetAttributeValue("href")}",
Levels = 2
};
bList.Add(bModel);
var clist = InitC(bModel, xNode.SelectSingleNode("./div[2]"));
bList.AddRange(clist);
idIndex = idIndex + clist.Count + 1;
}
return bList;
}
private static List<POCO_Category> InitC(POCO_Category parentModel, HtmlNode node)
{
int idIndex = Convert.ToInt32(parentModel.Id) + 1;
List<POCO_Category> cList = new List<POCO_Category>();
HtmlNodeCollection xNodes = node.SelectNodes("./a");
if (xNodes != null && xNodes.Count > 0)
{
foreach (var xNode in xNodes)
{
POCO_Category cModel = new POCO_Category()
{
Id = ToLevelCode(idIndex),
PId = parentModel.Id,
Code = $"{parentModel.Code}_{ToLevelCode(idIndex)}",
Name = xNode.InnerText,
Url = $"https:{xNode.GetAttributeValue("href")}",
Levels = 3
};
cList.Add(cModel);
idIndex += 1;
}
}
return cList;
}
private static string ToLevelCode(int index)
{
return index.ToString("000");
}