练习题︱豆瓣图书的推荐与搜索、简易版知识引擎构建（neo4j）
DouBanRecommend
基于豆瓣图书的推荐、知识图谱与知识引擎简单构建neo4j
本项目主要贡献源来自豆瓣爬虫（数据源）lanbing510/DouBanSpider、知识图谱引擎Agriculture_KnowledgeGraph、apple.turicreate中内嵌的推荐算法。
主要拿来做练习，数据来源可见lanbing510/DouBanSpider。
练习内容：
- 豆瓣图书推荐 + 搜索模块
- 豆瓣图书知识库简单应用（Neo4j的使用）
笔者的github：https://github.com/mattzheng/DouBanRecommend
欢迎给星噢~
推荐与搜索模块再结合豆瓣内部的API就更加牛逼~~~！（豆瓣API）
一、数据整理
简单的把爬虫数据进行简单的整理。主要做了一下针对每本书的评分，数据源中有两个值得用的字段：豆瓣书籍评分 + 书籍阅读人数，先等级化，然后进行平均，简单的得到了该书籍的得分。
# 把豆瓣读书评分 / 豆瓣读书人群数量 进行分箱
book_excel_all['rank_rank'] = pd.qcut(book_excel_all['rank'],10,duplicates ='drop',labels = False)
book_excel_all['people_num_rank'] = pd.qcut(book_excel_all['people_num'],10,duplicates ='drop',labels = False)
# 分箱之后，进行平均
book_excel_all['scores'] = (book_excel_all['rank_rank'] + book_excel_all['people_num_rank'])/2得到了如图的内容：
那么就开始做练习题啦~
二、豆瓣图书推荐 + 搜索模块
推荐 + 搜索模块主要使用的是apple.turicreate模块的算法，那么该模块的使用可见：
推荐模块︱apple.Turicreate个性化推荐recommender（五）
简单贴个当时整理的图。
推荐算法 | 函数名 | 内容 | 结果 |
|---|---|---|---|
基于item相似推荐 | item_similarity_recommender | 有预测功能，item之间喜爱的相似程度。适用在给未知人群推荐的时候，可以寻找到item的相似对 | |
因式分解 | ranking_factorization_recommender以及factorization_recommender | 最常用,支持附加信息共同进模型 | |
基于内容的相似推荐 | item_content_recommender | 没有user概念，Item自己内容（多维度）决定，同类推荐，且没有点评数据可以提取的时候可以应用 | 数据格式不满足 |
项目流行度推荐 | item popularity | 基于项目流行程度来推荐，user不进入模型，缺点：并不能因人而异，受异常值影响较大 | |
主要内容见文件夹book_recomend.
本练习主要使用的算法是：基于item相似推荐
2.1 搜索模块：
- 输入：总表book_excel_all(book_excel.csv)
- 输出：搜索到的文档
- 算法：没有建模，主要是：先完全匹配；匹配不到，局部匹配，包含
简单展示一下最终结果：
search_word = '机器学习'
search(search_word,book_excel_all)得到的结果可见：
2.2 推荐模块：
- 输入：总表book_excel_all(book_excel.csv)、基于类目item的推荐表(book_excel_name.csv)、搜索词（该搜索词一定时全的）
- 输出：相似图书推荐
- 目前使用的算法：apple.turicreate中的item_similarity_recommender推荐算法
简单展示一下所写的功能：
search_word = '浪潮之巅'
item_recomend(search_word,book_excel_all,recomend_item,topn = 10)结果：
2.3 推荐对应表生成模块
根据核心数据源，利用apple.turicreate平台的基于item的推荐，主要是以书籍类别为主要筛选对象，对书籍类别进行相关推荐，输入信息表，输出相关推荐表格。如表格:item_data_item.csv
三、豆瓣图书知识库简单应用（Neo4j的使用）
借用neo4j简单的实践了一下：neo4j的docker启动、数据导入模块、py2neo查询模块。
练习的时候有些心得：
- 保证节点的唯一性 犯错：在book_excel，书名信息是不唯一的，可能一本书既可能被归类到 旅游、哲学、编程、创业
- 其他心得： （1）从效果来看，如果关系类型比较少，比较适合直接用多表合一的方式进行查询； 知识图谱中的图数据库的查询，建立在关系错综复杂、才有查询必要。 （2）图数据库，一定要对节点 + 关系去重
- 时间消耗： 3W节点 - 25.7W关系 - 3h时间 - 1002MB
3.1 neo4j的docker启动
neo4j开启的一种方法就是docker启动，neo4j的docker下载地址：/neo4j/”>https://hub.docker.com//neo4j/
笔者在使用neo4j的使用会遇到几个问题：
- neo4j的内存默认设置太小，需要手动扩大
- 数据导入模块
- 已经导入的数据怎么保存
因为本地数据导入neo4j之中，最好把数据放在指定目录之中，于是乎在docker启动之前就可以设置一下：
docker run \
--publish=7474:7474 --publish=7687:7687 \
--volume=/matt/neo4j:/var/lib/neo4j/import --rm -ti neo4j bash其中/matt/neo4j是宿主机的目录，/var/lib/neo4j/import是docker之中本地导入csv的路径，那么这样就可以直接使用：LOAD CSV WITH HEADERS FROM "file:///book_excel_name.csv" AS line
扩大内存的话，就需要到/neo4j/conf/neo4j.conf之中修改以下参数：
dbms.memory.heap.initial_size = 1024G
dbms.memory.heap.max_size= 1024G
dbms.memory.pagecache.size = 10240M # 缓存，可以调制到一些在docker 之中开启neo4j为：
/var/lib/neo4j/bin/neo4j start打开之后需要等待一段时间的启动。
已经导入的数据怎么保存？
备份Neo4j的数据:
1)停掉数据库.
2)备份D:\Neo4J\neo4j-enterprise-1.9.1\data目录下graph.db目录中的所有内容.
3)在服务器上拷贝graph.db目录中的内容到新的服务器的相同目录中,启动即可.3.2 数据导入模块
为了确保唯一性，所以导入的时候，书名节点、书类别节点、出版社节点都是唯一的，同时建立了书籍-类型的关系。
// 导入书名节点
LOAD CSV WITH HEADERS FROM "file:///book_excel_name.csv" AS line
CREATE (:BookNode { name:line.book_name,rank:line.rank,people_num:line.people_num, author:line.author,public_infos:line.public_infos,public_time:line.public_time,price:line.price })
// 导入书类别节点
LOAD CSV WITH HEADERS FROM "file:///book_excel_type.csv" AS line
CREATE (:BookType { type:line.type })
// MATCH (n:BookType) OPTIONAL MATCH (n)-[r]-() DELETE n,r // 删除命令
// 导入书出版社节点
LOAD CSV WITH HEADERS FROM "file:///book_excel_public.csv" AS line
CREATE (:BookPub { pub:line.public })
// MATCH (n:BookPub) OPTIONAL MATCH (n)-[r]-() DELETE n,r //删除命令
//建立关系:书-类型
LOAD CSV WITH HEADERS FROM "file:///book_excel.csv" AS line
MATCH (entity1:BookNode{name:line.book_name}), (entity2:BookType{type:line.type})
CREATE (entity1)-[:RELATION_TYPE]->(entity2);这边导入的时候发现有些重复关系，懒… 就不改了…
3.3 py2neo查询模块
主要数据可见：douban_kg文档
from py2neo import Node, Relationship, Graph
graph = Graph(
"http://localhost:7474",
username="neo4j",
password="qwer@1234"
)通过py2neo先链接neo4j数据库。同时：
# 查询书目内容
graph.find_one(label="BookNode",property_key="name",property_value='计算机视觉')
# label代表：标签
# property_key代表：节点属性
# property_value代表：具体属性名称
# 查询书目-类型
graph.data("MATCH (entity1) - [:RELATION_TYPE] -> (entity2) WHERE entity2.ytpe = '旅行' RETURN rel,entity2")