因此,本文的目标是用一个rails应用配合js脚本来实现这种自动化抓取和储存,思路是js脚本负责与百度地图Api交互,rails服务器端负责储存抓取的数据,js和rails服务器用ajax方式传递数据....nearby_info, 周边数据类型由nearby_type指定,房子本身的数据信息由house_data提供而坐标由house_loc给出, idx记录着现在查询的关键词的索引. sendData使用...3.2 服务器端(rails controller)
SpidersController
1.return_next: 通过类变量@@house_id确定当前需要查询的房屋id,这个全局id变量随着return_text...为了避免重复抓取, 跳过已经有相关记录的,最后以json格式返回房屋数据
@@house_id=0def return_next # 查询下一个房屋信息
house=House.next_record.... attr中存放着每条周边数据经度,维度以及名字; obj为类名,如Bus, Subway, 通过find_by()方法查询这个经度和维度是否已经存在,若已经存在此记录, 说明之前存过了,因为同一片区域的房子可能会有公有的基础设施