首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

数据获取脚本重大更新

之前很多脚本都有从高德获取,某个路径(公交地铁线路、OD导航等等)。...…) 其次,由于编写AOI数据获取脚本,学习了一下用于网页排版的CSS语言,所以优化了一下之前的公交地铁线路获取脚本.html(对颜值有要求的我,非常开心) 强烈建议大家下载更新的脚本使用!!...详细信息 更新对象: POI数据获取脚本(Get_GaodeMap_POI_Polygon.exe) 公交地铁线路获取脚本(2-GetBusRoutes.html,3-LineDataToGIS.exe...) OD导航数据获取脚本(GetDistance.exe) 更新内容: 增加版本号(20210320) 增加对后期ArcGIS中一键绘制线路的支持 即将原先分开储存的线路都集中到一个表中,然后依靠分组字段来绘制所有线路...对应性修改ArcGIS 10.6中用于绘制线路的模型工具(RoutesDraw.tbx) POI脚本修复“输入等待(15秒)超时自动跳过机制” 公交线路脚本 优化html页面 排版优化 将脚本进程提示移至页面文本框中

49810

数据获取脚本更新播报202011

.脚本资源获取仍采取后台回复机制,关键词未变,可以随意回复碰碰运气,或者底部阅读原文跳转后选择“数据”选项卡查看原文复制精准关键词。...,所以没加) 新增百度地图POI数据获取脚本 功能大致相同,一个key一天最多获取20W个POI数据 支持输入任一中文名称进行模糊POI获取,如某一品牌店铺 下载链接关键词同Gaode脚本 增加多个区域同时开启数据获取的机制...就是之前多场景POI数据获取脚本中的多矩形区域的那个,适合于不同城市区域一次设置,而不要人工等待和多次设置 区域名称可以是1、2、3……,也可以是中文东城区、上海、李庄…… 百度、高德数据源对比 高德数据源似乎更准确...(避免程序执行中断) ---- 2020.10.18 更新对象:POI数据获取脚本、地理编码脚本、OD数据脚本(所有exe文件) 更新内容: 增加“未知错误”的容错机制 (避免程序执行中断) 增加脚本运行结束邮件提醒功能...(预计执行时间超过10分钟才会触发邮件提醒机制,按提示输入个人邮箱地址即可) ---- 2020.08.06 更新对象:POI数据获取脚本、公交线路获取脚本(完整脚本) 更新内容: 某些bug修复

67220
您找到你想要的搜索结果了吗?
是的
没有找到

OD数据获取脚本分享

*脚本使用、数据获取过程 **脚本 ? **ArcGIS工具 ?...-2nd- 功能说明 1) 自行选择要获取的目标出行数据,如步行、步行+驾车 (所有出行方案均选择最快捷的一个) 2) 支持一对一、一对多的原始OD表读取,如NO*ND,NO*MD...(是不是不好理解,简单说就是OD合起来一个表,或者OD分开的两个表) 3) 支持跨城公共交通数据获取,即包含火车数据 4) 驾车OD数据支持选择是否考虑当前路况 (“当前”=运行程序的此时此刻的时间...的key,粘贴到reference文件夹的key.txt中 申请参考: POI数据获取脚本中的Key部分 2) 准备OD点位坐标数据,放在OD_origin文件夹下 格式: 一对一模式:OD...脚本由Sid独立编写完成,坐标转换代码来自网络 脚本如有任何问题请联系:sidchen0@qq.com 2) 脚本使用过程需要连接网络 3) 脚本基于Python语言开发,在win10

1.3K10

POI数据获取脚本分享

于是,不完全出于这个原因,我找了一个脚本,进行了面向编程零基础的大部分规划人,的脚本重新编译工作(使用高德地图数据源)。...可检查“poi_get/data”目录下已获取数据,删去最后一类POI数据后,修改“poi_get/POI_Exist.txt”或分块爬取时"MapCutPoint/对应块/POI_Exist.txt...”(删除已爬取类型),然后使用分开的程序包(2-5)继续爬取数据 ---- -3rd- 其他 01 多场景脚本 对于POI数据获取,Sid预设了三个场景,划定矩形区域下载数据是最实用的,但是还是增加了两个场景...—— 根据城市名称,下载全部数据(适合公服设施、小城市等,因为有数据量的限制1000个点) 多个矩形区域同时爬取POI数据,提升效率(适合带拐弯的线性空间分块爬取数据) 以上两个场景的脚本,本次不打算分享...02 公交线路获取脚本 结合POI数据获取脚本,又编写了公交线路获取脚本,横跨HTML、Javascript、Python三大编程语言,编写难度好大,有敝帚自珍的心理,不知道需求量大不大,请在评论区留下你的声音

1.9K20

Js获取数据类型

Js获取数据类型 JavaScript有着七种基本类型String、Number、Boolean、Null、Undefined、Symbol、Object,前六种为基本数据类型,Object为引用类型。...; // object console.log(typeof(null)); // object // 在 JavaScript 最初的实现中,JavaScript 中的值是由一个表示类型的标签和实际数据值表示的...console.log(typeof(Object(Symbol()))); // object console.log(typeof(1n)); // bigint // ES10(ES2019)新增基本数据类型...在Js中,一切都是对象,至少被视为一个对象,能够直接使用字面量声明的基本数据类型,虽然并不是直接的对象类型,但是在基本数据类型的变量调用方法的时候,会出现一个临时的包装对象,从而能够调用其构造函数的原型的方法

9.4K40

POI数据多场景获取脚本分享

之前已经分享了使用场景最广的“划定矩形区域获取POI数据”,考虑到我们规划相关工作中的其他使用场景,增加了针对公服设施、小城镇的“获取整个城市的POI数据脚本、针对线性空间分块获取数据来提升效率的“多矩形区域获取...POI数据脚本。...-1st- 使用方法 01 获取整个城市的POI数据 通过城市名称爬取高德地图POI数据数据上限为每个城市1000个POI数据点位。...可以是中文城市全称:北京市/北京/北京-海淀区,城市编码citycode:010,区域编码adcode:110108(Sid会分享高德提供的编码表) 2.运行0-Get_GaodeMap_POI.exe脚本...,等待爬取完成,目标文件为"poi_get\POI.xls" 3.爬取完成提示为:##########POI数据爬取完成,下次使用请删除"poi_get"文件夹”,并按任意键退出 02 多矩形区域获取

98120

使用 shell 脚本自动获取发版指标数据

解决方案 凡是重复性的劳动都有优化空间,凡是收集数据的工作都能用脚本完成——本着这两个原则,尝试做一个自动获取发版指标数据的 shell 脚本。...2022011521 的时刻去选择其它指标数据 (场景三);如果某个指标的数据列表没有 2022011521 这个时刻,脚本会自动列出指标的全部时刻供用户重新选择 (场景二),一般是由于后台发版数据缺失了...(数据量太大算不过来,偶尔发生),一般输入 -1 退出脚本重新选择一个其它时刻再跑一遍。...,填个灰度发版指标就是分分钟的事儿了,程序员的效率又有提升,节约下的时间又可以愉快的摸鱼了~ 结语 本文介绍了一种使用 shell 脚本自动获取发版指标数据的方法,主要有以下几个关键点: curl 基于浏览器...后记 这个脚本总体上已经很方便了,美中不足的地方是前面提到的获取浏览器 cookie,如何自动登录 web 并记录 cookie?这个我又有一系列探索,后面会写成一篇单独的文章分享出来。

92620

更便捷的POI体量(AOI)数据获取脚本

之前分享过一个纯人工的数据获取方式,实在麻烦……后面@Georz大兄弟和@Sid合作完成了新的数据获取脚本,升级为半人工方式,更加便捷高效,故分享出来。 本文前面讲开发过程,后面是使用介绍。...-1st- 开发 01 缘起 之前已经开发了一个AOI数据获取脚本,“Html请求+ Fiddler抓包+Python解析”三件套,纯人工操作,非常麻烦,原文: POI的体量 - AOI数据获取脚本分享...,手工第一次获取cookie并粘贴到脚本界面 ④ 获取数据 …… ⑤ 第N次获取cookie ⑥ 第N次获取数据 ⑦ 保存数据,转化坐标为WGS84,导出到表格 02 功能 支持随时终止和断点续传...支持自动检查脚本更新 提供AOI边界数据在ArcGIS(10.6)中的一键绘制工具 -3rd- 脚本下载 后台回复“资源素材共建计划“ 1.数据获取脚本文件夹下: RoutesDraw.tbx 2.子文件夹...:AOI数据(POI边界)获取脚本 GetAOI_SemiAuto_GaodeMap.exe 感谢Georz和Sid在脚本编写中的辛苦付出 提供有限技术支持: Georz:1565352629@qq.com

2.1K42

POI的体量 - AOI数据获取脚本分享

摘要: 带体量(面积、体积及其他性质)的POI数据无疑是研究城市功能区域的有力工具。本次编写了一套脚本,辅助人工来完成POI体量信息(AOI)的获取,虽仍然需要人工操作,但简化了不少。...我一直觉得,这个数据是很有必要的,而且是可以获取的。...前几天正好有个同学问我这方面的事情@SKkkkkk,“择日不如撞日”,于是便花了1-2天时间,写了这套脚本——能获取数据,效率的话,只能说比人工稍微快一点,仍然需要人工操作配合(也是无奈) 获取数据源为仅...图 3 Fiddler工作原理 果然不负众望 总结一下数据获取思路: 确定要获取AOI数据的POI名称 在高德地图上搜索该名称 通过人工点击的方式请求AOI数据,并用Fiddler抓包 (↑很累的人工部分...- 获取方式 后台回复“资源素材共建计划“ 数据获取脚本文件夹下 RoutesDraw.tbx 子文件夹下:AOI数据(POI边界)获取脚本 不知道高德还会开放多久的数据 且用且珍惜 这个思路还能获取很多其他的数据

2.2K110

公交线路数据获取脚本分享

公交、地铁线路数据,可以用于交通运输、公共服务水平分析等各个领域,是规划相关工作中较为常用的数据。 该脚本数据获取逻辑是: 1. 调用高德地图公交线路搜索端口 2....处理保存的数据并导入ArcGIS,生成公交线路 “预先获取的公交线路名称”需要结合先前分享的POI数据获取脚本、POI数据多场景获取脚本,当然也可以手动输入。...本文还将提供ArcGIS中一键生成公交线路数据的工具。 脚本及相关工具获取方式见文末,接下来介绍脚本使用方法。...▼数据获取过程 ▼最终成果 -1st- 获取公交线路数据脚本 ---- 1、 首先爬取目标区域的公交站点POI数据,并将最后生成的文件“POI.xls”粘贴至“Linedata” *依托POI数据获取脚本...,最后可以获取整个城市的公交线路,或者是某一矩形区域途径的公交线路数据(这样能更好地分析该区域的人群流动)。

2.3K20

获取JS加载网页的源网页的源码,不想获取JS加载后的数据

一、前言 前几天在Python钻石交流群【梦】问了一个Python网络爬虫的问题,这个网站不知道使用了什么反爬手段,都获取不到页面数据。...不过这里粉丝的需求有点奇怪,他不需要JS加载后的数据页面,而是需要JS的源网页。昨天在群里又讨论起这个问题,这次一起来看看这个问题。...二、实现过程 这里【瑜亮老师】指出异步页面中,标签和数据都是不在页面源码中的。你的这个页面,数据在json,然后js拼装后显示在页面中。...先渲染再获取就有了,再者说,你的目的肯定是只要这页面上的表格,表格就是json,获取json链接比获取渲染后的网页方便多了。...这篇文章主要盘点了一个Python网络爬虫网页JS渲染源网页源码获取的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

5610

获取JS加载网页的源网页的源码,不想获取JS加载后的数据

一、前言 前几天在Python钻石交流群【梦】问了一个Python网络爬虫的问题,这个网站不知道使用了什么反爬手段,都获取不到页面数据。...不过这里粉丝的需求有点奇怪,他不需要JS加载后的数据页面,而是需要JS的源网页。昨天在群里又讨论起这个问题,这次一起来看看这个问题。...二、实现过程 这里【瑜亮老师】指出异步页面中,标签和数据都是不在页面源码中的。你的这个页面,数据在json,然后js拼装后显示在页面中。...先渲染再获取就有了,再者说,你的目的肯定是只要这页面上的表格,表格就是json,获取json链接比获取渲染后的网页方便多了。...这篇文章主要盘点了一个Python网络爬虫网页JS渲染源网页源码获取的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

7310

JS魔法堂:获取当前脚本文件的绝对路径

一、前言                           当写模块加载器时,获取当前脚本文件的绝对路径作为基础路径是必不可少的一步,下面我们一起来探讨一下这个问题吧!...document.currentScript.src; }; 这里利用了对象 document.currentScript ,它返回的是当前执行的script元素;然后调用script元素的src属性即可获取脚本文件的绝对路径...js/, absPath = rExtractUri.exec(stack); return absPath[0] || ''; }; [C]....这里url就是当前脚本的绝对路径了。...                          完整的getCurrAbsPath请浏览https://github.com/fsjohnhuang/getCurrAbsPath/blob/master/lib/getCurrAbsPath.js

3.7K60
领券