为了便于给公司的研发查询redis数据,github上找到一个不错的项目 https://github.com/andyzsf/PyRedisAdmin 默认是不带登录账号控制和可以修改数据的,我们上生产前做了些改动 : 1、默认不带登录鉴权功能(改进:在前面接一道nginx或者其它支持统一登录的工具) 2、默认可以修改数据(改进:去掉代码中 delete modify 等接口) 修改起来很简答,这里就不贴了。
目录 前言 landsat数据情况简介 下载元数据 总结 一、前言 最近由于工作需要,需要下载部分landsat数据的元数据,老板大手一挥,给了十几年的landsat的path、row以及日期等 懒到哪怕只有几百个也不愿意一个个手动弄,于是在官网上翻腾半天,终于找到这么一个页面(https://landsat.usgs.gov/landsat-bulk-metadata-service),能够给定范围批量下载元数据 懒劲又升级了,这么一批一批的下下来我不是还要手工整理,于是就想写个程序自动下载然后筛选出我想要的部分。 具体信息可以自行查询,landsat的数据都是以带号进行命名的,信息包含path、row以及数据日期等。我们就要根据这些来实现批量下载landsat元数据。 四、总结 通过以上方式即可实现批量下载landsat元数据,需要下载程序的可以直接点击这里,当然由于刚做出的程序,难免在代码逻辑或者业务逻辑上有BUG或者未考虑到的地方,欢迎批评指正,后续完善之后可能会将源代码开放到
Vite学习指南,基于腾讯云Webify部署项目。
Fav-up Fav-up是一款功能强大的IP查询工具,该工具可以通过Shodan和Favicon(网站图标)来帮助研究人员查询目标服务或设备的真实IP地址。 工具安装 首先,该工具需要本地设备安装并部署好Python 3环境。 命令行接口获取密钥; 配置好密钥之后,我们就能够以下列几种不同方式使用Fav-up了: -f或—favicon-file:在本地存储的需要查询的Favicon网站图标文件; -fu或—favicon-url 在全网搜索Favicon网站图标哈希; 你可以指定包含了Favicon网站图标的URL和域名的输入文件,或者直接提供Favicon网站图标的本地存储路径: -fl或—favicon-list:文件包含所有待查询 Favicon网站图标的完整路径; -ul或—url-list:文件包含所有待查询Favicon网站图标的完整URL地址; -wl或—web-list: 当然了,你也可以将搜索结果存储至一个CSV/JSON
慢查询分析工具【mysqldumpslow】 常用的慢查询日志分析工具 汇总除查询条件外其他完全相同的SQL,并将分析结果按照参数中所指定的顺序输出 语法: mysqldumpslow -s r -t t,l,r,at,al,ar) c:总次数 t:总时间 l:锁的时间 r:总数据行 at,al,ar :t,l,r平均数【列如:at = 总时间/总次数】 -t top指定取前面几条作为执行结果 这个工具必须登录到 Mysql服务端,才能使用 慢查询分析工具【pt_query_digest】 ?
Pixiv是一个拥有众多优质插画/漫画的网站, 每日/每周/每月的排行榜内容更是佳作频出, 而PowerfulPixivDownloader是针对这些排行榜的批量图片下载工具 ? image 只需点击切换到对应页面, 打开PowerfulPixivDownloader,点击抓取本排行榜作品, 即可下载 ? image 以批量下载「今日排行榜」图片为例 今日排行榜地址: https://www.pixiv.net/ranking.php?mode=daily 一键下载 ? image 下载完成 ? image 支持下载单张图片 ? image ? image ---- 下面是一些额外的设置 ? image PowerfulPixivDownloader 高级设置 ? image ? image 小结: PowerfulPixivDownloader是一个经典的定向爬虫小程序,对于Pixiv的爱好者简直是神器, 对新媒体工作者而言, 也是屯集图片的利器, 点一下按钮,几百张超清插画到手
项目中用到的,要求一次下载30张图片。开始时使用谷歌bitmap fun中提供的ImageFetcher来下载,但是发现一个蛋疼无比现象,图片总是莫名其妙的少几张。 排除了图片地址存在无效链接外,怀疑是并发下载线程个数太多,线程池满了以后,使用抛弃策略将以前的下载线程抛弃了。 求人不如求己,自己写一个吧。 在这里使用线程池,支持并发下载。 java.util.concurrent.Executors; import java.util.concurrent.RejectedExecutionException; import android.util.Log; /** * 批量图片下载类 ,提供回调 DownloadStateListener listener; // 下载目录 private String downloadPath; // 下载链接集合 ,则表示批量下载没有成功 Log. e(TAG, "download " + urlString + " error"); listener.onFailed
上周分享过因为读者的一个问题,我写了个公众号批量下载工具 ,这周我又增加了视频批量下载和话题批量下载,也用python打包了个工具 单篇文章神雕侠侣,绝迹江湖! : 话题就以我的公众号话题为例: 同样打开我打包的工具,输入话题链接开始下载: 视频和音频都可以下载,如果有bug可以向我反馈: 部分代码如下: topic_url = input('请输入话题地址 err: with open(str(randint(1,10))+'.html', 'w', encoding='utf-8') as f: f.write(content) 如果还想批量下载公众号文章可以参考之前文章一键批量下载微信公众号文章内容 chrome扩展,油猴脚本系列等,还在不断更新: 最后更新了下之前分享过的知乎回答抓取工具 一键下载QQ空间相册,微博相册,知乎回答图片,豆瓣图片,instagram图片 输入问题id,很快就下载了几百张周杰伦的图片 : 回答内容也批量下载到excel,包括回答人昵称和回答内容:
这一次文章是推荐给大家一些在线的cms指纹查询网站 cms识别方式 1. 网站特有文件 如/templets/default/style/dedecms.css—dedecms 2.
本工具用于批量查询手机号码归属地信息。 数据需求 把要要查询的手机号码放到“号码清单”文件中,将清单文件放置与工具同目录下: 手机号码 18666793012 13792871082 13409827162 17731023712 18673826103 运行说明 双击“号码归属地查询-Beta1.0”开始运行分析,运行界面如下: ? 运行完成后,查询结果保存在工具当前目录下的"号码归属地查询结果"文件中: ? 黄冈 438000 0713 中国移动 17731023712 河北 邯郸 056000 0310 中国电信 18673826103 湖南 娄底 417000 0738 中国联通 注意事项 ---- 工具目录下的 下载方式 ---- https://pan.baidu.com/s/1jt3VI-oFRuHYj06WTpmlOA 提取码:i2ml
在过去的几天中,我编写了一个叫作 dnspeep 的小工具,它能让你看到你电脑中正进行的 DNS 查询,并且还能看得到其响应。它现在只有 250 行 Rust 代码。 如果你不想在超级用户下运行下载的二进制文件,你也能在 https://github.com/jvns/dnspeep 查看源码并且自行编译。 输出结果是什么样的 以下是输出结果。 实际上,我的一个朋友用这个工具发现,他的电脑上安装了一些以前工作时的企业监控软件,但他忘记了卸载,因此你甚至可能发现一些你想要删除的东西。 我基本上只是查了下有关“监听”的每个同义词,然后选择了一个看起来很有趣并且还没有被其他 DNS 工具所占用的名称。 DNS 查询时内部发生的情况) 本工具(dnspeep) 以前我尽力阐述已有的工具(如 dig 或 tcpdump)而不是编写自己的工具,但是经常我发现这些工具的输出结果让人费解,所以我非常关注以更加友好的方式来看这些相同的信息
一个 Nodejs 写的查询12306余票的小工具,查询到指定车次的车票后会反馈到邮箱 github:https://github.com/isxiaoxin/12306 已实现的功能 根据中文站点名称去查找对应的站点代号 支持查询单个/多个车次数据 定时监控余票数量 检测到指定车次票数的变化后发送新结果到邮箱 使用方法 1、把代码克隆到本地 $ git clone https://github.com/isxiaoxin qq邮箱 其他邮箱需要改nodemailer的配置 pass: '', // 邮箱的smtp授权码 不是qq密码 放心填写 4、执行命令 node start.js 执行之后是这样的 终端也能看到此次查询的信息 其他 在不使用进程守护的情况下只能通过 ctrl + c 关闭查询(小菜鸡没用过 mac 哈哈) 有需要进程守护的可自行使用 pm2 - https://www.jianshu.com/p/e15fd72727fe 如果 setInterval 满足不了需求可自行使用 node-schedule 最后 目前只是实现出来第一版,有任何问题或建议可以给我提 issue 或者咨询我 首发自:Nodejs 12306余票查询小工具
这里我们要下载的信息安全工具汇总格式如下,显然这样单条复制效率非常地下,那能不能写个shell,自动全部下载下来呢,是可以,这里需要了解的有git、正则表达式、Linux系统、Sublime Text。 将所有的连接复制到Sublime Text中,如下: ? 按住“Ctrl+H"调出查找替换工具栏,并且打开正则表示功能,如下图所示: ? 查找:[\(\(][\w, ,\&\-\(\)\+\'\/\.\(\)\《\》\:\、\\\;]{1,}[\)\)]$ ? 4、手工去除无法匹配的字符串 ? 5、最后得到url集合,并拼装git clone 代码 查找:(https://) 替换:git clone $1 ? 将所有带git clone的url集合复制到linux下执行 ? 等linux慢慢下载,这里需要取保linux拥有只够的空间用于存储git的代码!!! 可以看到tools目录下内容在增加 ?
之前本公众号介绍过如何使用Power Query批量下载股票数据。本文分享一个达人使用VBA制作的股票成交数据下载工具,数据同样来源于雅虎财经。 左下方输入你要查询的公司代码,如果不清楚代码可在雅虎财经官网(https://finance.yahoo.com/)获得。需要注意的是香港上市需要加.HK,深圳需要加.SZ。 设置完成后,点击右上方的按钮即可将数据下载到Excel中,自动生成若干工作表。可以单个公司查看: 也可以很多公司同时查看: 测试了若干公司近十年的数据,下载非常快。 无论是投资参考还是研究行业(截图全部是鞋服类公司),这个工具都非常高效。 当然,如果你对工具制作过程比较感兴趣,并对VBA望而却步,不妨试试Power BI的实现方式,《Power BI商业数据分析项目实战》第五章有介绍:
import java.io.File; import java.io.FileInputStream; /** * @program: simple_tools * @description: 文件下载工具类 @author: Mr.chen * @create: 2020-06-09 09:49 **/ public class DownloadFileUtil { /** * 下载文件 * * @param response * @param file * @param finishDeleteFile * 下载完成之后是否需要删除文件 ServletOutputStream out = null; try { // 1.设置文件ContentType类型,这样设置,会自动判断下载文件类型 downLoadName = new String(file.getName().getBytes("UTF-8"), "iso8859-1"); // 2.设置文件头:最后一个参数是设置下载文件名
工具:appium+mincap+opencv appium用于自动化操作,minicap用于截图,opencv 用于图像识别 页面统计原理 1.app启动:命令执行的时候开始统计到图片数据匹配到的时候就是启动时间 ,精确到毫秒,可以从报告中准确的判断是不是页面有加载完,时间是不是对的~ 加载时间长短是由app本身,网络,手机性能这三个因素所决定的; 工具操作注意因素: 1.要选择数据加载的图片截图,这样页面加载时间才是最精确的 ; 2.截图的数据是动态,那就要关注每次用例执行的时候,要看下数据是否有变化,不然就会出现执行失败; 3.脚本根据机型匹配度是最高,换了手机,可能要重新截图; 整体工具以及脚本的设计原理细节太多就不细说了 ~就直接截图介绍下工具实用步骤吧 1.页面识别元素,通过被页面加载完以后的元素,截图,然后保存,用于截图对比; 2.脚本 ? 详情视频可查看: (视频展示的是一个app的冷启动和暖启动进入app的时间统计) 工作下载地址: 链接:https://pan.baidu.com/s/14GcwB2DxE-1nx2RLiEJ0sw
示例如下,会话1,执行update,更新id=1的记录,未提交/回滚, SQL> update a set id=1 where id=1; 1 row updated. blocking_instance START WITH blocking_session IS NULL; 其中, BLOCKED_SESSION:阻塞的会话,并且支持缩进,第一行是root blocker,自上而下,
云开发 CLI 工具(CCLID)是腾讯云开发官方指定的 CLI 工具,可以帮助开发者快速构建 Serverless 应用。CLI 工具提供能力包括文件储存的管理、云函数的部署、模板项目的创建、HTTP Service、静态网站托管等,您可以专注于编码,无需在平台中切换各类配置。
扫码关注云+社区
领取腾讯云代金券