前期的一篇博客中，我们详细介绍了USGS遥感影像批量下载的方法。在利用这一方法生成每一幅影像的下载链接后，我们直接结合可以批量获取网页内下载链接的下载软件进行下载。而在这一过程中发现，在Chrome浏览器中，常用的下载软件只有IDM可以一次性获取全部下载链接（即下图中的Download all links with IDM），迅雷则只能手动多选。
Real DOM（真实 DOM）是浏览器中的实际文档对象模型。在网页开发中，HTML 文档的结构和内容以及与之相关的 CSS 样式构成了网页的表示。Real DOM 表示了这个网页的当前状态，包括所有的 HTML 元素、属性、文本内容、样式和布局信息等。
360搜索引擎站长平台出台的算法不多，但是辐射的区间从网页内容质量、用户体验度、用户需求度以及搜索公正与用户安全展开；与百度搜索平台算法有相似之处，关于搜索安全，百度搜索引擎和360搜索引擎都会在搜索结果里面进行提示。
这里说的网页采集，当然可以最原始的从网页上复制粘贴回来的数据，更自动化的，就是使用网页采集工具批量性获取到的数据。
前面我们介绍了Landsat系列卫星遥感影像数据USGS中批量下载多张图像的方法。而较之Landsat、Sentinel等遥感数据，MODIS影像数据下载略嫌麻烦，更重要的是其下载方法经常失效，下载网站的网络访问有时也不太稳定。这里介绍一种基于Earthdata的MODIS批量下载方法，但要注意：截止2021年05月，该方法也变成了只能借助可以使得我们访问外国网站的软件才可以进行下载的方法。
本文介绍国内用户在LAADS DAAC中批量下载MODIS遥感影像各产品的方法。
一键滚动截屏整个网页，助你快速成为 B 站老司机，一键分析网站技术栈，翻录网页视频神器等等。
Python提供了许多强大的库，用于处理各种不同的任务。其中之一是pdfkit，它是一个用于从HTML生成PDF的Python库。在本篇文章中，我们将探索pdfkit的基本用法和一些常见的应用场景。
在 【Android 安装包优化】Android 中使用 SVG 图片 ( SVG 矢量图简介 | Android 中生成 Vector 矢量图资源 ) 二、Android 中生成 Vector 矢量图资源 博客章节中 , 使用 Android Studio 中自带的 " Asset Studio " 工具将 SVG 格式的图片转为 Vector Asset 矢量图资源 , 但是每次只能转换一张 , 效率很低 ;
针对下一步动作预测对用户活动进行编码的顺序模型，已经成为构建网页规模个性化推荐系统的热门设计选择。传统的顺序推荐方法要么在实时用户行为上进行端到端学习，要么以离线批量生成的方式单独学习用户表示。本文（1）介绍了Pinterest的Homefeed排名架构，这是我们的个性化推荐产品，也是最大的参与面；（2）提出了TransAct，一个从用户实时活动中提取用户短期偏好的顺序模型；（3）描述了我们的混合排名方法，该方法结合了通过TransAct进行的端到端顺序建模和批量生成的用户嵌入。混合方法使我们能够将直接从实时用户活动中学习的响应性优势与批量用户表示的成本效益结合起来，后者是在较长时间内学习的。我们描述了消融研究的结果，我们在产品化过程中遇到的挑战，以及在线A/B实验的结果，这证实了我们的混合排名模型的有效性。我们进一步展示了TransAct在其他表面，如情境推荐和搜索中的有效性。
在Typecho接入熊掌号之前，你得先去熊掌号申请开通一下。具体填写的信息就是上面页面的那么多，请准备号正面手持身份证的照片。
PDF 文档是现在很常用的格式，有时候需要把 PDF 文档转换成图片或文档、合并内容、甚至编辑内容等，都需要借助相关软件。然而目前有些 PDF 软件要么需要付费，又或者功能比较零散单一。
在Excel催化剂现存在100+功能中，零散分布了大量的文件类操作，在Excel催化剂倡导的搜索+笔记的方式下使用插件，无需死记硬背，真正到使用时，对功能文档及功能菜单进行搜索即可。
此系统文章总共分为四篇，分别是手法篇、工具篇、隐藏篇、总结篇；本篇为工具篇，主要介绍黑帽seo中经常使用到的一些工具，及其用途。 搞黑帽SEO往往都是批量操作，因此自动化工具不可或缺，也是整个黑产环中比较重要的一环。本篇将会介绍几款黑帽seo中常用的工具，由于本篇写于一年前，因此部分工具可能已淘汰或者升级。 寄生虫（jsc) 植入寄生虫是黑帽SEO常用的一种方法，通过侵入别人网站，植入寄生虫程序，自动生成各种非法页面。之所以叫做寄生虫是因为能够自己触发生成，而不是一次生成，例如在访问网页的时候触发，自动
首先，打开EarthExplorer官网（https://earthexplorer.usgs.gov/），首先完成注册与登录。
今天翻出来很早以前的熊掌号，发现了叫做天级收录和周级收录的玩意，理解一下哈，不是天级别，是按天算的，因为他限制你提交的资源数量。 不过对于我们小博主来说，自己不可能每天发布完文章都去登录熊掌号手动提交一下，所以俺就找到这么一个插件： 先简单解释一下AMP和MIP
这次崩溃的原因是安装主题的时候手贱终止了一次然后就出了问题，导致hexo的各种命令如clean、generate、server等一直报警告并且导致网页资源的渲染出问题从而使得网站运行异常
本文主要用到的工具软件有《网页自动操作通用工具》或《网页自动刷新监控工具》，其中《网页自动操作通用工具》包含《网页自动刷新监控工具》所有功能，所以主要以前者为例说明。请自行在网上搜索和下载软件。
01. 传统视频制作的缺点 以往我们都已经习惯了通过专门的软件来制作视频，但是这些软件往往有很高的学习成本，需要花很多的时间去熟悉它的功能、菜单以及它自己制造的一些概念，理解以后，才能随心所欲的做出想要的效果。 另一方面，这些软件几乎都是通过图形界面来操作，当我们有内容要进行修改时，必须打开这个软件，手工的去调整。比如你想改掉视频中一个名词，只能一个一个地方的去找，而不能像我们在编辑器中直接批量替换。 在过去，我们把这些作为成本接受了下来。但是现在，随着各种技术的发展和成熟，我们多了一个选择。 02. 用
首先你这日志存哪里呀？文件系统还是数据库表，还是 NoSQL，存的位置不一样处理方式不一样。
dirsearch是一个基于python的命令行工具，旨在暴力扫描页面结构，包括网页中的目录和文件。 系统支持 WindowsXP/7/8/10 GNU/Linux MacOSX 特点 dirsear
逛论坛恰好看到一篇文章在写如何使用python进行fofa查询的，写这么简单的东西还需要用python吗？撸起袖子，干起易语言。
之前分享过的chrome/edge扩展和油猴脚本都更新到我的博客上了https://blog-susheng.vercel.app/ ，今天再分享几个实用的chrome/edge扩展和油猴脚本。
相比大家都听过自动化生产线、自动化办公等词汇，在没有人工干预的情况下，机器可以自己完成各项任务，这大大提升了工作效率。
RabbitMQ 是一个开源消息代理软件（有时称为面向消息的中间件），它最初实现了高级消息队列协议 (AMQP)，后来扩展了一个插件架构以支持流式文本消息传递协议 (STOMP) 、MQ 遥测传输 (MQTT) 和其他协议。 RabbitMQ 服务器用 Erlang 编写。
python爬虫不止可以批量下载数据，还可以有很多有趣的应用，之前也发过很多，比如天气预报实时查询、cmd版的实时翻译、快速浏览论坛热门帖等等，这些都可以算是爬虫的另一个应用方向！
声明：本人坚决反对利用文章内容进行恶意攻击行为，一切错误行为必将受到惩罚，绿色网络需要靠我们共同维护，推荐大家在了解技术原理的前提下，更好的维护个人信息安全、企业安全、国家安全。
Spark Streaming 是spark提供的对实时数据进行流式计算的组件。比如生产环境中的网页服务器日志，或者网络服务中用户提交的状态更新组成的消息队列，都是数据流。Spark Streaming提供了用来操作数据流的API，并且与Spark Core中的RDD API高度对应。这样一来，程序员编写应用时的学习门槛得以降低，无论是操作内存或硬盘中的数据，还是操作实时数据流，程序员都更能应对自如。从底层设计来看，Spark Streaming支持与Spark Core同级别的容错性、吞吐量以及可伸缩性。
我在制作随机壁纸API时，需要将大量图片压缩到指定尺寸和指定大小，但是现有的软件都是根据画质来压缩图片的，大图片在压缩之后仍然很大，而小图片越压缩越模糊。所以我一直都是使用Photoshop一张一张将图片压缩到200KB以下。当时只有几十张壁纸，而最近下载了一个包含4500张图片的压缩包，不可能再手动压缩了，因此萌发想法制作一个可以把图片压缩到指定KB的压缩软件
Telegram 在2021年底的一次更新中为群组增加了“禁止转发”功能，开启后普通成员便无法从群组中复制、转发或者保存任何内容。当然坊间也发明出了不少破解的方法，例如从缓存中提取或是从网页版抓包等，虽然有效使用起来却较为不便。不过 reizhi 在 GitHub 闲逛时偶然发现了这个名为 SaveRestrictedContentBot 的项目，能够从限制群组中转存各种媒体和文件，如果有这方面需求的话不妨试试。
日常工作中，难免我们会重复工作，这里就需要我们去写好一些相关的模块，然后等需要用的时候，直接调用自己写的包即可，这样可以节省自己大量的时间用来研究漏洞或者刷朋友圈！
以前写过很多小的案例，基本上都是一些文档处理和转换的，比如给问题添加文字，这个可以用在很多地方，水印，表情包等
爬虫技术在数据采集和信息挖掘方面起着至关重要的作用，而如何提高批量采集的效率则成为我们关注的焦点。今天我将分享五个实用的爬虫小技巧，帮助大家提升批量采集的效率，让数据获取更加高效、稳定，一起来学习一下吧。
超链接生成器是一款快速方便，简单易用的超链接地址生成器。它可以把以纯文本形式存在的超链接地址转换成真正的超级链接，方便你点击超链接来打开网址，或者打开IE快捷菜单等。
个人开发权限很小，切暂不支持个人类型的公众帐号申请微信认证。 接口权限表 不支持自定义菜单（所以个人也就不要钻牛角尖，我是钻了好几天） 类目功能接口每日调用上限/次接口状态操作 对话服务 基础支持 获取access_token 2000 已获得 获取微信服务器IP地址 已获得 接收消息 验证消息真实性 无上限 已获得 接收普通消息 无上限 已获得 接收事件推送 无上限 已获得 接收语音识别结果 (已开启) 无上限 已获得 关闭 开启 发送消息 自动回
上一篇我们讲过Cookie相关的知识，了解到Cookie是为了交互式web而诞生的，它主要用于以下三个方面：
行业惯例，每年总有一些“趋势”报告发布，比如前阵子的 2018 视觉设计趋势报告，还有最近的《 2018科技中的设计趋势报告 》。 在这里摘录几个报告中的观点： 1 在受调查的设计师中有88%的人相信至少5年以后，视觉设计将被 AI 所取代； 2 人工智能的历史和生成视觉艺术的发展可以追溯到20世纪60年代贝克实验室的A. Michael Noll 等艺术家； 3 AI 非常擅长乏味枯燥的工作，而这些工作也并不是人类真正需要做的事情； 4 由于收获了像 Martin Wattenberg 和 Fer
今天分享几个chrome扩展和app，帮你更好的保存网页以及下载网页上的图片，音频和视频，防止下次看的时候已经404了。
在用jupyter notebook写代码文档的时候，有时需要导出pdf版本，但jupyter会报错。我在想，除了网上的debug方法，还没有其他方案可以生成pdf。
当你发现自己有太多的标签页时,单击OneTab图标,所有标签页会转换成一个列表,当你需要再次访问这些标签页时,点击OneTab图标唤出列表,点击列表恢复标签页
尽管用户也可以使用DownThemAll[1]进行批量下载，但不适合直接在服务器上操作。
在用 jupyter notebook 写代码文档的时候，有时需要导出 pdf 版本，但可惜我遇到了报错，无法导出。我就想，还没有其他方案可以生成 pdf。
目标是为优秀的Chrome插件写一本中文说明书, 让Chrome插件英雄们造福人类。
这位作者说GPT-4的详细信息已经泄露，不知道可信度如何。一些关键信息：- GPT-4的大小是GPT-3的10倍以上。我们认为它在120层中总共有大约1.8万亿个参数。- GPT-4是多个专家模型混合在一起，但不是之前说的8个专家，而是16个。研究人员已经证明，使用64到128个专家比16个专家能够获得更好的损失，但这只是纯粹的研究。OpenAI选择16个专家的一个原因是，更多的专家在许多任务上难以泛化。更多的专家也可能更难以达到收敛。- 预训练阶段的上下文长度（seqlen）为8k。GPT-4的32k seqlen版本是在预训练后对8k进行微调的结果。- 为了在所有的A100s GPUs上并行化，他们使用了8路张量并行，因为这是NVLink的限制。- 如果他们在云中的成本约为每小时1美元/A100，那么这次运行的训练成本将约为6300万美元。- GPT-4推理成本是175B参数的Davinchi的3倍。这主要是由于GPT-4需要更大的集群和实现的利用率更低。它的成本估计是0.0049/ 1K tokens。（目前GPT-4的API价格大约是
不管是在工作中还是在生活中，我们都没办法避免要发送一些图片，而像一些在排版文档时，有时候图片尺寸就会比较大，这使得我们在传输的过程中，会比较慢，需要等待一些时间才行，这是就需要对PNG图片进行压缩了，这样提高传输的效率，那么PNG图片如何压缩？这是很多人比较关心的话题，这不今天就来为大家介绍5款图片压缩神器哦，让你轻松搞定图片压缩。
平时在工作过程中，偶尔会需要大量的 手机号码，去测试一些具体的业务功能，为了保证测试的有效性，手机号码的 真实性 尤为的重要。
昨天给番薯智库开放了嵌套导入页面链接的功能（说是开放是因为底层之前已经有了这个功能，现在限定场景和范围进行开放），这样对于一些包含索引目录的页面，可以一次嵌入，批量导入，方便用户快速导入网页训练数据。不过对于在线网页，为了限定范围，只支持导入同一域名下的页面链接。
之前分享过很多微博相关的脚本和工具一键批量下微博内容/图片/视频，获取博主最受欢迎微博，图片查找微博博主，今天再整理下，一次性搞定微博。
领取专属 10元无门槛券
手把手带您无忧上云
