爬虫工具源码php - 腾讯云开发者社区

文章/答案/技术大牛

发布

0回答

PyQt5制作雪球网股票数据爬虫工具，源码谁有？

qt、爬虫

PyQt5制作雪球网股票数据爬虫工具，源码谁有

浏览 149提问于2022-06-26

3回答

web爬虫/蜘蛛获取基于ajax的链接

javascript、ajax、web-crawler

我想要创建一个web爬虫/蜘蛛来迭代地获取网页中的所有链接，包括基于javascript的链接(ajax)，对页面上的所有对象进行编目，构建和维护站点层次结构。有开放源码工具吗？布拉杰什

浏览 1提问于2011-07-01得票数 0

1回答

在c++/c#中，从哪里开始抓取/抓取？

c#、c++、client-server、web-scraping、web-crawler

首先，我希望抓取对于从桌面.exe向网站发送请求和获取数据来说是正确的。如果是，我应该使用什么库或插件？我是否应该使用另一种语言(如Java或其他语言)来完成此任务？我需要一些“提示”，因为我真的不知道从哪里开始…

浏览 0提问于2014-01-18得票数 1

2回答

浏览器限制会影响网页爬虫吗？

redirect、asp.net-mvc-4、web-crawler

return Redirect("/h"); return View(); 问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗

浏览 0提问于2013-02-21得票数 0

回答已采纳

2回答

抓取图像、整个Web页面并缓存它们

python

我正在开始一个项目，想知道图像中的人物和图像所在的整个网页之间的关系。

浏览 0提问于2010-06-16得票数 0

1回答

如何将AWS Crawler配置导出到JSON (或类似文件)并签入到源代码管理？

amazon-web-services、web-crawler、aws-glue

我的团队已经在AWS Glue中开发了多个爬虫程序来扫描数据和编目模式。我希望检查这些爬虫到我们的源码控制，但我无法找到这样做的方法。我是否可以将爬行器导出为JSON或XML，以便能够检入该文件？

浏览 20提问于2020-04-28得票数 1

1回答

有没有可能通过爬行别人的网站来创建一个网站地图？

javascript、python、web

例如，我想找出网站上有哪些子域等，但没有导航。我能以某种方式爬行网站并创建一个sitemap吗？例如，是否可以使用www.google.com来查找是否存在images.google.com、drive.google.com等？

浏览 0提问于2014-02-21得票数 0

3回答

检索包括嵌入对象的网页

java、webpage

我想取一个网页，包括图像，flash动画和其他嵌入式对象。实现这一目标的直接方法是什么？

浏览 1提问于2010-04-19得票数 2

4回答

python中的网络爬虫数据库？

python、database、web-crawler

嗨，我用python编写了一个网络爬虫，从nytimes.com这样的新闻网站上提取新闻文章。我想知道什么是一个好的数据库作为这个项目的后端？提前感谢！

浏览 3提问于2010-01-27得票数 1

回答已采纳

1回答

我已经写了一个php网络爬虫来索引只有180个特定来源的内容，但它平均每页需要2秒来分析，抓取和保存我想要的内容:图片，网址，标题，完整内容，摘录，标签。这似乎非常低效，特别是如果我想达到1000个源码的话。我应该修改什么？lynx -auth用户名:密码website.com/crawler.php?group=1 lynx -auth用户名:密码website.com/crawler.php

浏览 0提问于2012-09-26得票数 1

1回答

带有依赖项的PHP站点/脚本地图

php

刚刚继承了一个大型PHP5.3站点，想知道是否有某种爬虫或站点地图工具可以识别文件及其依赖项。

浏览 4提问于2011-05-09得票数 3

回答已采纳

1回答

抓取的html与浏览器中的html不同

web-crawler

我使用网络收获来获取HTMLs，但是我发现我得到的和浏览器中的略有不同。html中的几个数字被一个破折号(-)替换成了用web采集爬行的HTML中的数字。我保证我的浏览器中的URL和web采集中的http请求中的URL是相同的。我怎么才能让它工作呢？

浏览 0提问于2014-09-23得票数 1

2回答

开源php doc/x到pdf的转换？

php、pdf、docx、doc

有没有开放源码的PHP工具可以用来将.doc / .docx转换成pdf？我在看phpLiveDocx，但看起来他们是按月收费的。或者是在php或linux中的pdf的.odt？

浏览 3提问于2011-05-26得票数 3

3回答

从PHP类(文件)生成序列图(UML)的工具

php、uml、sequence、diagram

我想要一个工具来帮助我从PHP类生成序列图，有什么工具吗？将优先考虑免费或开放源码软件。THX~ 更新:而且它必须有Mac支持。

浏览 17提问于2015-06-13得票数 1

回答已采纳

5回答

如何保护客户端代码

php、javascript、html

有没有开放源码的工具来加密或隐藏客户端代码...有没有可能...？我需要加密php，html，java脚本//

浏览 5提问于2010-03-25得票数 1

1回答

如何模拟googlebot以查看React应用程序中的哪些链接将被索引？

googlebot

我正在开发一个反应应用程序。我最近实现了服务器端呈现(SSR)，索引覆盖范围似乎要好得多。我知道谷歌搜索控制台，但我只能一次检查一个URL。

浏览 0提问于2020-03-27得票数 2

1回答

是否有一种工具或任何快速方法可以从我的php代码中自动提取db表？

php、mysql、database、query-builder、code-analysis

我最近开始重新设计一个PHP-mysql项目，这个项目是大约7年前创建的。我只有php和html代码，没有mysql数据库或任何显示数据库结构的文档。有什么工具可以帮助我使用php文件提取我的数据库表吗？在php文件中，我有插入查询和选择查询以及更新。我想到了一个工具(这样的爬虫)，它将我的php文件作为输入，并创建一些sql创建表查询作为输出。

浏览 9提问于2022-06-04得票数 2

回答已采纳

1回答