2回答
无法在indexed_search TYPO3 6中为页面编制索引
search、typo3、web-crawler、indexed
我在我的网站上使用indexed_search, indexed_search_mysql和扩展。我在Crawler Configuration下创建了一个crawler记录并运行它。配置index_enable and index_externals设置为true
问题是，index表中没有显示任何爬取的内容。info>Indexed Search将所有页面显示为“未索引”。
浏览 9提问于2013-10-22得票数 1
4回答
将asp.net动态站点转换为静态站点的工具
asp.net、web-crawler
有没有什么工具可以爬取asp.net网站并创建一个静态站点？
浏览 2提问于2008-09-04得票数 0
回答已采纳
2回答
我如何“获得”数据的所有酒吧/俱乐部在美国的数据库。Yelp API？
java、database、json、screen-scraping、data-mining
我要做的是创建一个美国所有酒吧的数据库。我需要这个数据库半定期更新(大约每周)，以包括新开的酒吧。
yelp api的问题是他们只返回20个结果。在我周围5英里的范围内有800多家酒吧。
浏览 0提问于2011-01-18得票数 1
2回答
从mysql数据库检索数据
php、mysql、wordpress
我有一个mysql数据库，它是为使用wordpress的网站创建的，当使用wordpress发布一些文本时，它会将其存储在该数据库中。当我尝试使用php文件拉取此文本时，它返回null，但是如果我删除此文本并手动将其写入(No wordpress)，它将正常拉取它。由于这个文本是用wordpress创建的，我需要做些什么才能拉出这个文本呢？表的结构如下，字段: post_content类型:长文本。谢谢你的帮助$query
浏览 5提问于2012-07-06得票数 0
2回答
使用机械化来检索网站的所有链接
ruby、recursion、mechanize、web-crawler
如何使用Mechanize库查找网站上的所有链接？
我喜欢递归地解析内部链接，以便抓取一个网站的所有链接。
浏览 0提问于2012-07-23得票数 2
回答已采纳
1回答
为什么这个env对象的大小一直在增长？
java、memory-leaks、web-crawler、heap-memory、crawler4j
我已经在网络爬虫上工作了一段时间，想法很简单，我有一个包含网站列表的SQL表，我有许多线程从表中获取第一个网站并删除它，然后爬行它(以堆的方式)。stopping = false; }} e.printStackTrace();如你所见，每次我创建一个crawlerController，抓取一个网站等等。
浏览 13提问于2015-07-28得票数 0
2回答
使用apache钻机在mysql db中创建表
mysql、apache-drill
我尝试使用apache在mysql中创建一个表。它抛出了一个错误:模式是不可变的。我发现的一个解决办法是使用CTAS语句创建一个临时表。但是我想使用drill在mysql中创建一个永久的表。下面是我的MySQL插件配置： "type": "jdbc",
浏览 2提问于2018-03-27得票数 1
回答已采纳
3回答
sqlite插入，而删除完全复制
mysql、database、sqlite
我正在爬行一些网站并将结果存储在sqlite中，因为我的爬行可能每个月都会重复，但是我不想将重复的结果存储在我的数据库中，我应该怎么办？例如，我第一次然后我的数据库会有这个记录，下次我爬这个网站的时候，我也会这样做，但是我不想存储重复的结果另外，如果我使用的是MySQL，该怎么办？
浏览 4提问于2015-06-07得票数 0
回答已采纳
2回答
连接到windows云的mysql数据库时出错
php、mysql、windows、azure
我已经上传了我的PHP网站在窗口天云。我使用的数据库是mysql。但是，在连接到远程mysql数据库的同时，我得到了一个错误。最初，它提示输入密码，尽管密码是在命令本身中指定的。然而，无论我在网站上使用了什么密码，他们都会给出以下错误。
“**”微软Windows 1985-2001年版权所有。C:\Documents和Settings\admin>mysql -h 数据源 -u usename -p<code>E 218</cod
浏览 2提问于2013-03-22得票数 0
2回答
在Ruby中创建Web爬虫程序。如何解决性能问题？
multithreading、web-crawler、nokogiri、mechanize
我已经实现了一个可以抓取网页的解决方案，但我希望能够在一次运行中抓取20万个网站，我知道有一种比等待几个小时才能完成的更好的方法。我希望能够通过激发并行请求来实现最佳性能，而不会让它变得太复杂。保持在我的，我将写入数据库和文件(可能我可以从数据库导出，一旦抓取完成，而不是直接写入文件)。谢谢。
浏览 0提问于2012-09-22得票数 3
回答已采纳
2回答
用java获取Mysql数据库创建日期
java、mysql、database
使用windows (Wamp)上的MySQL5.5.2，我正在编写一个使用多个数据库的Java应用程序。我想列出数据库名称和它们的创建日期。数据库具有相同的表的唯一数据变化(存档)。，它们具有相同的表。我的问题是如何获取它们各自的创建日期。-----------------------------------------+---------------------+但是它只显示了最后创建<
浏览 1提问于2012-06-26得票数 3
回答已采纳
1回答
在PHP中未检测到bingbot的URL请求参数
php、apache、web-crawler
我有一件奇怪的事情发生了，bingbot正在爬行我的网站，其中一个URL看起来像这样：
function getNumericValue($value) { return mysql_escape_string($value); if (isset($_GET[$value"; }
return mysql</
浏览 1提问于2012-01-11得票数 0
1回答
如何按顺序从另一个表(多个表)中将流水线中的项目保存到MySQL表中？
mysql、python-3.x、database、scrapy、web-crawler
:P一切正常，除了爬网顺序，我添加了一个优先级方法，但不能正常工作。需要首先写入所有作者的数据，然后所有的专辑和歌曲的数据，并存储到数据库与此订单。我想从另一个表中的项按顺序查询MySql表中的项。数据库结构：对不
浏览 15提问于2019-07-29得票数 0
回答已采纳
1回答
arachnode.net网页表格很大
database
我曾经使用arachnode.net爬虫抓取一个网站。由此产生的爬网数据导致数据库大小为+100 gb！
我查看了一下arachnode.net数据库，发现"webpages“表是罪魁祸首。当我抓取一个网站，我不下载，图片，媒体或任何类似的东西，我只下载html代码。然而，在这种情况下，我可以看到html网页包含了大量隐藏的viewdata和javascript。所以我需要再次爬行，这一次在保存到webpages表之前去掉隐藏的viewdata和javascr
浏览 0提问于2012-10-15得票数 0
回答已采纳
1回答
动态站点地图的创建过程是什么？
seo、sitemap
我正在工作的网站有12 12Lack页面，所以，我想要建立动态网站地图因此我想知道动态站点地图创建的过程。告诉我是否有其他方法为这样的网页创建站点地图。
谢谢Pawan
浏览 0提问于2013-03-08得票数 -1
2回答
我是否需要为在我的网站上注册的所有用户创建mysql帐户，还是创建一个mysql用户并将cretitials传递给所有用户？
mysql、database、authentication、account
我真的很困惑，是需要为在我的网站上注册的每个用户创建单独的mysql帐户，还是只创建一个mysql用户来查询所有用户的数据库？如果我为我的站点上的所有用户创建一个mysql用户，当用户数量增加时，可能会导致问题，因为许多用户可能同时进行查询，这将创建多个CRUD操作，从而导致许多问题，并可能导致数据库崩溃。我真的很困惑，我有些不觉得它的权利，让我的所有用户在网站上有自己的mysql
浏览 9提问于2011-12-13得票数 6
2回答
更新网站的应用程序
android、sql、web
我想创建一个android应用程序来更新网站上的数据。我想要做的实际事情是创建一个android应用程序，它将允许用户输入现场板球比赛的分数，并在用户单击更新后，更新网站上的数据。
浏览 1提问于2014-06-20得票数 0
回答已采纳
1回答
一个棘手的搜索引擎问题:搜索引擎在我的网站中找不到页面
seo、indexing
五天前，我们在我们的站点中创建了一个页面，一切都照常进行。(这意味着我们使用模板来创建页面。)问题是，我没有在任何搜索引擎中找到我的页面，即使Google和Bing爬行了我的网站(即主页，其中列出了新页面的URL )。我昨天检查了一下Google web master工具，发现Google尝试爬取页面超过40次，但总是出现404错误。另外:通常情况下，谷歌会在两天内为我们
浏览 0提问于2009-10-27得票数 1
回答已采纳
1回答
SilverStripe FulltextSearch导致数据库错误
silverstripe
然后按照建议运行dev/build，但是没有成功地完成，而是得到了以下错误：
任何帮助都将不胜感激。
浏览 0提问于2015-02-16得票数 0
3回答
使用SQL语句将图像插入到MYSQL表中
mysql、database、web、blob、mysql-loadfile
我需要在MYSQL数据库表中插入图像。图像存储在本地磁盘中。我使用LOAD_FILE()来插入图像，但它只存储路径，而不存储图像。
如果不能从本地磁盘插入，我可以从哪里获得图像？请给我一个解决方案，我需要什么资源来存储我的图像到数据库中。
浏览 5提问于2018-07-20得票数 1
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号