我目前正在使用这个插件，它基本上使我的网站成为代理，这样用户就可以访问像这样的被审查的网站这个插件工作得很好，但是当涉及到绝对链接时，插件不能正确地解析它，链接仍然被阻塞。我知道如何使用php curl来获取网站并在空白页面上进行回显。我不知道的是如何将代理脚本设置为像上面的示例一样工作，用户可以在上面的示例中键入紧接着是
/proxy.<em
浏览 1提问于2013-02-08得票数 2
回答已采纳
2回答
我们把我们的网站广告放在另外两个网站上。我们需要计算我们从这些广告中获得的点击量，并将其存储在我的数据库中。请给我一个这样做的想法。
浏览 0提问于2010-05-18得票数 0
回答已采纳
我们的网站是，它运行在ajax上。即使我们有合适的meta标签，google也不会索引任何页面。既然meta标签信息是HTML格式的，那么页面不应该被索引吗？当我们向Google网站管理员提交我们的站点地图时，它只爬行站点(33,000个URLS)，而不对其进行索引。该网站有很多用户，但我们不确定为什么它不能正确地在谷歌索引。
浏览 1提问于2015-09-29得票数 0
我们在我们的网站()上有一个Wordpress News博客，它与静态html网站的其余部分是分开的。我只想把最新的故事(特色帖子)放在我们的主页上。博客和我们的网站在同一台服务器上。我发现我可以像这样抓取帖子标题：require('../news/wp-blog-header.php');<?php query_posts('showposts=3'); ?>
浏览 1提问于2013-01-25得票数 0
1回答
抓取时如何检测防盗链
、、、
假设我有一个用于抓取图像的google搜索api。当我想要抓取某些图像时，使用api，我会从其中获得许多图像。但有时我会得到防盗链图像。有没有可能通过编程的方式检测出哪一个是防盗链，特别是在PHP中？或者有没有办法从google api结果中排除防盗链图片？
注意:我没有使用wget来抓取。
浏览 7提问于2015-03-08得票数 0
我是一个初学者网站开发人员，我有一个网站，它是建立在php上。这是一个城市本地列表搜索引擎。基本上，我已经编写了搜索页，它接受一个参数，从数据库中获取记录并显示它。所以它是动态生成内容的。然而，如果你看一下网站的底部，我已经添加了许多静态链接，其中我已经硬编码了链接中的参数，如searchresult.php t.php?tablename=‘schools’。所以我的问题是
既然google会抓取页面以及页面中列出的链接</
浏览 2提问于2009-08-07得票数 2
回答已采纳
3回答
from bs4 import BeautifulSoup
url = 'https://www.coteur.com/cotes-foot.phplinks = driver.find_elements_by_xpath('//a[contains(@href, "match/cotes-")]')
driver.close() 我想从这个网站上抓取所有与足球比赛相关的
浏览 41提问于2020-06-16得票数 0
回答已采纳
1回答
高级php爬虫，网站后端
、、、、
我的想法是，创建一个从其他来源聚合内容并将其显示在页面中的网站，
比如说，我有10,15个处理娱乐新闻的网站列表，我必须抓取这些网站，然后将数据保存到数据库中，输出按日期/时间排序的网页上的内容，必须抓取标题，完整内容或10,15行，图像，然后链接到原始源。该网站必须每5,10分钟更新一次。在每一次更新中，检查新文章，并将其与标题、文本、图像、原始源链接一起显示在具有无限滚动的网页中。嗯，我的经验是php。有没有什么
浏览 0提问于2014-05-05得票数 0
我真的很想做一个网站爬虫，去一个网站，扫描它的链接，把链接放在一个数据库中，并转移到另一个网站。我找到了一个网站，但代码真的有but。如果你见过这样的东西，或者你自己写过这样的东西。
浏览 0提问于2011-01-19得票数 0
回答已采纳
1回答
我正在寻找一个PHP的网络爬虫收集一个大型网站的所有链接，并告诉我，如果链接被打破。问题不是抓取链接，而是规模问题我不确定我修改的脚本是否足以抓取可能有数千个URL，因为我尝试将搜索链接的深度设置为4，但爬虫在浏览器中超时。
浏览 0提问于2011-04-12得票数 0
我已经创建了一个有数千个链接的页面，谷歌可以抓取它并索引那些通过单个页面上的链接访问的数千个页面中的所有数据。我甚至在google上搜索的时候放上了这个网站: filter。
有没有人知道为什么会这样。。
浏览 0提问于2011-05-09得票数 0
现在，如果我定义了一个本地php变量，它不需要使用任何类型的会话来进行查询，那么它在共享程序中读起来就很好。/includes/connection.php';include '../includes/getHiddenList.php';
include '../includes/getMajorLi
浏览 6提问于2013-08-29得票数 0
回答已采纳
我想抓取大网站(例如，与1000,000内部链接)，这是太多的工具，我现在使用(尖叫青蛙和Xenu)。你知道任何PHP爬虫，它发送有关链接到数据库的数据，并可以为我提供解决方案？或者你有任何想法来解决这个问题，当我想要概述网站上的所有内部和外部链接与网站的状态和标题？任何付费脚本或东西(但没有像这样的在线工具，这对我来说真的很昂贵，每月付费)。我需要这样的东西：，但这个MySQL只能抓取很少的链接，并且不支持保存sc
浏览 3提问于2014-09-11得票数 0
我的网站上有以下导航链接。我想知道搜索引擎是否会抓取onclick事件中包含的链接。<nav><a class="menu" href="#portfolio&qu
浏览 4提问于2013-09-03得票数 0
调查这些错误，并在适当的地方修复它们，确保Google能够成功地抓取站点的页面。
我在哪里做错了网页和内容之间的内部链接？因为我已经更新和纠正链接后，从网站管理员工作人员团队收到这条消息。请检查和调查内部链接，并确认我是否再次错过了什么？我会感激的。
浏览 3提问于2013-11-30得票数 1
回答已采纳
我ḿ希望通过网络或网站进行自动搜索，以检索链接。这是为了检索共享的IP tv链接，以便创建一个媒体库，以便使用VLC在线观看Tṽ。
浏览 3提问于2016-01-25得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
