无法以正确的方式从网页中收集标题

文章/答案/技术大牛

发布

2回答

python、python-3.x、selenium、selenium-webdriver、web-scraping

我用python结合selenium编写了一个脚本，以便从网页中获取一些图片的标题。问题是我想要解析的内容位于该页面的底部附近。因此，如果我尝试像传统方法一样获取它，浏览就会失败。因此，我在我的抓取器中使用了一段javascript代码，让浏览器滚动到底部，它起作用了。然而，我不认为这是一个很好的解决方案，一直尝试着使用.scrollIntoView()，但这也不起作用。实现这一目的的理想方法是什么？这是我的脚本：

浏览 46提问于2018-01-29得票数 1

回答已采纳

2回答

无法以正确的方式从网页中获取项目

python、python-3.x、web-scraping

当我运行我的脚本从网页中获取电话号码时，脚本会以一种混乱的方式进行。为了达到相同的目标，我正在粘贴两个不同的脚本。我想坚持使用oneliner解决方案(第二个脚本)。我如何修改我的第二个脚本以摆脱像第一个脚本那样的空白空间？他们的机器人以同样的方式工作，但为什么输出的变化？这几乎是准确的(只

浏览 3提问于2018-06-11得票数 0

回答已采纳

2回答

谷歌网站管理员工具中的页面是如何测量的？

optimization

在google排名算法中包含页面性能之后，可以做些什么来获得更好的网站管理员工具性能度量数据呢？如果使用页面的onload方法，推迟javascript和广告将会是一件好事吗？

浏览 0提问于2010-07-08得票数 5

1回答

以` `SNMP Inform`形式发送数据

java、networking、snmp、net-snmp

我需要从网页中收集一些数据(网页抓取)，对其进行解析，将其保存为文本文件，然后将该数据作为SNMP Inform发送出去。请记住，数据收集应用程序是用Java编写的。

浏览 2提问于2016-01-20得票数 1

1回答

无法以正确的方式从数据库收集数据

php、android

while循环中的函数findDistance()通过使用坐标(纬度-经度)计算两个用户之间的距离，并返回给$djson以米为单位的距离。$distance是用户第一次提交的字符串，$user_old["distance"]是在$query中从数据库调用的字符串。我希望能够在$matched_names中保存我的数据库中的所有用户名，对于那些if()中的

浏览 0提问于2013-01-27得票数 0

3回答

无法以正确的方式重用方法中收集的链接

python、python-3.x、recursion、web-scraping、scrapy

我创建了一个脚本，使用scrapy来递归解析来自这个的区域的所有链接。有必要进行递归，因为其中的大多数链接都有子链接等等。下面的脚本似乎相应地刮掉了所有的墨水。但是，我不能做的是在unique_links中重用parse_content方法中的链接。如果在递归过程中尝试使用链接，脚本将在parse_content方法中使用大量重复链接。我在parse方法中的两行注释之后添加了一个虚构的代码块来表示

浏览 6提问于2020-10-13得票数 1

1回答

每次编辑时，SEO文档编辑器都会扩展"Title“

pimcore

例如，SEO文档编辑器显示"Welcome | pimcore demo"，而文档只在"Settings“/ "Name & Metadata”/ "Title“中包含"Welcome”。这似乎是因为在布局文件中。但是，如果您在SEO文档编辑器中编辑标题，"Welcome | pimcore demo“会被

浏览 4提问于2016-02-08得票数 0

1回答

使用aiohttp加载urls，等待几秒钟，刷新页面，然后读取页面的内容。

python-3.x、python-asyncio、aiohttp

正如标题所提到的，我试图使用aiohttp和异步从几个页面获取数据。但是，我遇到的问题涉及到程序从页面中获取信息的速度太快，然后退出。该网页需要首先更新其内容(这可能需要几秒钟)，然后刷新以显示正确更新的内容，这正是我想要收集的内容。有什么方法可以加载页面，等待几秒钟，刷新页面，然后读取其内容吗？这就是我当前的提取方法的样子：

浏览 2提问于2017-10-27得票数 1

回答已采纳

3回答

从网页中收集信息的最佳方式

c#、excel、web-scraping

例如，是从页面获取所有链接以便提取信息的最佳方式。有时需要点击一个链接才能进入其中的其他链接。我尝试了Watin，并尝试在Excel2007中使用Web Data option执行相同的操作。你能推荐一些我不知道的更好的方法吗？

浏览 1提问于2012-11-04得票数 1

回答已采纳

1回答

如何将带有标题的文本放在剪贴板上？

c#、.net

如果我从网页或Word文档复制文本(使用光标等，我不是指以编程方式)，并将其粘贴到Word文档中- Word知道什么文本是标题，什么是简单文本。我想做同样的事情(以编程方式)-将文本放到剪贴板上，并指定它的一部分是heading1，一部分是heading2……部分是简单的文本。我发现类可以将html文本(可以有标题)放到剪贴板上，但我想知道： a)这是从2007年

浏览 2提问于2012-12-23得票数 0

1回答

什么是收集字幕(批量)的最佳方法？

php、python、automation、bots、reddit

我想收集所有文章的标题，在一个分编辑，我想知道什么是最好的方式来做这件事？我环顾四周，发现了一些关于Python和机器人的东西。我还简要地看了一下API，不知道该往哪个方向走。由于我不想承诺在整个过程中找出90%的方法不起作用，我问是否有人能为我指出正确的语言和额外的方向，就像Python所需的任何软件，比如pip。我自己的经验是在网页语言，如

浏览 0提问于2016-07-05得票数 3

回答已采纳

1回答

用PHP以任何语言获取任何站点的标题和元标记

php、character-encoding、html-parsing、meta-tags

我想试着弄清楚如何从网页中获得标题和所有元标签。有什么方法可以用正确的

浏览 2提问于2011-08-02得票数 1

2回答

测试网页的内容

testing、selenium、webdriver、selenium-webdriver

我是软件测试的新手，想知道测试网页内容的正确方法是什么。对于ex。在一个网页上，如果有10个标签，那么我是否应该测试第一个标题"Selenium Training and Video Tutorials“，然后在标题下面给出第二个详细信息，然后以这种方式进一步详细说明，并创建单独的测试步骤来测试不同的文本？或者我可以使用div标签，它会立即给出页面的完整内容，并在一步中测

浏览 0提问于2013-07-03得票数 0

回答已采纳

2回答

html绕过noscript标记

python、html、noscript

我正在使用python库请求下载一些网页，然后进行一些解析，例如，获取页面的标题。然而，当一些网页上有<noscript>标签时，请求似乎不能正确下载源代码。例如，当我试图获取的源代码时，我从请求中获取的源代码与使用Chrome访问页面的源代码不同。source request get与Chrome中的view source选项相同。那么有没有办法以某种方式“愚弄”&l

浏览 12提问于2015-01-13得票数 2

1回答

如何将一个垂直多行的列表导出到水平面上有表头的excel表中？

html、css、excel、vba、ms-word

我在试着收集数据。发送的数据是word格式的，并且都在一个垂直的柱状表中，具有各种标题和数据，并且是交替的。我想知道如何才能将这样的数据从word导出到excel表单中，并使标题水平填充每个单元格，同时也以水平方式将数据放在标题下面。

浏览 8提问于2015-07-29得票数 0

2回答

在不同的页面上收集输出和表单提交？

javascript、forms、macros、submission、imacros

我正在寻找一种方法来收集网页上的输出(在文本中)后，表单提交。有没有办法在Javscript中查看表单提交的http响应？否则，我想知道是否有一种很好的方式来解析或收集多个网页(同一页)表单提交的输出。我知道使用Javascript在Firefox中保存带有输出的文件是不可能的(或者说太复杂)。因此，我的一个选择是建立另一个网页</em

浏览 0提问于2011-07-13得票数 0

1回答

使用线程DropDownList c#获取c#选择值

c#、multithreading

我得到了一个启动第二个线程的webform，我在webform上有一个DropDownList，其选择值为1，当我启动新线程时，线程函数使用这些操作都很好，当我将DropDownList值更改为5(例如，线程上的函数)时，问题就出现了。

浏览 4提问于2012-07-03得票数 0

4回答

如何确定Power BI报表的嵌入宽度和高度

powerbi、powerbi-embedded

我正在尝试将Power BI报告嵌入到网页中的iFrame中。我有一个从收集的报告列表，我希望将报告动态加载到同一页面上的iFrame中。唯一的问题是，我似乎找不到一种方法来计算报表的宽度和高度。我有一个固定的框架，所以我想以某种方式计算所需的高度(尽管如果我可以得到报告的尺寸/比率，我就可以计算出

浏览 0提问于2017-06-13得票数 6

4回答

从许多页中使用的头加载CSS文件

php、html、css

我过去常常创建一个唯一的标题，并将其加载到我的所有页面中，如下所示。 require_once('include/_header.php');在我的根文件夹中，我有一个名为css的文件夹，在这个文件夹中，我将所有的css样式表放在我称为<link rel="stylesheet" href="css/style.css" typ

浏览 4提问于2012-03-08得票数 1

回答已采纳

点击加载更多