PHP 正则表达式抓取网页内容。

我想用php抓取爱奇艺生活类型视频网页里面的元素,应该如何去做呢?

首先我要非常熟悉正则表达式,关于正则表达式的学习,我会写一篇博客一直学习的。

直接举例子:

这是一个爱奇艺生活视频的界面的网址

$url="http://www.iqiyi.com/v_19rrb1wlpw.html";

php的file_get_contents()函数,是把网页里的源码全部变成字符串读取出来。

$showdata=file_get_contents($url);

echo $showdata;

这几句话就可以做到把网页源码拿过来,再显示出来。

在得到网页源码的基础上,我们再利用正则表达式,把自己需要的内容提取出来。

php的preg_match_all('正则表达式内容','目标字符串',‘储存的字符串’);

上面的例子中  preg_match_all('/cid:(\d+)/', $showdata, $cid); 则是查找网页源码中所有符合cid:+数字的所有字符串。储存在cid中,cid是一个二维数组。

最简单的方法就是上面这些。但是在实际用到的时候却遇到一些问题。首先,网页源代码是网页初始化之前的代码,如果我们需要提取网页初始化之后的某些元素怎么办?

file_get_contents()只能获得源代码。初始化好之后的网页,无疑是通过post或者get请求数据得来的,我们打开javascript 控制台

看到network ,里面是每个网页源代码中加载的请求,而我们需要的元素就在这些请求之中,你需要把请求找出来,一般,视频网站向后台获取数据,都是由规律的,你需要自己去分析,获得视频网站的后台数据的url,我分析了一下午,找到了爱奇艺生活视频的后台数据url。

第二个问题就是正则表达式的问题,首先正则表达式比较难,容易写错,强烈建议,下载一个正则表达式测试器,先测试一下。

在获取网页内容中,我遇到了一个问题,如果用preg_match_all 抓取玩内容,在抓取的内容的基础上面再用preg_match_all,再抓取一次,这个时候会遇到问题。

因为第一次抓取获得的是一个二维数组,我们应该把它变成字符串,简单的用a[0][0]是不行的,需要用到implode函数 $b=implode('',$a[0]);

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏desperate633

深入理解数据库索引原理

转载至 https://tech.meituan.com/mysql-index.html

22310
来自专栏Java技术栈

你必须掌握的 21 个 Java 核心技术!

写这篇文章的目的是想总结一下自己这么多年来使用java的一些心得体会,希望可以给大家一些经验,能让大家更好学习和使用Java。

13310
来自专栏一枝花算不算浪漫

Java中 VO、 PO、DO、DTO、 BO、 QO、DAO、POJO的概念

585100
来自专栏牛客网

知识总结:Java的21个技术点

关于Java的编程知识,有人会问哪几个是重要的知识点,不知道大家是否知道呢?给大家分享一下! 1、JVM相关(包括了各个版本的特性) 对于刚刚接触Java的人来...

46380
来自专栏安恒网络空间安全讲武堂

适合破解新手的160个crackme练手之04

适合破解新手的160个crackme练手之04 老规矩,先运行程序看看是干嘛的,可以看到程序有点怪异,没有确定按钮,后面知道了原来点击中间阴影部分就是验证功能啦...

25180
来自专栏CVer

免费资源 | 快来Pick《准备秋招学习笔记》

项目地址:https://github.com/CyC2018/Interview-Notebook

15030
来自专栏积累沉淀

Java设计模式(二十)----状态模式

状态模式 一、概述 二、结构 三、具体案例 四、认识状态模式 一、概述 定义:允许一个对象的内部状态改变时改变它的行为。对象看起来似...

22750
来自专栏程序员互动联盟

【编程基础】C语言从源程序到可执行程序

一.0,1、文本信息和字符编码 所有的信息在计算机中都是以0、1及其组合形式存在。文本信息也不例外。文本信息是以人类容易理解的方式来呈现信息。 ...

33940
来自专栏知晓程序

开发 | 让小程序用上「指纹识别」,只需这 3 个接口

最初,小程序文档中只有具体接口调用方法,并没有给出小程序中调用指纹识别的最佳实践。

15300
来自专栏微信公众号:Java团长

Java的21个技术点,你知道吗?

关于Java的编程知识,有人会问哪几个是重要的知识点,不知道大家是否知道呢?给大家分享一下!

19520

扫码关注云+社区

领取腾讯云代金券