java获取网页源代码

public static String getHtmlContent(URL url, String encode) {    StringBuffer contentBuffer = new StringBuffer();

   int responseCode = -1;    HttpURLConnection con = null;    try {     con = (HttpURLConnection) url.openConnection();     con.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");// IE代理进行下载     con.setConnectTimeout(60000);     con.setReadTimeout(60000);     // 获得网页返回信息码     responseCode = con.getResponseCode();     if (responseCode == -1) {      String re = url.toString() + " : connection is failure...";      con.disconnect();      return re;     }     if (responseCode >= 400) // 请求失败     {      String re = "请求失败:get response code: " + responseCode;      con.disconnect();      return re;     }

    InputStream inStr = con.getInputStream();     InputStreamReader istreamReader = new InputStreamReader(inStr, encode);     BufferedReader buffStr = new BufferedReader(istreamReader);

    String str = null;     while ((str = buffStr.readLine()) != null)      contentBuffer.append(str);     inStr.close();    } catch (IOException e) {     e.printStackTrace();     contentBuffer = null;     System.out.println("error: " + url.toString());    } finally {     con.disconnect();    }    return contentBuffer.toString();   }

  public static String getHtmlContent(String url, String encode) {    if (!url.toLowerCase().startsWith("http://")) {     url = "http://" + url;    }    try {     URL rUrl = new URL(url);     return getHtmlContent(rUrl, encode);    } catch (Exception e) {     e.printStackTrace();     return "网址错误!";    }   }   //测试   /*public static void main(String argsp[]){    System.out.println(getHtmlContent("www.ilkhome.cn","utf-8")) ;   }*/

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏以Java架构赢天下

面试官:Redis用过?说说Redis加解分布锁的正确方式

Lua脚本实现:判断key的值和我们存入的UUID随机数是不是相等,是的话,则调用DEL指令进行删除操作;

7520
来自专栏大猪的笔记

笔记:NEC QTP 第三个实例

附带一个自编的代码生成工具,QTP的编译器实在太差了。不能识别外部类。这下妈妈再也不用担心我打错字了。。

9130
来自专栏大猪的笔记

笔记:NEC QTP 第二个实例

Set testWindow=new ClassJavaWindow testWindow.SetJavaWindow("User Login") Set i...

6740
来自专栏IT学习

零基础学习Java需要注意些什么

Java语言从出现至今一直在软件开发中占据着重要的位置,在IT行业中Java工程师已经成为了不可缺少的岗位,如果决心想学好Java编程技术,就需要在前期有一个...

8930
来自专栏Java大联盟

面试官:解释一下Java字节码文件中的JVM指令

Java 之所以流行,一个很重要的原因就是它的跨平台特性,Compile Once, Run Anywhere,编译一次,到处运行。即 Java 源码只需要编译...

7230
来自专栏大猪的笔记

笔记:NEC QTP 第一个实例

JavaWindow("User Login").JavaObject("MessageLabel(st)").Check CheckPoint("Messag...

8630
来自专栏IT学习

小白如何自学Java编程基础知识

作为一个初学者想转行学习Java并不是很容易,虽然Java是最适合初学者的编程语言,但是Java本身也具有一定的难度,刚刚进入Java领域的新同学,无论是高校...

8620
来自专栏小詹同学

深入探讨 Python 的 import 机制:实现远程导入模块

所谓的模块导入,是指在一个模块中使用另一个模块的代码的操作,它有利于代码的复用。

5730
来自专栏以Java架构赢天下

天猫Java研发三面:讲讲Redis实现购物车的设计思路!

购物车是任何一个电商项目都会用到的功能,面试的时候也经常问到,今天我们就来谈谈Redis下购物车的实现。

9860
来自专栏大猪的笔记

笔记:NEC QTP 第四个实例

ExecuteFile"C:\Users\admin\Documents\Unified Functional Testing\ClassCol.vbs"

5310

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励