如何在java中使用JSOUP进行数据抓取?

内容来源于 Stack Overflow,并遵循CC BY-SA 3.0许可协议进行翻译与使用

  • 回答 (1)
  • 关注 (0)
  • 查看 (146)

我正在开发一个Java程序来从特定网站上抓取数据。我使用jSoup作为java模块。

我尝试过这种方式:

public static void main(String[] args) throws IOException {

    try {
    Document doc = Jsoup.connect(
            "http://data.bitcoinity.org/markets/tradespm/10m?c=e&t=a")
            .get();

    for (Element table : doc.select("tbody")){
        for (Element row : table.select("tr")) {
            Elements tds = row.select("td");


            System.out.println(row);
            System.out.println(tds);

        }
    }


} catch (IOException e) {
    e.printStackTrace();
}

任何帮助?

提问于
用户回答回答于

可以通过其他方式获得数据

解析JSON内容以获取数据。我使用OkHttp3来检索数据。

// Imports required
import okhttp3.OkHttpClient;
import okhttp3.Request;
import okhttp3.Response;
import org.json.JSONArray;
import org.json.JSONObject;

public static void main(String[] args) throws IOException {
    OkHttpClient okHttpClient = new OkHttpClient();
    Request request = new Request.Builder()
            .url("http://data.bitcoinity.org/chart_data")
            .build();
    Response response = okHttpClient.newCall(request).execute();
    JSONObject responseBody = new JSONObject(response.body().string());
    JSONArray aggregated = responseBody.getJSONObject("data_additional")
            .getJSONArray("aggregated");
    for (int i = 0; i < aggregated.length(); ++i) {
        JSONObject rowInfo = aggregated.getJSONObject(i);
        System.out.println(rowInfo.getString("key") + ", " + rowInfo.getDouble("agg") + ", " + rowInfo.getString("share"));
    }
}

上面的代码会生成类似的响应

bit-x, 128103.3596, 4.39
bitfinex, 788172.829602228, 27.00
bitflyer, 385999.821606005, 13.22
bitstamp, 345652.20203694, 11.84
coinbase, 320228.256592679, 10.97
gemini, 99966.4119466147, 3.42
hitbtc, 222472.499999999, 7.62
itbit, 161030.4573, 5.52
kraken, 287811.61880974, 9.86
others, 179860.514253696, 6.16

扫码关注云+社区

领取腾讯云代金券