网络竞品分析：用爬虫技术洞悉竞争对手

# 导入必要的库
import requests
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import matplotlib.pyplot as plt

# 配置亿牛云爬虫代理
proxy_url = "http://16YUN:16IP@www.16yun.cn:8081"  # 亿牛云爬虫代理的域名、端口、用户名、密码
proxies = {"http": proxy_url, "https": proxy_url}

# 初始化浏览器并设置代理选项
options = webdriver.ChromeOptions()
options.add_argument('--proxy-server=%s' % proxy_url)
browser = webdriver.Chrome(options=options)

# 定义京东网站的URL
url = "https://www.jd.com/"

# 打开网站
browser.get(url)

# 等待页面加载完成
wait = WebDriverWait(browser, 10)
wait.until(EC.presence_of_element_located((By.ID, "key")))

# 输入要搜索的商品关键词，例如"手机"
keyword = "手机"
search_input = browser.find_element_by_id("key")
search_input.send_keys(keyword)

# 点击搜索按钮
search_button = browser.find_element_by_class_name("button")
search_button.click()

# 等待搜索结果页面加载完成
wait.until(EC.presence_of_element_located((By.CLASS_NAME, "gl-item")))

# 获取当前页面的所有商品信息，包括名称、价格、评分、评论
items = browser.find_elements_by_class_name("gl-item")
data = []

for item in items:
    name = item.find_element_by_class_name("p-name").text  # 商品名称
    price = item.find_element_by_class_name("p-price").text  # 商品价格
    score = item.find_element_by_class_name("p-commit").text  # 商品评分
    comment = item.find_element_by_class_name("p-shop").text  # 商品评论
    data.append([name, price, score, comment])

# 将采集的数据转换为DataFrame格式，并保存为CSV文件
df = pd.DataFrame(data, columns=["商品名称", "价格", "评分", "评论数"])
df.to_csv("jd商品数据.csv", index=False)

# 关闭浏览器对象
browser.quit()

# 对采集的CSV文件数据进行排序、筛选、分组、统计、可视化等操作，以得到有价值的洞察

# 读取CSV文件数据
df = pd.read_csv("jd商品数据.csv")

# 对商品价格进行排序，从高到低
df.sort_values(by="价格", ascending=False, inplace=True)

# 筛选评分高于4.9的商品并显示前10个
high_rated_products = df[df["评分"] > 4.9].head(10)

# 对商品按品牌进行分组，并统计每个品牌的商品数量、平均价格、平均评分
df["品牌"] = df["商品名称"].str.split(" ").str[0]  # 提取商品名称中的品牌信息
brand_stats = df.groupby("品牌").agg({"商品名称": "count", "价格": "mean", "评分": "mean"})

# 对商品价格和评分进行可视化，绘制散点图，查看它们之间的关系
plt.scatter(df["价格"], df["评分"])
plt.xlabel("价格")
plt.ylabel("评分")
plt.title("价格与评分的关系")
plt.show()