首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >Web抓取;无法传递字典中的所有项目

Web抓取;无法传递字典中的所有项目
EN

Stack Overflow用户
提问于 2018-06-02 04:04:30
回答 1查看 40关注 0票数 1

我从一个网站上提取了9个项目。一切都很好,但当我尝试将这些项传递到字典中时,只有最后一项被保存到字典中。

代码语言:javascript
复制
import requests
from bs4 import BeautifulSoup
base_url="http://cbcs.fastvturesults.com/student/1sp15me00"
d={}
for page in range(1,10,1):
    r=requests.get(base_url+str(page))
    c=r.content
    soup=BeautifulSoup(c,"html.parser")
    items=soup.find(class_="text-muted")
    if items:
        d["Name"]=items.previous_sibling
        d["USN"]=items.text.replace("(","").replace(")","")
d

如何将所有项目保存到字典中?

EN

回答 1

Stack Overflow用户

发布于 2018-06-02 06:58:38

或者你开始的方式可能会以下面这样的方式结束:

代码语言:javascript
复制
import requests
from bs4 import BeautifulSoup

base_url="http://cbcs.fastvturesults.com/student/1sp15me00{}"

data = []

for page in range(1,10,1):
    d = {}
    r = requests.get(base_url.format(page))
    soup = BeautifulSoup(r.content,"html.parser")
    items = soup.find(class_="text-muted")
    if items:
        d["Name"] = items.previous_sibling
        d["USN"] = items.text.replace("(","").replace(")","")
        data.append(d)

print(data)

输出:

代码语言:javascript
复制
[{'Name': 'Agnello Fernandes A ', 'USN': '1sp15me001'}, {'Name': 'Ajay Kumar V ', 'USN': '1sp15me002'}, {'Name': 'Ajay Rajendiran ', 'USN': '1sp15me003'}, {'Name': 'Amit Singh Yadav ', 'USN': '1sp15me004'}, {'Name': 'Ankit Mahato ', 'USN': '1sp15me006'}, {'Name': 'Antony Levin Fernandez D ', 'USN': '1sp15me008'}, {'Name': 'Ashish S ', 'USN': '1sp15me009'}]
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50650342

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档