首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python爬虫技术系列-06requests完成yz网数据采集V01

案例实现 2.1 模拟登录页面分析 2.2 模拟登录实现 2.3 构建待爬取的药材名称 2.4 药材查询页面分析 2.3 拼接网址,并获取数据 2.4 保存数据 2.5 保存数据 2.6 总结 1.yz...葶苈子","菟丝子","文术","西吉","细辛","香附","辛夷","续断", "阳起石","淫羊藿","元参","元胡","云苓","枝子","枳壳" ] 2.4 药材查询页面分析 基本网址为...每个中药的页面为: 2.3 拼接网址,并获取数据 import time content_dict = {} for zy_name in zy_list: time.sleep(10)..., '白芍药、芍药。', '苦、酸,微寒。归肝、脾经。', '养血调经,敛阴止汗,柔肝止痛,平抑肝阳。用于血虚萎黄,月经不调,自汗,盗汗,胁痛,腹痛,四肢挛痛,头痛眩晕。'...pd.DataFrame(content_dict,index = ['药材名称', '药材类别', '药材基原', '药材别名', '性味归经', '功能主治', '文件原文', '详情']) df1 输出为: 2.5

30510
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    机器学习-如何练习?

    Kaggle的竞赛在艾滋病研究、棋牌评级和交通预测方面取得了成果。基于这些成果产生了一系列的学术论文。产生这一结果的原因是实时积分榜促使参加者不断改进以试图超越当前的最佳实践。...根据阿里旗下不同的服务产品,每次比赛的主题和数据集也五花八门:淘宝穿衣搭配算法(2015年赛题),蚂蚁服资金流动预测(2015年赛题),阿里音乐流行趋势大预测(2016年赛题);也有由第三方平台提供的数据...:交通数据模拟减轻道路拥堵(2014年首届赛题),市民出行公交线路预测(2015年赛题),白云机场客流量分析及预测(2016年赛题),新浪微互动预测(2015年赛题)等。...交通类:出租车GPS数据、楼盘数据、微签到数据、交通事故数据、公交线路数据、运营商GPS数据、天府通打卡数据(成都的交通卡)等 教育类:高校学生相关的生活消费数据、图书借阅数据、成绩数据、助学数据、

    54630

    【数据】即使不会爬虫技术,也能轻松获取的重要数据

    4)PM2.5空气质量,网址:http://www.pm25.in/ PM2.5作为空气污染的重要指标,在pm25.in网站中,可以查询到,每个城市的PM2.5值,例如,从首页进去之后,选择广州,即可得到广州每个监测点的...PM2.5指标数据,如下图所示: ?...包括: 微信指数(网址:小程序) 微指数(网址:http://data.weibo.com/index) 百度指数(网址:http://index.baidu.com/) 头条指数(网址:https:...//index.toutiao.com/) 360趋势(网址:http://trends.so.com/index) 腾讯浏览指数(网址:http://tbi.tencent.com/) 谷歌探索(网址...:https://trends.google.com/trends/explore) 高德指数(网址:http://i.amap.com) 阿里指数(网址:https://alizs.taobao.com

    5.1K70

    Python学习笔记(15)-Python代码转换为exe可执行程序详解

    简介 2. pyInstaller安装配置 2.1 下载PyInstaller 2.2 下载后解压PyInstaller 2.3 下载pywin32 2.4 安装pywin32 2.5 安装PyInstaller...2. pyInstaller安装配置 2.1 下载PyInstaller 打开网址:pyInstalller下载网址 如图: 因为我的Python是3.6版本,所以应该是选择最下面的那个,上面的支持...2.2 下载后解压PyInstaller 下载并解压后目录如下: 2.3 下载pywin32 还需要下载一个pywin32,pywin32网址,注意选择Python3.6版本的下载。...然后在CMD命令行进入Python3.6目录下的Scripts目录并执行:python pywin32_postinstall.py -install命令如图: 2.5 安装PyInstaller...其他方法制作exe 有友提供了其他方法供大家参考,附链接:跳转 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/137864.html原文链接:https://javaforall.cn

    64820

    这特么也太好看了----------博客园主题美化

    目录 1.前言 2.过程 2.1复制粘贴 2.2音乐播放器 2.3邮箱的邮我功能 2.4各部分图片替换位置 2.4.1 首页的轮播图 2.4.2 博客的顶部图片 2.4.2 首页中间的图标 2.5各部分超链接替换位置...主立马就来了兴趣,毕竟谁不喜欢好看的,我就是馋它的身子。我下贱。 ? 经过一个下午的探索终于是把它搞好了,反正主自己感觉好看的一笔。...小姐姐和知乎上一个老哥都出过安装的教程,以下是网址: 博客园二次元主题——Sakura 博客园主题美化 这是模板的下载链接:https://link.zhihu.com/?...2.5各部分超链接替换位置 2.5.1 中间图标的链接 直接在 博客侧边栏公告 编辑 ? 2.5.2 首页顶部的链接 在 main.js 文件中,改完记得重新上传 ?...都看到这里了,如果觉得对你有帮助的话,可以关注主的公众号,新人up需要你的支持。

    5.3K41

    这几款高效办公神器,职场大神都在用(建议收藏)

    网址太长不好看,这些工具用起来~ 1.六度短网址:带监测功能的短链接工具 链接:http://6du.in/ 2.新浪微网址生成器:新浪出品,服务稳定 链接:https://sina.lt/...3.百度短网址 链接:https://dwz.cn/ 六、表单工具 1.麦客表单:功能强大,制作方便 链接:https://www.mikecrm.com/login.php?...d=formManager.php 2.数据:在某些数据管理上功能更强,但是CRM功能弱 链接:https://jinshuju.net/ 3.问卷网: 链接:https://www.wenjuan.com.../ 七、二维码工具 1.二维彩虹二维码生成器:功能非常强大的二维码工具,活码、静态码一一俱全 将音频、视频、图片、文档、网址链接等一键生成二维码。...welcome/login 3.5118:中国目前最好用的网站数据工具 链接:https://www.5118.com/ 4.新榜:专注公众号数据 链接:http://newrank.cn/ 5.清指数

    56640

    的力量为什么这么大?

    本期,小F通过爬取新浪微评论,来看看大家对此次大赛有什么看法。 在此之前,先查阅一下相关资料,发现从微的手机端和移动端入手,效果还可以。 网页版的微,想都不用想,去了就是自讨苦吃。.../ 01 / 网页分析 网页端微直接不看,先看一下手机端。 网址为 https://m.weibo.cn。 对于手机端的微,主要是获取它的id值。 为什么不用它来爬取评论信息呢?...不过不封IP,不封Cookie,个人感觉挺好的... / 02 / 评论获取 通过移动端微获取评论信息。 具体代码如下。...第一页有热门评论,拿取信息较麻烦,这里偷个懒~ for i in range(2, 500): print('第' + str(i) + '页') time.sleep(5) # 请求网址...]) wc = WordCloud( background_color='white', mask=mask, font_path='C:\Windows\Fonts\华康俪

    82240

    又宕机了!百度跟大家开了个玩笑,叫做:您要访问的页面不存在

    的提示,并收到检查访问的网址是否正确,或重新发起搜索的提醒。 ? 没几分钟,网友们就在微上就此次百度抽风事件探讨开来,如果要总结的话,就是一句话:百度你怎么挂了?...随后,在晚间9点37分,百度官微再发一条微,称移动搜索服务已经恢复正常,并再次表达了深深的歉意: ? 对于此次百度搜索抽风事件,网友们鉴于自身经历也是奉献出了哭笑不得的段子: ? ? 最强补刀!...而令人啼笑皆非的是,因为李彦宏的一句“句”,“史无前例”竟然被网友们捧成了网络热词,一时间,以“史无前例”来造句成为了一种潮流。...,并非我们所熟悉的百度搜索的网址。...另外,在进入“假的”百度页面后,不管点击那个页面都会出现一个诱导用户下载APP的黄色页面,而不管搜索什么关键词,最后都会跳转到一个特定的网址

    1.5K30

    不服就干!千亿级别Quant挑战A股

    迈(NeubergerBerman)于1939 年成立,截至2018 年12 月31 日,管理资产规模达到3150亿美元,主要的客户为退休、主权财富基金等机构。...路迈旗下的产品包括股票、固定收益、私募基金和对冲基金等,其中固定收益规模达到1301 亿美元,股票资产1038亿美元,另类资产690亿美元。...路迈的创始人即为大名鼎鼎的罗伊·纽伯格(Roy R.Neuberger),美国共同基金之父,合股基金的开路先锋,其来自94年投资生涯的《忠告》一书是基金从业人员的必读书之一。...2017年11月9日,路迈正式在中国证券投资基金业协会登记备案。备案完成后,路迈中国可以直接在中国发行和管理私募基金。 周平,路迈中国量化投资总监,相信他们的量化投资模型将会在A股大展身手。...他的自信不是没有道理的,去年上证综指下跌2.5%,但是周平的量化投资组合仍然盈利3.6%。今年他们准备面向高净值人群公开发售。 ? 周平表示,现在许多人担心中国经济增速放缓。

    41520

    干货 ▏如何构建用户画像

    当行为集中到互联网,乃至电商,用户行为就会聚焦很多,如上图所示:浏览凡客首页、浏览休闲鞋单品页、搜索帆布鞋、发表关于鞋品质的微、赞“双十一大促给力”的微消息。等等均可看作互联网用户行为。...潜在包含了两层信息:网址 + 内容。网址:每一个url链接(页面/屏幕),即定位了一个互联网页面地址,或者某个产品的特定页面。...可以是PC上某电商网站的页面url,也可以是手机上的微,微信等应用某个功能页面,某款产品应用的特定画面。如,长城红酒单品页,微信订阅号页面,某游戏的过关页。...这里的关注点是不同的网址,存在权重差异,权重模型的构建,需要根据各自的业务需求构建。 所以,网址本身表征了用户的标签偏好权重。网址对应的内容体现了标签信息。...(作者:百分点技术总监 郭志) 版权声明:转载文章均来自公开网络,仅供学习使用,不会用于任何商业用途,如果出处有误或侵犯到原作者权益,请与我们联系删除或授权事宜,联系邮箱:holly0801@163.

    1K50

    如何构建用户画像

    当行为集中到互联网,乃至电商,用户行为就会聚焦很多,如上图所示:浏览凡客首页、浏览休闲鞋单品页、搜索帆布鞋、发表关于鞋品质的微、赞“双十一大促给力”的微消息。等等均可看作互联网用户行为。...潜在包含了两层信息:网址 + 内容。网址:每一个url链接(页面/屏幕),即定位了一个互联网页面地址,或者某个产品的特定页面。...可以是PC上某电商网站的页面url,也可以是手机上的微,微信等应用某个功能页面,某款产品应用的特定画面。如,长城红酒单品页,微信订阅号页面,某游戏的过关页。...这里的关注点是不同的网址,存在权重差异,权重模型的构建,需要根据各自的业务需求构建。 所以,网址本身表征了用户的标签偏好权重。网址对应的内容体现了标签信息。...原文作者:郭志

    2.2K80

    用户画像数据建模方法

    点击标题下「大数据文摘」可快捷关注 作者:百分点技术总监郭志 摘自:百分点(ID: baifendian_com) 从1991年Tim Berners-Lee发明了万维网(World Wide Web...当行为集中到互联网,乃至电商,用户行为就会聚焦很多,如上图所示:浏览凡客首页、浏览休闲鞋单品页、搜索帆布鞋、发表关于鞋品质的微、赞“双十一大促给力”的微消息。等等均可看作互联网用户行为。...潜在包含了两层信息:网址 + 内容。网址:每一个url链接(页面/屏幕),即定位了一个互联网页面地址,或者某个产品的特定页面。...可以是PC上某电商网站的页面url,也可以是手机上的微,微信等应用某个功能页面,某款产品应用的特定画面。如,长城红酒单品页,微信订阅号页面,某游戏的过关页。...这里的关注点是不同的网址,存在权重差异,权重模型的构建,需要根据各自的业务需求构建。 所以,网址本身表征了用户的标签偏好权重。网址对应的内容体现了标签信息。

    1.8K60

    从技术到团队,即构为你呈现最好的“在线抓娃娃”SDK

    ” 映客CTO候广凌在回忆当初为什么和即构合作的时候说道,“当然我们现在和即构的合作不止停留在互动直播上了,还包含更多往社交方向的探索,比如说棋牌和狼人杀,要求超过12个用户能进行语音视频实时互动,而在超多用户实时互动方面...此外,因为微的作用对一直播至关重要,因此我们的直播方案还要求必须能在微上观看多个主播同框互通,而即构的云端混流方案很好地满足了这一要求,相对于在主播手机端混流,云端混流的用户体验更加优秀而且稳定。...对此,即构科技CTO建忠表示:“其实我是做音频出身的(笑),在QQ的时候语音和视频不分家,于是连视频一起搞,在语音视频这个领域不知不觉也搞了16个年头了。

    92170

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    热门标签

    领券