展开

关键词

使用Python批量下载Wind中的PDF报告

背景最近小编出于工作需要,准备在Wind金融终端批量下载上市公司2019年第一季度业绩预告。通过相关的条件检索,发现其相关有近百条。 由于Wind金融终端目前并不支持批量下载公司公告(只能逐个点击链接后下载pdf格式的公告)。 解决方案小编在这里将介绍利用Python网络爬虫这一利器,来解决Wind中批量下载公告的问题。 批量下载的思路是:Wind金融仅仅提供以ExcelCSV格式保存的url链接(见下图,),因此本文将通过解析url链接去获取上市企业的公告文本(pdf格式)。?

2.3K30

分析可视化】分组技术GroupBy

类似于分组的 ? GroupBy操作和类似 城市天气进行GroupBy操作 对group的单个列求平均值是Series 对group求平均值返回DataFrame import numpy as npimport pandas as pdfrom pandas import Series,DataFrame# 读入城市天气csv文件df = pd.read_csv(UsersbennyrhysDesktop分析可视化 -集homeworkcity_weather.csv)df date city temperature wind 0 03012016 BJ 8 5 1 17012016 BJ 12 2 2 31012016 Int64Index(, dtype=int64), SH: Int64Index(, dtype=int64), SZ: Int64Index(, dtype=int64)}# get_group相当于根某列的分组过滤出来

22310
  • 广告
    关闭

    云产品限时秒杀

    云服务器1核2G首年38元,还有多款热门云产品满足您的上云需求

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    pandas实战 | NC格式站点观测转csv表格

    NC的信息如下: dimensions: time = 1 station = 3956 unlimited strlen = 30 variables: character stid ( station station ) units : meter longname : elevation integer wd10a ( station, time ) units : degree longname : Wind Direction,10 minute average value float ws10a ( station, time ) units : ms longname : Wind speed,10 minute average value主要用到了两个 netCDF4:用于读取nc文件中的变量pandas:用于生产dataframe对象和输出csv文件示例脚本import netCDF4 as 我们需要通过np.apply_along_axis利用匿名函lambda x: x.tobytes().decode(utf-8)将原始按行合并成字符串并解码为utf-8格式。

    11820

    Python爬虫 --- 2.4 Scrapy之天气预报爬虫实践

    目的写一个真正意义上一个爬虫,并将他爬取到的分别保存到txt、json、已经存在的mysql中。 , 但是现在一般比较常用的免费mysql。 date = item temperature = item weather = item wind = item # 和本地的scrapyDB建立连接 connection = pymysql.connect ( host=127.0.0.1, # 连接的是本地 user=root, # 自己的mysql用户名 passwd=********, # 自己的密码 db=ScrapyDB, # 的名字 格式: ?这次的例子就到这里了,主要介绍如何通过自定义PIPELINE来将爬取的以不同的方式保存。

    29710

    ​Python爬虫 --- 2.4 Scrapy之天气预报爬虫实践

    原文链接:https:www.fkomm.cnarticle20188531.html 目的 写一个真正意义上一个爬虫,并将他爬取到的分别保存到txt、json、已经存在的mysql中。 = json.dumps(dict(item), ensure_ascii=False) + n f.write(line) return item 格式(mysql): Python对市面上各种各样的的操作都有良好的支持 , 但是现在一般比较常用的免费mysql。 date = item temperature = item weather = item wind = item # 和本地的scrapyDB建立连接 connection = pymysql.connect ( host=127.0.0.1, # 连接的是本地 user=root, # 自己的mysql用户名 passwd=********, # 自己的密码 db=ScrapyDB, # 的名字

    47900

    从零开始学量化(三):获取途径

    常用说明 做量化来说,常用的可以分为两类,一类是宏观基本面,一类是二级市场相关。 宏观包括国家统计局、央行定期发布的一些,比如GDP、CPI、各种利率等等,二级市场的包括主要量价和财报等,涉及股票、债券、基金、指等等。 WIND首先WIND是付费的,其次WIND基本上是最全的,要啥有啥。对于做量化来说,有各种软件可以调用的接口,比如python用的WindPy。所以如果有wind可以用,其他基本什么都不需要了。? 通达信软件上的也是免费的,可以直接导出各个股票、指的量价成txt文件,财务没有尝试过,可能也是有的。 自力更生自力更生的意思是找个网站,写一个定时的爬虫,爬到本地存下来,比如可以爬新浪财经、网易财经、交易所等等各个网站的,这个百度也可以搜到很多写好的爬虫,改改就能用,就是折腾一点,不过也可以作为一种学习的途径

    1.7K42

    形状变换在地震、风浪时间序列分类中的应用(CS LG)

    由于对大量工程结构(包括建筑物、桥梁、塔楼和海上平台等)的长期健康监测,使用时间序列分类法从大型中自主检测所需事件,在土木工程中越来越重要。 通过实例证明了这种基于形状变换的自主检测程序的有效性,从连续记录的地动测量中识别已知和未知的地震事件;从地动的速度时间历史中检测出脉冲,以区分近场和远场地动;从连续的风速测量中识别雷暴;从桥梁监测中检测大振幅的风诱导振动 原文题目:Applications of shapelet transform to time series classification of earthquake, wind and wave data In consideration of the individual attributes distinctive to time series signals in earthquake, wind impact on offshore structures.原文作者:Monica Arul, Ahsan Kareem原文地址:https:arxiv.orgabs2004.11243 形状变换在地震、风浪时间序列分类中的应用

    26610

    爬取720万条城市历史天气

    720万,地区3200个,年份从2011-2019,大小950Mb,原始已丢失,需要的朋友可以自己运行脚本挂一晚上。中间遇到了很多坑,有机会我再写一遍博客专门讲讲大量爬虫遇到的坑。 源隐藏了,有需要的我可以直接发。使用过程中虽然有些绊脚石,总体来说还是很良好的,脚本语言groovy相比java的确省事儿很多。分享代码,供大家参考。 in 2011..2018) {19 getCityYear(cityId, j)20 sleep(1000 + getRandomInt(1000))21 }22 }2324**25 * 获取当年的 continue32 getMonth(cityId, year, i)33 sleep(1000 + getRandomInt(1000))34 }35 }36**37 * 获取某个城市某一年某一月的 , fengli, wea, aqi, aqiLevel, aqiInfo)80 output(sql)81 MySqlTest.sendWork(sql)82 }83 }84}这里是截图:

    63220

    分析可视化】聚合技术Aggregation

    pandas as pdfrom pandas import Series, DataFrame# 读入城市天气csv文件df = pd.read_csv(UsersbennyrhysDesktop分析可视化 -集homeworkcity_weather.csv)df date city temperature wind 0 03012016 BJ 8 5 1 17012016 BJ 12 2 2 31012016 31072016 GZ -1 5 16 14082016 GZ 1 5 17 28082016 GZ 25 4 18 11092016 SZ 20 1 19 25092016 SZ -10 4 # 根城市进行分组 SZ 2.0 5.000 21.213203 -10.0 -2.50 5.0 12.50 20.0 2.0 2.500000 2.121320 1.0 1.75 2.5 3.25 4.0 # 传入聚合函 NaN NaN NaN SZ NaN NaN NaN # 自定义函 聚合 (最大值-最小值)def foo(attr): return attr.max() - attr.min()g.agg(foo

    20620

    玩了股票,还学了 Python

    DevilYuan股票量化系统简介DevilYuan股票量化系统由python编写,支持python3.4及以上版本,有如下功能:可视化(基于PyQT的界面)多线程事件引擎四大功能股票选股策略回测实盘交易历史均免费来自于网络 Wind免费个人接口TuShare(TuSharePro)通达信实盘微信提醒及交互一键挂机全自动交易模拟交易,支持9个模拟账号实盘和回测共用同一策略代码,支持tick和分钟级别实盘策略编写模板选股策略编写模板自动下载历史到 MongoDB股票代码表交易日个股,指和ETF历史日线个股和ETF历史分笔集成基本的统计功能实盘单账户多策略运行后的界面? , 可选)若不安装Wind接口,股票代码表,交易日和历史日线将使用TuShare接口。 TuShare这一块的更新速度比较慢。并且Wind的复权因子比较准确,建议安装Wind。但Wind的接口对流量有限制。或者你可以使用TuSharePro,请到这儿注册自己的token。

    80940

    科学学习手札58)在R中处理有缺失值的高级方法

    一、简介  在实际工作中,遇到中带有缺失值是非常常见的现象,简单粗暴的做法如直接删除包含缺失值的记录、删除缺失值比例过大的变量、用0填充缺失值等,但这些做法会很大程度上影响原始的分布或者浪费来之不易的信息 ,VIM包中的matrixplot将框或矩阵中的缺失及值分布以色彩的形式展现出来,下面是利用matrixplot对R中自带的airquality集进行可视化的效果:rm(list=ls() : 传入待插补的框或矩阵,其中缺失值应表示为NAm: 生成插补矩阵的个,mice最开始基于gibbs采样从原始出发为每个缺失值生成初始值以供之后迭代使用,而m则控制具体要生成的完整初始框个 ;  4、对5个合成出的框在缺失值位置进行融合,这里需要用到新的函complete,其主要有下面三个参:data: 前面mice函输出的结果action: 当只希望从合成出的m个框中取得某个单独的框时 ,可以设置action参,如action=3便代表取得m个框中的第3个mild: 逻辑型变量,当为TRUE时,会输出包含全部m个合成框的列表  获悉上列参意义后,若只想抽取某个框如第3个

    46940

    基于DFIG的风电场一次调频的驱动模型预测控制方法(CS)

    由于风电场本质上是非线性的,需要频繁维护的参很多,因此如何建立风电场动态控制的动态模型是最关键的问题。提出了一种驱动模型预测控制(data-driven MPC)方法,使风电场参与一次调频。 在该方法中,基于Koopman算子理论,提出了一种专门的动态模式分解(SDMD)算法,该算法能从观测中线性逼近风电场的动态特性。 原文标题:Data-driven Model Predictive Control Method for DFIG-based Wind Farm to Provide Primary Frequency Regulation Service原文:As wind power penetration increases, the wind farms are required by newly released This paper proposes a data-driven model predictive control (data-driven MPC) method to make wind farms

    19700

    Wind开放疫情:三行代码,轻松搞定!

    万得作为中国大陆领先的金融、信息和软件服务企业,迅速组织相关人员日夜奋战,第一时间在Wind金融终端移动端和电脑端同步上线了「疫情信息地图」。 且我们为用户提供了一手的疫情,其主要来自国家卫健委、各省市区卫健委等官方渠道,以确保疫情:权威、准确、及时。 导入WindPy,并将代码复制至notebook单元格中后,点击运行,即可输出疫情:?04插入案例模板同时,? 还为大家精心提供了多种疫情处理、可视化模板,自定义获取疫情的函 , 方便重复调用,轻松可视化! 1、将鼠标移到每个单元格的上方下方空白处,出现下图样式,点击+模板:? 方式二通过Web API获取落地疫情除了在万矿云平台获取疫情外,如果您想通过其他编程语言,将疫情下载至本地,我们提供的Web API可以满足您的需求!

    2.3K31

    4-5 R语言函 split

    #split根因子或因子列表将 向量或其他对象分组#通常与lapply一起使用#split(参):split(向量列表框,因子因子列表) > x x 0.61008707 0.81746169 lapply(split(x,f),mean)$`1` -0.6790049 $`2` 0.4547805 $`3` 0.8085015 > head(airquality) Ozone Solar.R Wind > s table(airquality$Month) 5 6 7 8 9 31 30 31 31 30 > lapply(s,function(x) colMeans(x))$`5` Ozone Wind Temp NA 11.62258 65.54839 $`6` Ozone Wind Temp NA 10.26667 79.10000 $`7` Ozone Wind Temp NA 8.941935 83.903226 $`8` Ozone Wind Temp NA 8.793548 83.967742 $`9`Ozone Wind Temp NA 10.18 76.90 > sapply(s,function

    17340

    海上风电环境变异

    我们发现,一个捕捉风速,方向和空气密度的综合影响的多输入功率曲线,,与依靠风速作为唯一的解释变量的单变量方法相比,可以提供两位的改善相比。 根在纽约新泽西湾收集的真实进行测试,我们提议的多输入模型在预测海上风力发电前两个时刻方面表现出很高的解释性,证明了它们对海上风电行业的潜在价值。 turbines operate, potentially compromising their value in offshore wind energy applications, and (ii wind power variability, with the ultimate goal of accurately predicting its first two moments. power, testifying their potential value to the offshore wind industry.

    24320

    英特尔欲出售旗下软件部门Wind River | 热点

    英特尔表示此次出售旨在将业务专注于为中心的战略任务上。外媒报道,英特尔准备将其Wind River Systems软件部门出售给金融巨头TPG,交易价格尚未对外公布。 该芯片制造商在2009年斥资8.84亿美元收购了Wind River Systems.Wind River在英特尔旗下主要负责开发嵌入式操作系统、飞行器和工业机器人软件。 悉,出售Wind River的协议将会在2018年第二季度完成交割。在出售后,Wind River将继续由总裁吉姆·道格拉斯和现在管理团队领导。 而Wind River是市场的领导者,拥有强大的产品组合,因而能够从这些趋势中收益。TPG对Wind River作为一家独立公司的发展前景很看好,并计划加大投资力度,促进其进一步发展。 这符合英特尔以为中心的战略。

    23550

    Tool之源码编译

    要想在VxWorks中调用它们,就需要先将这些源码编译为。还有一些组件既提供了源码,也提供了文件,但是出于某种原因可能需要修改源码,或者调整参,这时候也需要重新编译源码。 还有几个参comp-xxx表示的作用空间,取值comp-kernel表示这是kernel的,这也是默认值;取值comp-usr表示这是user mode的,也就是给RTP用的FEATURE_SET 表示哪种platform,需要根实际情况来选择,例如FEATURE_SET=pne,不过一般用户都是只安装一种platform,因此这个参就不用填写了。 使用这种VSB,可以图形化的定制所需组件以及参,并且编译得到的会单独存放。因此,可以为不同的CPU或BSP编译多种不同的。 ?创建VSB时,可以选择基于某种BSP或者某种CPU。 基于CPU编译时,得到的可以用于支持该CPU的所有BSP。 ?创建VSB之后,可以根实际需求对其进行配置。例如使能CRYPTO组件 ?添加FIREWALL组件 ?

    31440

    Swift入门:枚举

    问题是,对于这种类型的,字符串不是好的选择-是rain,“rainy还是”raining?还是“ showering(阵雨)”,“ drizzly(蒙蒙细雨)”或“ stormy(暴风雨)”? 枚举通过让您定义一个新的类型,然后定义它可以容纳的可能值来解决此问题。例如,我们可以说有五种天气:sun, cloud, rain, wind 和 snow。 在幕后,枚举通常只是简单的字,比计算机使用的字符串要快得多。 请记住,此检查只是幕后的字,闪电般快。现在,返回并再次阅读该代码,因为我将通过两个重要的更改来重写它。 ——我只是把它放在wind中。

    20920

    利用协调图进行风电场控制的可扩展优化 (CS)

    考虑到决定风机寿命的复杂的依赖性,学习一个灵活和最佳的控制策略需要一个驱动的方法。然而,由于风电场是大规模的多代理系统,在整个联合行动空间中优化控制策略是难以解决的。 原文:Wind farms are a crucial driver toward the generation of ecological and renewable energy. Due to their rapid increase in capacity, contemporary wind farms need to adhere to strict constraints We propose a new learning method for wind farm control that leverages the sparse wind farm structure wind flow simulator.

    14520

    4000字,25张精美交互图表,开启Plotly Express之旅

    Plotly Express 是一个新的高级 Python 可视化,它是 Plotly.py 的高级封装,为复杂图表提供简单的语法。 最主要的是 Plotly 可以与 Pandas 类型 DataFrame 完美的结合,对于分析、可视化来说实在是太便捷了,而且是完全免费的,非常值得尝试下面我们使用 Ployly 的几个内置集来进行相关图表绘制的演示集 方向、强度、wind = px.data.wind() wind Output2013年蒙特利尔市长选举投票结果包括字段:区域、Coderre票、Bergeron票、Joly票、总票、胜者、 px.colors.cyclical 分散色标,适用于具有自然终点的连续px.colors.diverging 定性色标,适用于没有自然顺序的px.colors.qualitative 顺序色标 , color=continent, size=pop, size_max=60) Output还可以通过参 hover_name 来指定当鼠标悬浮的时候,展示的信息还可以根集中不同的类型进行图表的拆分

    9220

    相关产品

    • 数据库

      数据库

      腾讯云数据库(TencentDB)是腾讯提供的高可靠、高可用、可弹性伸缩的云数据库服务产品的总称。可轻松运维主流开源及商业数据库,它更拥有容灾、数据传输服务、安全服务、灾备和智能 DBA 等全套服务。 可提供于电商、金融、游戏、互联网等不同场景完美的解决方案。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券