前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Stata | 下载和整理上市公司行业分类结果

Stata | 下载和整理上市公司行业分类结果

作者头像
PyStaData
发布2020-07-21 10:57:07
2.5K1
发布2020-07-21 10:57:07
举报
文章被收录于专栏:PyStaData

提出问题

证监会网站会公布每季度上市公司行业分类结果[1],但提供的是 PDF 版本,难以直接用作数据匹配。刚需要用到这份数据,懒得手动下载和转换,所以用 Stata 写了下获取和整理数据。

思路分析

  1. 使用 Stata16 调用 Python 完成文件的下载、PDF 转换成 Excel 文件。
  2. 使用 Stata 进行数据整理,涉及观测值去重、填充和利用正则表达式生成新变量等内容。

实现过程

调用 Python 下载和提取文件

代码语言:javascript
复制
python:
import requests
import pdfplumber
from openpyxl import Workbook

# 下载 PDF 文件
pdf_2019q4 = 'http://www.csrc.gov.cn/pub/newsite/scb/ssgshyfljg/202001/W020200110325952653089.pdf'
r = requests.get(pdf_2019q4, stream=True)
with open("证监会2019年4季度上市公司行业分类结果.pdf", "wb") as pdf:
    for content in r:
            pdf.write(content)

# 提取并写入 Excel
wb = Workbook()
ws = wb.active
with pdfplumber.open("证监会2019年4季度上市公司行业分类结果.pdf") as pdf:
    for page in pdf.pages:
        for table in page.extract_tables():
            for row in table:
                ws.append(row)
wb.save("证监会2019年4季度上市公司行业分类结果.xlsx")
end

整理数据

代码语言:javascript
复制
import excel using "证监会2019年4季度上市公司行业分类结果.xlsx", clear
duplicates drop

* ssc install nrow, replace
* ssc install carryforward, replace
nrow
carryforward _all,replace
gen 行业门类与大类 = ustrregexs(0) + 行业大类代码 if ustrregexm(门类名称及代码,"[A-Z]") == 1
save "2019q4上市公司行业分类.dta", replace

最终结果

参考资料

[1]

上市公司最新行业分类结果: http://www.csrc.gov.cn/pub/newsite/scb/ssgshyfljg/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-04-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 PyStaData 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 提出问题
  • 思路分析
  • 实现过程
    • 调用 Python 下载和提取文件
      • 整理数据
        • 参考资料
    • 最终结果
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档