python数据分析-第一讲：工作环境及本地数据文件
python数据分析-第一讲：工作环境及本地数据文件
1.数据分析工作准备环境
1.1数据分析基本概念
1.用适当的统计分析方法对收集来的大量数据进行分析 2.提取有用信息和形成结论 3.对数据加以详细研究和概况总结 目的:从数据中挖掘规则、验证猜想、进行预测
1.2数据分析的流程
明确目的(提出问题)->准备数据->数据解析->分析数据->获得结论->成果可视化
1.3 为什么要学习数据分析
1.有岗位需要 2.是机器学习的基础 3.数据科学的基础
1.4 环境部署
1.4.1 认识jupyter
1.基于web的在线编辑器 2.可交互式 3..ipynb文件分享（文件后缀） 4.支持markdown
1.4.1.1jupyter的安装
pip install jupyter
1.4.1.2jupyter的启动
通过命令行进入到想要打开的位置，然后输入执行： jupyter notebook 就可以打开浏览器进行编程
1.4.1.3jupyter的停止
命令行中，按 ctrl+c停止
1.4.2 pycharm社区版
1.集成开发环境 2.下载地址:https://www.jetbrains.com/pycharm/download/#section=windows
2.本地数据的采集与操作
2.1 常用的本地文件格式
1.TXT文件操作 2.JSON文件操作 3.CSV文件操作 4.Excel文件操作
2.2 TXT文件操作
1.打开文件 2.文件操作(读写) 3.关闭文件 示例代码：
'''
# 1.打开文件
file = open(filename,mode)
filename 文件名称
mode 模式（打开文件的模式）
r read 只读
w writer 写入（覆盖式的）
a append 追加
b byte 打开二进制
# 2.文件操作(读写)
2.1 读操作
read 读取全部文件
readline 逐行读取
readlines 返回列表，再遍历数据
2.2 写操作
write
append
# 3.关闭文件
'''
# file = open("1.txt",'r',encoding='utf-8')
#通过open打开文件的方式，当文件不存在时，程序会报错，抛出异常
# print(file.read())
# print(file.readline())
# print(file.readlines())
file = open("1.txt",'w',encoding='utf-8')
file.write('55555')
file.close()
exit()2.3 with语句(上下文管理器)
包括了异常处理,自动调用文件关闭操作,推荐使用
with open(filename,mode) as f:
文件操作2.4 JSON文件操作
Json是一种轻量级的数据交换格式。Json源自JavaScript语言，易于人类的阅读和编写，同时也易于机器解析和生成，是目前应用最广泛的数据交换格式。 Json是跨语言，跨平台的，但只能对Python的基本数据类型做操作，对Python的类就无能为力。JSON格式和Python中的字典非常像。但是，json的数据要求用双引号将字符串引起来，并且不能有多余的逗号。
2.4.1 json 写操作
写入文件 json.dump() 写入字符串变量 json.dumps()
示例代码：
'''
JSON文件操作
写操作
json.dump 写入文件中
json.dumps 写入字符串变量
'''
import json
# s = 'json'
# json.dump(s,open('json.txt','w'))
s = json.dumps(["zjk",{'age':18}])
print(s)2.4.2 json 读操作
从文件读取 json.load() 从字符串变量读取 json.loads() 代码示例：
'''
json 文件读操作
json.load() 从文件中读取
json.loads() 从字符串中读取
'''
import json
s=json.load(open("json1.txt",'r'))
print(s)2.5 CSV文件操作
以纯文本形式存储的表格数据(以逗号作为分隔符),通常第一行为列名
2.5.1 CSV文件写操作
import csv
with open("demo.csv", "w", newline="") as datacsv:
# 不设置newline=“”的时候，写入会增加一个空白行
#默认打开的方式是excel表格
csvwriter = csv.writer(datacsv, dialect=("excel"))
csvwriter.writerow(["A", "B", "C", "D"])2.5.2 CSV文件读操作
mport csv
rf = open('demo.csv','r')
reader = csv.reader(rf)
print(next(reader))
for i in reader:
print(i)2.6 Excel文件操作
Excel和CSV区别：
1.都可以Excel程序打开
2.Excel除了文本,数据也可以包含图表、样式等 3.CSV每条记录都存储为一行文本文件,每一条新行都表示一个新的数据记录
2.6.1Excel文件读操作
import xlrd
book = xlrd.open_workbook('1.xls')
sheet = book.sheet_by_index(0) # 获取第一个sheet
print(sheet.nrows) # 获取行数
print(sheet.cell(1,1)) # 获取单元格的值，根据行列
print(sheet.row(1)) # 获取第一行
print(sheet.row_values(1,1)) # 获取第一行，跳过第一列2.6.1Excel文件写操作
import xlwt
wbook = xlwt.Workbook()
wsheet = wbook.add_sheet('sheet1')
wsheet.write(0, 0, label = 'Row 0, Column 0')
wsheet.write(0, 1, label = 'Row 0, Column 1')
wbook.save('output.xls')