[python]解析通达信盘后数据获取历史日线数据[通俗易懂]

#!/usr/bin/python  
def exactStock(fileName, code):
    ofile = open(fileName,'rb')
    buf=ofile.read()
    ofile.close()
    num=len(buf)
    no=num/32
    b=0
    e=32
    items = list() 
    for i in range(int(no)):
        a=unpack('IIIIIfII',buf[b:e])
        year = int(a[0]/10000);
        m = int((a[0]%10000)/100);
        month = str(m);
        if m <10 :
            month = "0" + month;
        d = (a[0]%10000)%100;
        day=str(d);
        if d< 10 :
            day = "0" + str(d);
        dd = str(year)+"-"+month+"-"+day
        openPrice = a[1]/100.0
        high = a[2]/100.0
        low =  a[3]/100.0
        close = a[4]/100.0
        amount = a[5]
        vol = a[6]
        unused = a[7]
        if i == 0 :
            preClose = close
        ratio = round((close - preClose)/preClose*100, 2)
        preClose = close
        item=[code, dd, str(openPrice), str(high), str(low), str(close), str(ratio), str(amount), str(vol)]
        items.append(item)
        b=b+32
        e=e+32
        
    return items

exactStock('E:\\new_tdx\\vipdoc\\sh\\lday\\sh000001.day',"000001")

# coding: UTF-8
from struct import *

import os
import sys


    
def day2csv_data(dirname,fname,targetDir):
    ofile=open(dirname+os.sep+fname,'rb')
    buf=ofile.read()
    ofile.close()
     
    ifile=open(targetDir+os.sep+fname+'.csv','w')
    num=len(buf)
    no=num/32
    b=0
    e=32
    line='' 
    linename=str('date')+','+str('open')+', '+str('high')+' ,'+str('low')+', '+str('close')+' ,'+str('amout')+', '+str('vol')+' ,'+str('str07')+''+'\n'
      # print line
    ifile.write(linename)
    # for i in xrange(no):
    for i in range(int(no)):
       a=unpack('IIIIIfII',buf[b:e])
       line=str(a[0])+','+str(a[1]/100.0)+', '+str(a[2]/100.0)+' ,'+str(a[3]/100.0)+', '+str(a[4]/100.0)+' ,'+str(a[5])+', '+str(a[6])+' ,'+str(a[7])+''+'\n'
      # print line
       ifile.write(line)
       b=b+32
       e=e+32
    ifile.close()
    


# pathdir='/vipdoc/sh/lday'
pathdir='X:\\股票\\解析通达信day日线数据\\day'
# targetDir='/_python_gp_tdx/data_gupiao/sh/lday'
targetDir='X:\\股票\\解析通达信day日线数据\\day'
 
listfile=os.listdir(pathdir)
 

for f in listfile:
   
    day2csv_data(pathdir,f,targetDir)
else:
    print ('The for '+pathdir+' to '+targetDir+'  loop is over')

# 通达信5分钟线*.lc5文件和*.lc1文件
#     文件名即股票代码
#     每32个字节为一个5分钟数据，每字段内低字节在前
#     00 ~ 01 字节：日期，整型，设其值为num，则日期计算方法为：
#                   year=floor(num/2048)+2004;
#                   month=floor(mod(num,2048)/100);
#                   day=mod(mod(num,2048),100);
#     02 ~ 03 字节： 从0点开始至目前的分钟数，整型
#     04 ~ 07 字节：开盘价，float型
#     08 ~ 11 字节：最高价，float型
#     12 ~ 15 字节：最低价，float型
#     16 ~ 19 字节：收盘价，float型
#     20 ~ 23 字节：成交额，float型
#     24 ~ 27 字节：成交量（股），整型
#     28 ~ 31 字节：（保留）

from struct import *
import numpy as np
import pandas as pd

ofile=open('sz000005.lc5','rb')

buf=ofile.read()
ofile.close()

num=len(buf)
no=num//32
# 原来是这样的，在python2中， '整数 / 整数 = 整数'，以上面的 100 / 2 就会等于 50， 并且是整数。
# 而在python3中， ‘整数/整数 = 浮点数’， 也就是100 / 2 = 50.0， 不过，使用 '//'就可以达到原python2中'/'的效果。

b=0
e=32
dl = []
for i in range(no):
   a=unpack('hhfffffii',buf[b:e])
   dl.append([str(int(a[0]/2048)+2004)+'-'+str(int(a[0]%2048/100)).zfill(2)+'-'+str(a[0]%2048%100).zfill(2),str(int(a[1]/60)).zfill(2)+':'+str(a[1]%60).zfill(2)+':00',a[2],a[3],a[4],a[5],a[6],a[7]])
   b=b+32
   e=e+32
df = pd.DataFrame(dl, columns=['date','time','open','high','low','close','amount','volume'])
print(df)