TensorFlow基础(二)

# 1、定义队列
# 最多放5个数据,类型为float32
Q = tf.FIFOQueue(5,tf.float32)
# 放入一些数据,这里存放列表写成[[1,2,3,4,5],],防止认为是张量
e_many = Q.enqueue_many([[1,2,3,4,5],])
# 取出数据,乘以2
out_q = Q.dequeue()
data = out_q*2
# 再放入队列
en_q = Q.enqueue(data)
with tf.Session() as sess:
    # 初始化队列
    sess.run(e_many)
    # 处理数据100次,这里只用运行en_q，就会运行
    # 去除数据，*2,放入队列这三步操作,Tensorflow中操作具有依赖性
    # 运行en_q,en_q依赖data,data依赖out_q
    for i in range(100):
        sess.run(en_q) 
    # 取数据
    for i in range(Q.size().eval()):
        print(sess.run(out_q))

# 模拟实现子线程读取数据,而主线程进行训练,二者并行

# 定义一个队列
Q = tf.FIFOQueue(1000,tf.float32)
# 定义子线程需要做的事情 循环加1 放入队列
var = tf.Variable(0.0)
# 每次加1,如果不使用assign_add,每次都是0+1会一直是1
data = tf.assign_add(var,1.0)
# 放入队列
en_q = Q.enqueue(data)
# 定义队列管理器op,指定线程做什么
qr = tf.train.QueueRunner(Q,enqueue_ops=[en_q]*2)
# 初始化变量op
init_op = tf.global_variables_initializer()

with tf.Session() as sess:
    # 初始化变量
    sess.run(init_op)
    # 开启线程协调器,当主线程结束回收子线程
    coord = tf.train.Coordinator()
    # 开启子线程
    threads = qr.create_threads(sess,coord=coord,start=True)
    # 主线程读取数据,训练
    for i in range(1000):
        print(sess.run(Q.dequeue()))
    # 回收子线程
    coord.request_stop()
    coord.join(threads)

def csvread(filelist):
    # 构造文件队列,返回的是一个队列
    file_queue = tf.train.string_input_producer(filelist,shuffle=False)
    # 构造csv阅读器读取队列数据,默认按照行读取
    reader = tf.TextLineReader()
    # 得到读取的数据key是读取的文件名,value是读取的数据
    key, value = reader.read(file_queue)
    # 解码
    # record_defaults指定读取的文件每一列的类型
    # 比如csv的第一列数据是1,2,3，第二列为python,java,C
    # 也就是第一列为float,第二列为string
    # record_defaults就是指定每列的类型,和默认值
    # 1.0为float,说明数据第一列为float类型,默认值是1
    # ,""为string类型,说明第二列为string类型,默认值是None
    records = [[1.0],["None"]]
    # 返回为每个列的每个值
    rad_num,label = tf.decode_csv(value,record_defaults=records)
    # 读取多个数据,批处理
    # 参数一:批处理的值
    # 参数二:每批次读取多少数据
    # 参数三:开启多少线程
    # 参数四:队列的大小
    rad_num_batch,label_batch = tf.train.batch([rad_num,label],batch_size=9,num_threads=1,capacity=9)
    return rad_num_batch,label_batch

if __name__ == "__main__":
    # 自己创建csv文件,列数不必太多
    # 将文件放入列表
    import os
    # 去除警告消息
    os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
    # os.listdir:返回该目录下文件名的列表
    file_name = os.listdir("./csvdata/")
    # 拼接路径
    filelist = [os.path.join("./csvdata",file) for file in file_name]
    rad_num_batch,label_batch = csvread(filelist)
    # 开启会话
    with tf.Session() as sess:
        #  定义线程协调器
        coord = tf.train.Coordinator()
        # 开启读取文件的线程,不用上面那样麻烦了
        threads = tf.train.start_queue_runners(sess, coord=coord)
        # 打印读取的内容
        print(sess.run([rad_num_batch,label_batch]))
        # 回收线程
        coord.request_stop()
        coord.join(threads)