专栏首页微服务架构日记Python实际开发中经常用到和遇到的问题

Python实际开发中经常用到和遇到的问题

文件操作

  • 读取大文件
with open('test.txt', 'r') as file:
        while True:
            line = file.readline()
            if line:
                print(line)
            else:
                break
  • 多线程线程池

在实际开发中进程还是慎用的,但使用多线程要注意线程变量的问题,线程变量是共享的,因此操作一些文件要保证文件名是唯一的

from concurrent.futures import ThreadPoolExecutor
with ThreadPoolExecutor(6) as executor:
    for each in get_card():
        executor.submit(task, each)
  • 批量移动

这样操作效率会高一些

import os, shutil  

# 绝对路径  
src_dir = os.path.abspath(r"C:\Users\Yaotc\Desktop\hi\train_2018")  
dst_dir = os.path.abspath(r"C:\Users\Yaotc\Desktop\hi\data")  

if not os.path.exists(dst_dir):  
    os.makedirs(dst_dir)  

if os.path.exists(src_dir):  
    # root 所指的是当前正在遍历的这个文件夹的本身的地址  
    # dirs 是一个 list,内容是该文件夹中所有的目录的名字(不包括子目录)  
    # files 同样是 list, 内容是该文件夹中所有的文件(不包括子目录)  
    for root,dirs,files in os.walk(src_dir):  
        for file in files:  
            src_file = os.path.join(root, file)  
            shutil.copy(src_file, dst_dir)  
            print(src_file)  

print('Done!') 

序列化

  • json.dumps会变成unicode
json.dump(dic, ensure_ascii=False)
  • TypeError: a bytes-like object is required, not 'str'

存储数据的时候key若为单引号会报此错误

{"title": title, "avgScore": avgScore, "allCommentNum": allCommentNum, "address": address,"avgPrice": avgPrice}

计数器

文件移动

shutil

定时执行

想要定时执行脚本,而有不想安装太多依赖,可以使用shell的定时

# 查看定时任务
crontab -l
# 编辑定时任务
crontab -e
# 删除定时任务
crontab -r
# * * * * * 
minute hour day month week
# * 表示任意 - 范围(2-6 == 2,3,4,5,6) 
# , 取值(1,3,5,7) / (频率) 
5 8-23/1 * * * /home/myshell.sh  8到23点每隔一个小时的第五分钟

shell传递变量

#!/bin/bash
a=1
b=2
sudo python test.py $a $b

参考文档

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 开发中经常遇到的JavaScript问题整理(超实用)

    今天遇到一个需求,已知月份,得到这个月的第一天和最后一天作为查询条件查范围内的数据

    coder_koala
  • 结合Ant Design2.x总结在实际项目开发中遇到的问题

    2. 设计价值观 https://ant.design/docs/spec/...

    yuezhongbao
  • novaclient开发中遇到的问题小结

    用户1631856
  • 几个Android开发中遇到的问题

    --------------------------------------------------------------------------------...

    魏晓蕾
  • 近期开发中遇到的问题总结

    最近准备把后台管理系统重新设计开发下,使用了bootstrap,在网上找了个漂亮的后台模板:sb2-admin,在使用中遇到了不少问题,总结下,以免以后忘记。 ...

    脑洞的蜂蜜
  • Android开发中遇到的一些小问题

    经过搜索,发现如果是要访问“www.baidu.com”这样的网址或者纯文字时,会报ActivityNotFoundException错误。

    提莫队长
  • 开发中经常碰到的问题cookie和session问题,今天一并解决

    会话可简单理解为:用户开一个浏览器,点击多个超链接,访问服务器多个web资源,然后关闭浏览器,整个过程称之为一个会话。

    好好学java
  • iOS百度地图开发中遇到的问题

    由于项目需要地图功能,公司决定使用百度地图,但是百度地图也有很多问题,现在总结一下在百度地图中遇到的坑,希望给各位看官一点参考,避免走一些弯路.我使用的百度地图...

    hrscy
  • flink开发过程中遇到的问题集锦

    cannot be cast to com.google.protobuf.Message

    大数据技术与应用实战

扫码关注云+社区

领取腾讯云代金券