首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Python实现一个带图形界面的爬虫

Tk8.0 的后续版本可以实现本地窗口风格,并良好地运行在绝大多数平台中。...本爬虫使用的图形库是 Tkinter,这个图形库使用起来简单,缺点就是控件太少,难以做出太复杂又多功能的图形界面,不过这没关系,本爬虫只用到了极少的接口。...爬虫 95% 的代码都是实现爬虫逻辑和框架的,所以 Tkinter 的缺点并不影响。 看一下爬虫简陋的 GUI 界面吧: 主要的作用是需要爬取的百科词条可以在文本框内填写,并可以一次填写多项。...实现的代码: 用正则表达式就可以实现了,无论是一种符号输入还是多种符号混合输入都可以正确处理并分割字符串,获取到所有的关键词。...在爬虫主调度类SpiderMain中,实现了两个方法: 这两个方法都是爬虫的主调度方法,两个方法的主逻辑相同,只不过一个是单线程运行爬虫,另一个是多线程运行爬虫,多线程的爬虫方法中,内嵌了三个函数: 这三个函数的作用在文档字符串中也已经说明了

2.6K50

对atbus的小数据包的优化

/s 165K/s Linux+本地回环+ipv6+动态缓冲区(ptmalloc) 1 8-16384字节 95%/100% 5.6MB/28MB 484MB/s 82.6K/s Linux+本地回环+...优化实现 合包的话最简单的就是在io_stream_send里坐点手脚。原先这个函数每调用一次都会调用uv_write。...实现非常复杂,但是写完之后转念一想,如果每次调用都使用merge的话,那岂不是如果要merge N个包,第一个包要copy N次?因为每次都要扩充缓冲区。...这个可以用TLS机制实现,方法上一篇文章(Android和IOS的TLS问题)里提到过了,这里不再复述。...问题就在于这里,使用map方式实现的CRC32和CRC64性能太差了。我还不清楚具体的原因,不过猜测可能和CPU命中率有关。 后来看了下jemalloc的源码,里面用了MurmurHash V3算法。

6.8K20
领券