Linux.cn Archive
Asyncio
一个使用 asyncio 协程的网络爬虫(三)
在最后一个阶段,我们将使用 Python 标准库“asyncio”中功能完整的协程, 并通过异步队列完成这个网络爬虫。
一个使用 asyncio 协程的网络爬虫(二)
然后,由于 Python 的协程不仅有效而且可扩展,我们将用 Python 的生成器函数实现一个简单的协程。
一个使用 asyncio 协程的网络爬虫(一)
首先,我们会实现一个事件循环并用这个事件循环和回调来勾画出一只网络爬虫。它很有效,但是当把它扩展成更复杂的问题时,就会导致无法管理的混乱代码。