python 爬虫的流程

1、python 爬虫流程

网络爬虫的流程其实非常简单，主要可以分为三部分：

（1）获取网页；（2）解析网页（提取数据）;（3）存储数据。

（1）获取网页就是给一个网址发送请求，该网址会返回整个网页的数据。类似于在浏览器中键入网址并按回车键，然后可以看到网站的整个页面。

（2）解析网页就是从整个网页的数据中提取想要的数据。类似于你在页面中想找到产品的价格，价格就是你要提取的数据。

（3）存储数据也很容易理解，就是把数据存储下来。我们可以存储在csv中，也可以存储在数据库中。

2、流程的技术实现

1．获取网页获取网页的基础技术：requests、urllib和selenium。获取网页的进阶技术：多进程多线程抓取、登录抓取、突破IP封禁（9）和使用服务器抓取。

2．解析网页解析网页的基础技术：re正则表达式、BeautifulSoup和lxml。解析网页的进阶技术：解决中文乱码。

3．存储数据存储数据的基础技术：存入txt文件和存入csv文件。存储数据的进阶技术：存入MySQL数据库和MongoDB数据库