图片信息丰富多彩，许多网站上都有大量精美的图片资源。有时候我们可能需要批量下载这些图片，而手动一个个下载显然效率太低。因此，编写一个简单的网站图片爬取程序可以帮助我们高效地获取所需的图片资源。

目标网站：

如果出现模块报错

进入控制台输入：建议使用国内镜像源

我大致罗列了以下几种国内镜像源：

效果图：

代码详解：

get_imgurl_list(url, imgurl_list) 函数用来获取指定页面中的图片链接，并将这些链接存储在 imgurl_list 列表中。

• 使用 requests.get(url=url, headers=headers) 发起请求获取页面内容。
• 使用 etree.HTML(html_str) 将页面内容转换为 etree 对象，方便后续使用 XPath 进行解析。
• 通过 XPath 定位到图片链接，并添加到 imgurl_list 中。

get_down_img(imgurl_list) 函数用来下载图片到本地存储。

• 创建名为 "美女" 的文件夹用于存储下载的图片。
• 遍历 imgurl_list 中的图片链接，逐个下载图片并保存到本地文件夹中。

在 if __name__ == '__main__': 部分：

• 设置需要爬取的页数 page_number = 10。
• 循环构建每一页的链接，如 https://www.moyublog.com/95-2-2-{i}.html。
• 调用 get_imgurl_list() 函数获取图片链接。
• 调用 get_down_img() 函数下载图片到本地。

代码流程：

导入必要的库和模块：

定义函数get_imgurl_list(url, imgurl_list)用于获取图片链接：

• 发送GET请求获取网页内容。
• 将网页内容转换为etree对象以便后续使用xpath进行解析。
• 使用xpath定位所有的li标签，并遍历每个li标签获取图片链接，将链接添加到imgurl_list列表中。
• 定义函数get_down_img(imgurl_list)用于下载图片：

• 创建名为"美女"的目录用于存放下载的图片。
• 遍历图片链接列表，逐个发送GET请求下载图片数据，并将图片写入本地文件。每张图片以数字编号命名。

主程序部分：

• 设定要爬取的页数page_number为10。
• 初始化存放图片链接的列表imgurl_list。
• 循环构建每一页的链接并调用get_imgurl_list()函数获取图片链接。
• 最后调用get_down_img()函数下载图片到本地"美女"文件夹。

为什么我们在获取数据的过程中需要用到IP池

应对反爬虫策略：许多网站会采取反爬虫措施，限制单个IP的访问频率或次数。通过使用数据获取服务，可以轮换多IP来模仿多个用户访问，降低被封禁的风险。

保证稳定性：有些数据获取服务可能存在不稳定的情况，包括IP连接速度慢、IP被找到等问题。通过建立数据获取服务，可以预先准备多个可用的IP地址，确保程序在某个IP不可用时可以快速切换到其他可用IP，提高爬虫程序的稳定性。

提高访问速度：IP池中的多个IP地址可以并发使用，实现多线程或异步请求，从而加快数据获取速度。通过在数据获取服务中保持一定数量的可用IP地址，可以实现更快速的数据抓取。

应对封禁风险：有些网站会根据某些特定的IP地址或IP段进行封禁，如果整个IP池中的IP都被封禁，可以及时更新IP池中的IP地址，避免影响爬虫程序的正常运行。

降低被识别的风险：当爬虫程序使用固定的IP地址进行访问时，容易被网站识别出是爬虫行为。

完整代码：

以上就是使用python爬取4K壁纸保存到本地文件夹的全过程的详细内容。