爬取美女壁纸

时间:2021-2-20 作者:admin

疲惫的生活我们需要些许的温柔

我会带大家进行美女壁纸的爬取,来给生活增添色彩,生活需要有理想和爱人或者说是相互扶持的人,生活才有温度。因为爱生活才会有希望。


壁纸案例


前言

例如:随着大数据的不断发展,爬虫技术也越来越重要,很多人都开启了学习爬虫,本文就介绍了爬虫的使用。


以下是本篇文章正文内容

一、requests是什么?

Requests 是一个 Python 的 HTTP 客户端库,我们可以用它得到HTML源码

二、使用步骤

1.引入库

代码如下:
本次我们采用的分别是requests请求库,os文件操作库,lxml解析库,和re正则库

import requests
import os
from lxml import etree
import re

2.请求数据

代码如下:

# 获取网页源码
def get_url(url):
    # 进行头部伪装
    headers={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36",
    }
    res=requests.get(url,headers=headers)
    res.encoding=res.apparent_encoding
    html=res.text
    # 返回HTML页面
    return html

该处使用的url网络请求的数据。


3.解析数据

代码如下:

def parse_html(html):
    # 采用正则进行匹配我们所需要的文本
    ul=re.findall(r'<ul class="clearfix">(.*?)</ul>',html,re.S)[0]
    e=etree.HTML(ul)
    src=e.xpath("//li//a/img/@src")
    title=e.xpath("//li//a/b/text()")
    for i,z in zip(src,title):
        json={
            "src":i,
            "title":z
        }
        # 字典类型的传参
        save(json['src'],json['title'])

该处是进行数据的解析与处理。


4.保存数据

代码如下:

def save(src,name):
    src="http://pic.netbian.com/"+src
    print("正在保存"+name)
    resonse =requests.get(src)
    # 创建路径进行文件的保存
    path = 'E:\\lianxi\\test'
    if not os.path.isdir(path):
        os.makedirs(path)  # 判断没有此路径则创建

    # 二进制保存图片
    with open('E:\\lianxi\\test\\'+name+'.jpg', 'wb') as f:
        f.write(resonse.content)

该处是进行文件的保存。


5.本地展示

爬取美女壁纸

该处是进行展示。


6.全部代码实现

#!/usr/bin/python3
# --coding:utf-8--
# @Author:陈同学
import requests
import os
from lxml import etree
import re

# 获取网页源码
def get_url(url):
    # 进行头部伪装
    headers={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36",
    }
    res=requests.get(url,headers=headers)
    res.encoding=res.apparent_encoding
    html=res.text
    # 返回HTML页面
    return html

# 解析网页
def parse_html(html):
    # 采用正则进行匹配我们所需要的文本
    ul=re.findall(r'<ul class="clearfix">(.*?)</ul>',html,re.S)[0]
    e=etree.HTML(ul)
    src=e.xpath("//li//a/img/@src")
    title=e.xpath("//li//a/b/text()")
    for i,z in zip(src,title):
        json={
            "src":i,
            "title":z
        }
        # 字典类型的传参
        save(json['src'],json['title'])


# 保存函数
def save(src,name):
    src="http://pic.netbian.com/"+src
    print("正在保存"+name)
    resonse =requests.get(src)
    # 创建路径进行文件的保存
    path = 'E:\\lianxi\\test'
    if not os.path.isdir(path):
        os.makedirs(path)  # 判断没有此路径则创建

    # 二进制保存图片
    with open('E:\\lianxi\\test\\'+name+'.jpg', 'wb') as f:
        f.write(resonse.content)




if __name__ == '__main__':
    html=get_url('http://pic.netbian.com/4kmeinv/index.html')
    parse_html(html)


总结

以上就是今天要讲的内容,本文对壁纸网站进行爬取,由于时间较为紧张,没有进行翻页操作,有兴趣的小伙伴可以进行主函数的修改就可以进行翻页操作,要是有不懂可以私信留言,与大家共同成长。

声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。