编写简单的网页爬虫

最近有个朋友在学写Python爬虫, 想问问我的经验, 正好之前写过, 就简单总结下, 原理并不复杂, 就是基于requests和regex正则一把梭, 可以应付不少静态网页了. 复杂的爬虫还是要用框架吧, pyspider等…

http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html

我们想爬取出以下的效果

1573388573574

分析页面结构

1573388664253

可以看到, 这个里面就是所有学校的信息了, <tbody class="hidden_zhpm" style="text-align: center;">(这里面就是我们想要的内容, 所有大学的信息)<tbody>

网页请求

我们先用request请求下, 注意设置超时时间timeout

url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html"
try:
    # 请求网页
    r = requests.get(url=url, timeout=8)
    r.encoding = 'utf-8'    #响应原本的编码方式为'ISO-8859-1', 此处需要转换成utf-8, 否则中文是乱码
except:
    print("load page error")
    pass

url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html"

try:

# 请求网页

r = requests.get(url=url, timeout=8)

r.encoding = 'utf-8' #响应原本的编码方式为'ISO-8859-1', 此处需要转换成utf-8, 否则中文是乱码

except:

print("load page error")

pass

提取有效信息

那么, 网页的所有文本内容都在r.text中了, 下面我们用正则regex库来提取刚刚提到括号中的文本, 存到了universitys_raw变量中

universitys_raw = re.findall(r'''&lt;tbody class="hidden_zhpm" style="text-align: center;"&gt;(.+?)&lt;/tbody&gt;''', r.text, re.S)

1 2	universitys_raw = re.findall(r'''<tbody class="hidden_zhpm" style="text-align: center;">(.+?)</tbody>''', r.text, re.S)

universitys_raw中已经存了所有学校的信息, 那么下一步就是提取出每一所学校的信息

1573389104945

上面浏览器按F12看到, 每所学校的信息格式如下:

&lt;tr class="alt" style="background-color: rgb(204, 232, 207);"&gt;(每一所学校的信息!!!不含括号)&lt;/tr&gt;

1 2	<tr class="alt" style="background-color: rgb(204, 232, 207);">(每一所学校的信息!!!不含括号)</tr>

但是经过我自己测试, 应该是由于requests 库没有渲染的缘故, 打印了universitys_raw, 发现request得到的格式如下:

&lt;tr class="alt"&gt;(每一所学校的信息!!!不含括号)&lt;/tr&gt;

<tr class="alt">(每一所学校的信息!!!不含括号)</tr>

因此对应的正则提取代码就变成:

universitys_raw2 = re.findall(r'''&lt;tr class="alt"&gt;(.+?)&lt;/tr&gt;''', universitys_raw[0], re.S)

1 2	universitys_raw2 = re.findall(r'''<tr class="alt">(.+?)</tr>''', universitys_raw[0], re.S)

最终就是要从外一层的tr标签中提取出红框里的信息

1573389783172

# 对排名、名称、省市、生源质量逐一赋值
university = []
university.append(tmp[0])  # 排名
university.append(tmp[1].replace('''&lt;div align="left"&gt;''',"").replace('''&lt;/div&gt;''',"") )   # 名称
## tmp[1]) = '&lt;div align="left"&gt;西交利物浦大学&lt;/div&gt;' 
## 将tmp[1])中的无用数据替换为空,得到校名name; 也可用正则提取(下方已注释部分)
## name = re.findall(r'''&lt;div align="left"&gt;(.+?)&lt;/div&gt;''',tmp[1]))

university.append(tmp[2]) # 省市  
university.append(tmp[3]) # 总分

# 对排名、名称、省市、生源质量逐一赋值

university = []

university.append(tmp[0]) # 排名

university.append(tmp[1].replace('''<div align="left">''',"").replace('''</div>''',"") ) # 名称

## tmp[1]) = '<div align="left">西交利物浦大学</div>'

## 将tmp[1])中的无用数据替换为空,得到校名name; 也可用正则提取(下方已注释部分)

## name = re.findall(r'''<div align="left">(.+?)</div>''',tmp[1]))

university.append(tmp[2]) # 省市

university.append(tmp[3]) # 总分

最终, university中存的内容类型以下格式['459', '黄山学院', '安徽', '26.3'], 写入即可

保存

连接符

for each_line in universitys:
    f.write(",".join(each_line)+"\n")  # 写入, 例如:" 549, 湖南涉外经济学院, 湖南, 15.5 \n "

for each_line in universitys:

f.write(",".join(each_line)+"\n") # 写入, 例如:" 549, 湖南涉外经济学院, 湖南, 15.5 \n "

这里涉及到字符串的join函数, 是用逗号","来连接each_line中的每一个元素, 输入是个数组, 输出是个字符串.

写入文件

此处还是用open函数,一般而言 ,有两种写法

# 写法一
with open("文件路径","模式") as f:
    #文件操作


#例子:
with open(r"./result.csv","a+")  as f:

    f.write('排名,名称,省市,生源质量\n')

# 写法一

with open("文件路径","模式") as f:

#文件操作

#例子:

with open(r"./result.csv","a+") as f:

f.write('排名,名称,省市,生源质量\n')

# 写法二例子
f = open(r"./result.csv","a+") 
# 进行文件读、写操作
f.write('排名,名称,省市,生源质量\n')

f.close()# 结束文件流

# 写法二例子

f = open(r"./result.csv","a+")

# 进行文件读、写操作

f.write('排名,名称,省市,生源质量\n')

f.close()# 结束文件流

模式

“a” 以“追加”模式打开， (从文件末尾EOF 开始, 必要时创建新文件)
“a+” 以”读写”模式打开
“ab” 以”二进制追加”模式打开
“ab+” 以”二进制读写”模式打开

“w” 以”写”的方式打开
“w+” 以“读写”模式打开
“wb” 以“二进制写”模式打开
“wb+” 以“二进制读写”模式打开

最终代码

# coding:utf-8 
# author:henry
# 爬取网页, 并提取出2019中国最好大学排名_最好大学网

import requests
import regex as re
import os


# 参数配置
url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html"
universitys = []  
## 如果程序运行时存在错误,例如出现了网页无法访问等情况, 程序会自动中断运行
## 所以采用这种try...except的方式来让程序不至于退出
## try...except日常的应用场景应该是抛出异常, 并在上一层捕获并做出相应的处理(例如提示更换网页地址等)
try:
    # 请求网页
    r = requests.get(url=url, timeout=8)
    r.encoding = 'utf-8'    #响应原本的编码方式为'ISO-8859-1', 此处需要转换成utf-8, 否则中文是乱码
except:
    print("load page error")
    pass


# 数据处理  

## 把所有学校的raw数据爬下来   
## &lt;tbody class="hidden_zhpm" style="text-align: center;"&gt;(这里面就是我们要提取出来的字符串!!!不含左右括号)&lt;/tbody&gt;

## findall函数的第一个参数: 在匹配模式的字符串前加个r, 会使python对其中的字符串忽略转义规则;即raw string, 参考https://blog.csdn.net/wangchao701123/article/details/56281006
## findall函数的第二个参数: 等待提取的字符串
## findall函数的第三个参数:re.S表示换行匹配, 即re.S模式中, "."可以匹配"\n"
## 另外, 此处为正则匹配的非贪婪模式,就是在匹配到右边的正则之前尽可能少次匹配左边的正则(目前无需理解)
universitys_raw = re.findall(r'''&lt;tbody class="hidden_zhpm" style="text-align: center;"&gt;(.+?)&lt;/tbody&gt;''', r.text, re.S) 

### 需要注意: 此处正则提取的点, 跟浏览器的不同
### 按照浏览器显示的内容提取(有js渲染): universitys_raw2 = re.findall(r'''&lt;tr class="alt" style="background-color: rgb(204, 232, 207);"&gt;(.+?)&lt;/tr&gt;''', universitys_raw[0], re.S)
### 按照requests.get方法抓到的内容提取(无js渲染): universitys_raw2 = re.findall(r'''&lt;tr class="alt"&gt;(.+?)&lt;/tr&gt;''', universitys_raw[0], re.S)
## 抽取出每所学校的排名、名称、省市、生源质量等， 存入universitys数组
universitys_raw2 = re.findall(r'''&lt;tr class="alt"&gt;(.+?)&lt;/tr&gt;''', universitys_raw[0], re.S)

print("[+]info_capture_start")
for each_raw in universitys_raw2:
    '''
    @str: each_raw , 每一所学校的网页源代码
    @list: universitys[], 所有学校的排名、名称、省市、生源质量
    '''
    tmp = re.findall(r'''&lt;td&gt;(.+?)&lt;/td&gt;''', each_raw)
    ## tmp = ['101', '&lt;div align="left"&gt;西交利物浦大学&lt;/div&gt;', '江苏', '35.4']

    university = []

    # 对排名、名称、省市、生源质量逐一赋值
    university.append(tmp[0])  # 排名
    university.append(tmp[1].replace('''&lt;div align="left"&gt;''',"").replace('''&lt;/div&gt;''',"") )   # 名称
    ## tmp[1]) = '&lt;div align="left"&gt;西交利物浦大学&lt;/div&gt;' 
    ## 将tmp[1])中的无用数据替换为空,得到校名name; 也可用正则提取(下方已注释部分)
    ## name = re.findall(r'''&lt;div align="left"&gt;(.+?)&lt;/div&gt;''',tmp[1]))

    university.append(tmp[2]) # 省市  
    university.append(tmp[3]) # 总分  



    # 以多维数组形式存入学校的排名、名称、省市、生源质量
    ## 字符串数组universitys = [[...],[...],['549', '湖南涉外经济学院', '湖南', '15.5'], ['459', '黄山学院', '安徽', '26.3']]
    #foo = [tmp[i] for i in range(0,12)]
    universitys.append(university) 
    print(university)

print("[+]info_capture_completed")

# 保存结果到文件
## 将本次爬虫结果universitys[], 写入到当前目录的result.csv文件中
## (csv格式下, 每行的属性用逗号","隔开, 可以用excel浏览, 也可以很方便地转换成其他格式)
## Python的文件修改有几种模式, 参考open函数  https://www.cnblogs.com/dkblog/archive/2011/02/24/1980651.html
## 打开文件流
f = open(r"./result.csv","a+") 

f.write('排名,名称,省市,生源质量\n')
for each_line in universitys:
    f.write(",".join(each_line)+"\n")  # 写入, 例如:" 549, 湖南涉外经济学院, 湖南, 15.5 \n "

## 关闭文件流
f.close()

print("[+]saved_in {}".format(os.getcwd()+"/result.csv"))

# coding:utf-8

# author:henry

# 爬取网页, 并提取出2019中国最好大学排名_最好大学网

import requests

import regex as re

import os

# 参数配置

url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html"

universitys = []

## 如果程序运行时存在错误,例如出现了网页无法访问等情况, 程序会自动中断运行

## 所以采用这种try...except的方式来让程序不至于退出

## try...except日常的应用场景应该是抛出异常, 并在上一层捕获并做出相应的处理(例如提示更换网页地址等)

try:

# 请求网页

r = requests.get(url=url, timeout=8)

r.encoding = 'utf-8' #响应原本的编码方式为'ISO-8859-1', 此处需要转换成utf-8, 否则中文是乱码

except:

print("load page error")

pass

# 数据处理

## 把所有学校的raw数据爬下来

## <tbody class="hidden_zhpm" style="text-align: center;">(这里面就是我们要提取出来的字符串!!!不含左右括号)</tbody>

## findall函数的第一个参数: 在匹配模式的字符串前加个r, 会使python对其中的字符串忽略转义规则;即raw string, 参考https://blog.csdn.net/wangchao701123/article/details/56281006

## findall函数的第二个参数: 等待提取的字符串

## findall函数的第三个参数:re.S表示换行匹配, 即re.S模式中, "."可以匹配"\n"

## 另外, 此处为正则匹配的非贪婪模式,就是在匹配到右边的正则之前尽可能少次匹配左边的正则(目前无需理解)

universitys_raw = re.findall(r'''<tbody class="hidden_zhpm" style="text-align: center;">(.+?)</tbody>''', r.text, re.S)

### 需要注意: 此处正则提取的点, 跟浏览器的不同

### 按照浏览器显示的内容提取(有js渲染): universitys_raw2 = re.findall(r'''<tr class="alt" style="background-color: rgb(204, 232, 207);">(.+?)</tr>''', universitys_raw[0], re.S)

### 按照requests.get方法抓到的内容提取(无js渲染): universitys_raw2 = re.findall(r'''<tr class="alt">(.+?)</tr>''', universitys_raw[0], re.S)

## 抽取出每所学校的排名、名称、省市、生源质量等，存入universitys数组

universitys_raw2 = re.findall(r'''<tr class="alt">(.+?)</tr>''', universitys_raw[0], re.S)

print("[+]info_capture_start")

for each_raw in universitys_raw2:

'''

@str: each_raw , 每一所学校的网页源代码

@list: universitys[], 所有学校的排名、名称、省市、生源质量

'''

tmp = re.findall(r'''<td>(.+?)</td>''', each_raw)

## tmp = ['101', '<div align="left">西交利物浦大学</div>', '江苏', '35.4']

university = []

# 对排名、名称、省市、生源质量逐一赋值

university.append(tmp[0]) # 排名

university.append(tmp[1].replace('''<div align="left">''',"").replace('''</div>''',"") ) # 名称

## tmp[1]) = '<div align="left">西交利物浦大学</div>'

## 将tmp[1])中的无用数据替换为空,得到校名name; 也可用正则提取(下方已注释部分)

## name = re.findall(r'''<div align="left">(.+?)</div>''',tmp[1]))

university.append(tmp[2]) # 省市

university.append(tmp[3]) # 总分

# 以多维数组形式存入学校的排名、名称、省市、生源质量

## 字符串数组universitys = [[...],[...],['549', '湖南涉外经济学院', '湖南', '15.5'], ['459', '黄山学院', '安徽', '26.3']]

#foo = [tmp[i] for i in range(0,12)]

universitys.append(university)

print(university)

print("[+]info_capture_completed")

# 保存结果到文件

## 将本次爬虫结果universitys[], 写入到当前目录的result.csv文件中

## (csv格式下, 每行的属性用逗号","隔开, 可以用excel浏览, 也可以很方便地转换成其他格式)

## Python的文件修改有几种模式, 参考open函数 https://www.cnblogs.com/dkblog/archive/2011/02/24/1980651.html

## 打开文件流

f = open(r"./result.csv","a+")

f.write('排名,名称,省市,生源质量\n')

for each_line in universitys:

f.write(",".join(each_line)+"\n") # 写入, 例如:" 549, 湖南涉外经济学院, 湖南, 15.5 \n "

## 关闭文件流

f.close()

print("[+]saved_in {}".format(os.getcwd()+"/result.csv"))

1573390437007

写字的心情

编写简单的Python网页爬虫

编写简单的网页爬虫

分析页面结构

网页请求

提取有效信息

保存

最终代码