网络爬虫

1. 查看源代码

2. 按F12查看network监听请求(抓包)

3. 解密

   提取HTML中所有URL链接
   思路:1)搜索到所有标签

        2)解析<a>标签格式,提取href后的链接内容。

正则表达式

基础

1.\w 字母、数字、下划线

2.\W 除字母、数字、下划线

3.\d 十进制数字

4.\D 除十进制数字

5.\s 空白字符

6.\S 除空白字符

7.[abc] 代表原子表只选择其中一个abc

8.[ ^abc ] 代表非abc的一个

元字符

1. 点 表示除换行符任意字符
2. ^ 匹配开始位置
3. $ 匹配结束位置
4. ‘*’ 匹配0\1\多次
5. ？ 0\1次
6. ‘+’ 1\多次
7. {n} 恰好n次
8. {n,} 至少n次
9. {n,m} 至少n次，至多m次
10. | 表示或
11. () 模式单元

模式修政符

1. I 匹配时忽略大小写
2. M 多行匹配
3. L 本地化识别匹配
4. U Unicode
5. S 让. 匹配包括换行符

应用：

string="Python"
pat="pyt"
rst=re. search(pat, string, re.)
print(rst)

贪婪模式与懒惰模式

应用:

#贪婪模式与懒惰模式
 string="poythonyhjskjsa
pat1="p.*y"#贪婪模式
pat2="p.*?y"#懒惰模式

python 中正则表达式函数

1. re.match() #与search用法一致，不过是从头匹配

2. re.search() #第一个变量放正则表达式，第二个放内容

3. re.sub()

4. 全局匹配

   #全局匹配格式re. compile(正则表达式). findall(数据)
   rst=re. compile(. findall(string)
   

常见正则实例

1. 匹配网址：”[a-zA-Z]+://[ ^\s]*[.com|.cn]”
2. 匹配电话号码:”\d{4}-\d{7} |\d{3}-\d{8} “

简单爬虫urllib编写

import urllib.request
import re #正则库
data = urllib.request.urlopen(url).read().decode("utf-8")
pat = "正则表达式"
result = re.compile(pat).findall(data) #列表
print(result)

 import urllib. request
#ur retrieve(网址,本地文件存储地址)直接下载网页到本地
 ur ll ib. request. ur  Iretrieve ("http: //www. baidu. com", "d: \" )
 urIlib. request. ur lcleanup
#看网页相应的简介信息info
 file=urllib. request. ur lopen ("https: //read. douban. com/pr..")
 print(file. infoO)
#返回网页爬取的状态码getcode
 print(file. getcode()
#获取当前访问的网页的url, geturI0
 print(file. geturl0)
post请求实战
 import urllib. request
 import urllib. parse
 postur l="http: //www. igianyue. com/mypost/"
 postdata=ur llib. parse. ur lencode (
 "name": "ceo@txk7. com"
 "pass": "kjsahg jkashg",
 ]) encode("utf-8")
#进行post,就需要使用 ur Ilib. reqestRequest下面的(真实post地址,post数据
 req=ur llib. request. Request (postur, postdata)
 rst=ur ll ib. request. ur lopen(reg. read. decode ("utf-8")
open(":\\我的教学\Python\韬云教育-讯 Python爬虫pw")

requests 库

import requests
# 添加 headers
headers = {
    "User-Agent":..
}
response = request.get(url,headers=headers)
demo = response.text #网站源代码
response.content #二进制文件

BeautifulSoup 库

1.使用方式

from bs4 import BeautifulSoup
soup = BeautifulSoup("<p>data</p>",'html.parser')
soup.prettify() #可以使源代码清晰

2.基本元素

Tag	最基本的信息组织单元，分别用<>和</>表明开头和结尾
Name	标签的名字， … 的名字是‘p’，格式:.name
Attributes	标签的属性，字典形式组织，格式:.attrs
NabigableString	标签内非属性字符串，<>…</>中字符串，格式:.string
Comment	标签内字符串的注释部分,一种特殊的Comment类型

3.标签树的平行遍历

属性	说明
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	迭代类型，返回按照HTML文本顺序的下一个平行节点标签
.previous_siblings	迭代类型，返回按照HTML文本顺序的上一个平行节点标签

4.获取href

import requests
# 添加 headers
headers = {
    "User-Agent":..
}
response = request.get(url,headers=headers)
demo = response.text #网站源代码
from bs4 import BeautifulSoup
soup = BeautifulSoup(demo,'html.parser')
for link in soup.find_all('a'):
    print(link.get('href'))

find_all相关方法

方法	说明
<>.find()	搜索且只返回一个结果,字符串类型,同.find_all()参数
<>.find_parents()	在先辈节点中搜索,返回列表类型,同.find_all()参数
<>.find_parent()	在先辈节点中返回一个结果,字符串类型,同.find_all()参数
<>.find_next_siblings()	在后续平行节点中搜索,返回列表类型,同.find_all()参数
<>.find_next_sibling()	在后续平行节点中返回一个结果,字符串类型,同.find_all()参数
<>.find_previous_siblings()	在前序平行节点中搜索,返回列表类型,同.find_all()参数
<>.find_previous_sibling()	在前序平行节点中返回一个结果,字符串类型,同.find_all()参数

Scrapy 框架解析

​

requests	Scrapy
页面级爬虫	网站级爬虫
功能库	框架
并发性考虑不足,性能较差	并发性好,性能较高
重点在于页面下载	重点在于爬虫结构
定制灵活	一般定制灵活,深度定制困难
上手十分简单	入门稍难

Scrapy 常用命令

命令	说明	格式
startproject	创建一个新工程	scrapy startproject[dir]
genspider	创建一个爬虫	scrapy genspider [options]
settings	获得爬虫配置信息	scrapy settings[options]
crawl	运行一个爬虫	scrapy crawl
list	列出工程中所有爬虫	scrapy list
shell	启动URL调试命	scrapy令行 shellurl

Scrapy使用步骤

1.选择一个文件夹写项目 输入命令 scrapy startproject 项目名称

2.输入命令 scrapy genspider py名称 域名

3.再 py名称 中配置爬虫

4.输入命令 scrapy crawl py名称 运行爬虫

request 类

​

respond 类

​