网页解析方法-BeautifulSoup简明使用指南
摘要：获得网页的html文档后，需要先解析html文档，才能提取所需文本。BeautifulSoup是笔者认为最好用的网页解析工具。
00 安装bs库
pip install bs4
01 解析html
import requests
import chardet
from bs4 import BeautifulSoup
headers={'User-Agent':'Mozillaxxxxxxxxxx'}
link='https://xxxxxxxxxxxxxx'
res=requests.get(link,headers=headers,timeout=10)
res.encoding=chardet.detect(res.content)['encoding']
soup=BeautifulSoup(res.text,'lxml') #使用BeautifulSoup解析res
查看一下soup；
print(soup)
很像我们在浏览器上查看的html，有时候为了更好的排版，一般都使用；
print(soup.prettify())
其实BeautifulSoup的作用就是将html文档转化了一下（转化成树结构），并且在这个树结构中，分为四种对象：Tag，NavigableString，Comment，BeautifulSoup。Tag对象就是原html的标记；NavigableString对象就是原html的文本；Comment对象特殊类型的NavigableString对象；BeautifulSoup对象就是文档的全部内容。其中最重要的两个对象是Tag和NavigableString。
02 元素定位（遍历）
仅仅tag进行遍历，只定位第一个元素；
soup.body.a
定位所有的子节点元素；
soup.body.contents
soup.body.children
可以加编号，定位某个；soup.body.children[2]
定位所有子孙节点（包括子节点的子节点）；
soup.body.descendants
定位父节点元素；soup.body.parent
定位父辈节点；soup.body.parents
定位兄弟节点：next_sibling，previous_sibling，next_siblings，previous_siblings；
定位元素内容：next_element，next_elements，previous_element，previous_elements
03 元素定位（搜索）
本文介绍soup.find_all()的使用方法，其它读者可以举一反三。
使用tag定位；soup.find_all('b')
tag里使用正则；soup.find_all(re.compile("^b"))
tag里使用列表，同时定位多个；soup.find_all(["a", "b"])
tag里使用True；soup.find_all(True)
使用属性定位；soup.find_all(id='link2')；soup.find_all(attrs={"data-foo": "value"})
属性里使用正则；soup.find_all(href=re.compile("elsie"))
属性里使用True；soup.find_all(class_=True)
同时满足多个属性；soup.find_all(href=re.compile("elsie"), id='link1')
tag和属性一起使用；soup.find_all("a", class_="sister")
使用内容定位；soup.find_all(string="Elsie")
内容里使用正则；soup.find_all(string=re.compile("Dormouse"))
内容里使用列表；soup.find_all(string=["Tillie", "Elsie", "Lacie"])
使用limit，限制搜索个数；soup.find_all("a", limit=2)
使用recursive=False，只搜索直接子节点；soup.html.find_all("title", recursive=False)
soup.find()和find_all()的区别，find()只搜索第一个。
04 元素定位（CSS选择器）
使用tag；soup.select("body")；soup.select("p > a")
指定序号；soup.select("p > a:nth-of-type(2)")
使用#id；soup.select("#link1")
使用.class；soup.select(".sister")
同时定位多个；soup.select("#link1,#link2")
联合使用；soup.select("p > #link1")；soup.select("a#link2")；soup.select('a[href]')；
soup.select('a[href^="http://example.com/"]')
soup.select('a[href*=".com/"]')
soup.select('a[href$="tillie"]')
只定位第一个；soup.select_one(".sister")
