Python爬虫程序设计KC32.pptx

复杂的Web网站
深度优先与广度优先方法都是遍历树的一种方法，但是网站的各个网页之间的关系未必是树的结构，它们可能组成一个复杂的图形结构，即有回路。如果在前面的网站中每个网页都加一条<a href="=[]
def pop(self):
return ()
def push(self,obj):
(obj)
def empty(self):
return len()==0
def spider(url):
global urls
stack=Stack()
(url)
while not ():
url=()
if url not in urls:
(url)
try:
data=(url)
data=()
data=()
soup=BeautifulSoup(data,"lxml")
print(("h3").text)
links=("a")
for i in range(len(links)-1,-1,-1):
href=links[i]["href"]
url=start_url+"/"+href
(url)
except Exception as err:
print(err)
 
start_url=":5000"
urls=[]
spider(start_url)
print("The End")
这两个程序的结果都一样：
计算机
数据库
MySQL数据库
计算机
程序设计
Python程序设计
Java程序设计
计算机网络
The End
改进深度优先客户端程序
改进深度优先客户端程序
假设给定图G的初态是所有顶点均未曾访问过。在G中任选一顶点v为初始出发点(源点)，则深度优先遍历可定义如下：首先访问出发点v，并将其标记为已访问过；然后依次从v出发搜索v的每个邻接点w。若w未曾访问过，则以w为新的出发点继续进行深度优先遍历，直至图中所有和源点v有路径相通的顶点(亦称为从源点可达的顶点)均已被访问为止。
图的深度优先遍历类似于树的前序遍历。采用的搜索方法的特点是尽可能先对纵深方向进行搜索。这种搜索方法称为深度优先搜索(Depth-First Search)。相应地，用此方法遍历图就很自然地称之为图的深度优先遍历，基本实现思想：
（1）访问顶点v；
（2）从v的未被访问的邻接点中选取一个顶点w，从w出发进行深度优先遍历；
（3）重复上述两步，直至图中所有和v有路径相通的顶点都被访问到。
1、使用递归的程序：
from bs4 import BeautifulSoup
import
 
def spider(url):
global urls
if url not in urls:
(url)
try:
data=(url)
data=()
data=()
soup=BeautifulSoup(data,"lxml")
print(("h3").text)
links=("a")
for link in links:
href=link["href"]
url=s