Python爬虫新手必学：3个实用代码

Python爬虫基础知识

Python爬虫是指利用Python编程语言编写程序，通过网络请求和解析网页内容，获取所需信息的一种技术。对于新手来说，掌握一些必备的爬虫代码是入门的关键。

1. 发送HTTP请求获取网页内容

利用Python的第三方库requests，能够轻松实现发送HTTP请求并获取网页内容的功能。下面是一个简单的示例代码：

import requests

url = 'e.com'
response = requests.get(url)
print(response.text)
    

2. 使用XPath或CSS选择器解析网页内容

一旦获取了网页的内容，接下来就需要从中提取所需的信息。这就需要使用lxml和BeautifulSoup等库来进行HTML解析和信息提取。以下是使用lxml配合XPath进行信息提取的示例代码：

from lxml import etree

html = '''


item 1
item 2
item 3