آموزش خواندن صفحات HTML در پایتون با کتابخانه BeautifulSoup

0 دیدگاه

برای خواندن صفحات HTML در پایتون می توان از کتابخانه قدرتمند BeautifulSoup استفاده کرد. این کتابخانه به شما اجازه می دهد به راحتی در میان تگ های HTML جستجو کنید و اطلاعات مورد نظر خود مانند عنوان صفحه یا فهرست تیترهای موجود در آن را استخراج کنید.

نصب BeautifulSoup

برای نصب این کتابخانه و بسته های وابسته آن، می توانید از مدیر بسته Anaconda استفاده کنید:

conda install Beaustifulsoap

1	conda install Beaustifulsoap

خواندن فایل HTML در پایتون

در مثال زیر، ابتدا یک درخواست به یک آدرس اینترنتی (URL) ارسال می کنیم تا محتوای آن در محیط پایتون بارگذاری شود. سپس با استفاده از پارامتر html.parser کل فایل HTML را تجزیه می کنیم و در نهایت چند خط ابتدایی از آن را چاپ می کنیم:

import urllib2
from bs4 import BeautifulSoup

# Fetch the html file
response = urllib2.urlopen('http://tutorialspoint.com/python/python_overview.htm')
html_doc = response.read()

# Parse the html file
soup = BeautifulSoup(html_doc, 'html.parser')

# Format the parsed html file
strhtm = soup.prettify()

# Print the first few characters
print (strhtm[:225])

import urllib2

from bs4 import BeautifulSoup

# Fetch the html file

response = urllib2.urlopen('http://tutorialspoint.com/python/python_overview.htm')

html_doc = response.read()

# Parse the html file

soup = BeautifulSoup(html_doc, 'html.parser')

# Format the parsed html file

strhtm = soup.prettify()

# Print the first few characters

print (strhtm[:225])

اجرای کد بالا نتیجه ای مشابه زیر ایجاد می کند:

&lt;!DOCTYPE html&gt;
&lt;!--[if IE 8]&gt;&lt;html class="ie ie8"&gt; &lt;![endif]--&gt;
&lt;!--[if IE 9]&gt;&lt;html class="ie ie9"&gt; &lt;![endif]--&gt;
&lt;!--[if gt IE 9]&gt;&lt;!--&gt;
&lt;html&gt;
 &lt;!--&lt;![endif]--&gt;
 &lt;head&gt;
  &lt;!-- Basic --&gt;
  &lt;meta charset="utf-8"/&gt;
  &lt;title&gt;

<!DOCTYPE html>

<html>

<head>

<title>

استخراج مقدار یک تگ

برای استخراج مقدار یک تگ از اولین نمونه موجود در HTML، می توان از کد زیر استفاده کرد:

import urllib2
from bs4 import BeautifulSoup

response = urllib2.urlopen('http://tutorialspoint.com/python/python_overview.htm')
html_doc = response.read()

soup = BeautifulSoup(html_doc, 'html.parser')

print (soup.title)
print(soup.title.string)
print(soup.a.string)
print(soup.b.string)

import urllib2

from bs4 import BeautifulSoup

response = urllib2.urlopen('http://tutorialspoint.com/python/python_overview.htm')

html_doc = response.read()

soup = BeautifulSoup(html_doc, 'html.parser')

print (soup.title)

print(soup.title.string)

print(soup.a.string)

print(soup.b.string)

اجرای کد بالا خروجی زیر را ایجاد می کند:

Python Overview
None
Python is Interpreted

Python Overview

None

Python is Interpreted

استخراج تمام نمونه های یک تگ

برای استخراج مقدار تمام نمونه های یک تگ، می توان از کد زیر استفاده کرد:

import urllib2
from bs4 import BeautifulSoup

response = urllib2.urlopen('http://tutorialspoint.com/python/python_overview.htm')
html_doc = response.read()
soup = BeautifulSoup(html_doc, 'html.parser')

for x in soup.find_all('b'): print(x.string)

import urllib2

from bs4 import BeautifulSoup

response = urllib2.urlopen('http://tutorialspoint.com/python/python_overview.htm')

html_doc = response.read()

soup = BeautifulSoup(html_doc, 'html.parser')

for x in soup.find_all('b'): print(x.string)

خروجی اجرای این کد به شکل زیر خواهد بود:

Python is Interpreted
Python is Interactive
Python is Object-Oriented
Python is a Beginner's Language
Easy-to-learn
Easy-to-read
Easy-to-maintain
A broad standard library
Interactive Mode
Portable
Extendable
Databases
GUI Programming
Scalable