آموزش کار با webdata در زبان R

0 دیدگاه

بسیاری از وب‌سایت‌ها داده‌هایی را برای استفاده کاربران خود ارائه می‌دهند. به‌عنوان نمونه، سازمان جهانی بهداشت (WHO) گزارش‌هایی در زمینه سلامت و اطلاعات پزشکی در قالب فایل‌های CSV، txt و XML منتشر می‌کند. با استفاده از برنامه‌های R می‌توان این داده‌ها را به‌صورت برنامه‌نویسی‌شده استخراج کرد. برخی از بسته‌های R که برای جمع‌آوری داده‌ها از وب به‌کار می‌روند عبارت‌اند از: "RCurl", "XML" و "stringr". این بسته‌ها امکان اتصال به آدرس‌های اینترنتی (URLs)، شناسایی لینک‌های موردنیاز برای فایل‌ها و دانلود آن‌ها در محیط محلی را فراهم می‌کنند.

نصب بسته‌های R

بسته‌های زیر برای پردازش آدرس‌ها و لینک‌های فایل‌ها لازم هستند. اگر این بسته‌ها در محیط R شما نصب نشده‌اند، می‌توانید با استفاده از دستورات زیر آن‌ها را نصب کنید:

install.packages("RCurl")
install.packages("XML")
install.packages("stringr")
install.packages("plyr")

install.packages("RCurl")

install.packages("XML")

install.packages("stringr")

install.packages("plyr")

داده ورودی

در این مثال، به وب‌سایت داده‌های آب‌وهوا مراجعه کرده و فایل‌های CSV مربوط به سال 2015 را با استفاده از R دانلود می‌کنیم.

مثال webdata در زبان R

ابتدا از تابع getHTMLLinks() برای جمع‌آوری لینک‌های موجود در صفحه وب استفاده می‌کنیم. سپس با کمک تابع download.file() فایل‌ها را در سیستم محلی ذخیره خواهیم کرد. از آنجا که همین کد را برای چندین فایل به‌کار می‌بریم، یک تابع تعریف می‌کنیم تا چندین بار فراخوانی شود. نام فایل‌ها نیز در قالب یک شیء لیست (list) در R به این تابع ارسال می‌شوند.

# خواندن آدرس اینترنتی
url <- "http://www.geos.ed.ac.uk/~weather/jcmb_ws/"

# جمع‌آوری لینک‌های HTML موجود در صفحه
links <- getHTMLLinks(url)

# شناسایی لینک‌هایی که به فایل‌های JCMB 2015 اشاره دارند
filenames <- links[str_detect(links, "JCMB_2015")]

# ذخیره نام فایل‌ها به‌صورت یک لیست
filenames_list <- as.list(filenames)

# تعریف تابعی برای دانلود فایل‌ها با دریافت آدرس اصلی و لیست نام فایل‌ها
downloadcsv <- function (mainurl,filename) {
   filedetails <- str_c(mainurl,filename)
   download.file(filedetails,filename)
}

# استفاده از تابع l_ply برای ذخیره فایل‌ها در دایرکتوری کاری جاری در R
l_ply(filenames,downloadcsv,mainurl = "http://www.geos.ed.ac.uk/~weather/jcmb_ws/")

# خواندن آدرس اینترنتی

url <- "http://www.geos.ed.ac.uk/~weather/jcmb_ws/"

# جمع‌آوری لینک‌های HTML موجود در صفحه

links <- getHTMLLinks(url)

# شناسایی لینک‌هایی که به فایل‌های JCMB 2015 اشاره دارند

filenames <- links[str_detect(links, "JCMB_2015")]

# ذخیره نام فایل‌ها به‌صورت یک لیست

filenames_list <- as.list(filenames)

# تعریف تابعی برای دانلود فایل‌ها با دریافت آدرس اصلی و لیست نام فایل‌ها

downloadcsv <- function (mainurl,filename) {

filedetails <- str_c(mainurl,filename)

download.file(filedetails,filename)

}

# استفاده از تابع l_ply برای ذخیره فایل‌ها در دایرکتوری کاری جاری در R

l_ply(filenames,downloadcsv,mainurl = "http://www.geos.ed.ac.uk/~weather/jcmb_ws/")

تأیید دانلود فایل‌ها

پس از اجرای کد بالا، می‌توانید فایل‌های زیر را در دایرکتوری کاری فعلی R بیابید:

"JCMB_2015.csv" "JCMB_2015_Apr.csv" "JCMB_2015_Feb.csv" "JCMB_2015_Jan.csv"
   "JCMB_2015_Mar.csv"

1 2	"JCMB_2015.csv" "JCMB_2015_Apr.csv" "JCMB_2015_Feb.csv" "JCMB_2015_Jan.csv" "JCMB_2015_Mar.csv"

5/5 - (1 امتیاز)

راستی! برای دریافت مطالب جدید در کانال تلگرام یا پیج اینستاگرام سورس باران عضو شوید.

نظرات

برچسب ها: آموزش برنامه نویسی, آموزش زبان R

پکیج آموزش پروژه محور لاراول و طراحی وب سایت کانون قلم چی

انتشار: ۲۵ شهریور ۱۴۰۴

آموزش کار با webdata در زبان R

نصب بسته‌های R

داده ورودی

مثال webdata در زبان R

تأیید دانلود فایل‌ها

دسته بندی موضوعات

آخرین محصولات فروشگاه

نظرات

بازخوردهای خود را برای ما ارسال کنید

لغو پاسخ

مطالب مرتبط