ساخت مدل یادگیری ماشین به صورت End-to-End

0 دیدگاه

ساخت مدل یادگیری ماشین به صورت End-to-End

یک مدل یادگیری ماشین سرتاسری (End-to-End) یک سیستم کامل و یکپارچه است که همه مراحل یک پروژه یادگیری ماشین را در بر می‌گیرد؛ از جمع‌آوری داده و پیش‌پردازش گرفته تا توسعه مدل، استقرار (Deploy) و نگهداری مداوم.

مدل یادگیری ماشین به صورت End-to-End

برای ساخت یک مدل یادگیری ماشین سرتاسری، ابتدا باید همانند هر مسئله یادگیری ماشین دیگر، مدل یادگیری ماشین را آموزش دهید. پس از آموزش مدل، می‌توانید با استفاده از فریم‌ورک Dash آن را به یک راهکار سرتاسری تبدیل کنید. مراحل این فرایند به شکل زیر است:

راه‌اندازی یک برنامه جدید با Dash
طراحی رابط کاربری برنامه با استفاده از کامپوننت‌های HTML و Core در Dash؛ این بخش شامل فیلدهای ورودی، دکمه‌ها و نواحی نمایش خروجی است
نوشتن توابع callback برای تعریف تعاملات برنامه؛ مانند دریافت ورودی از کاربر، اجرای پیش‌بینی مدل و نمایش نتایج
بارگذاری مدل در داخل برنامه برای استفاده در فرایند پیش‌بینی

ساخت End-to-End

import pandas as pd

# Load the dataset

real_estate_data = pd.read_csv("/Users/amankharwal/Coding/Real_Estate.csv") #replace the path with your path

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LinearRegression

from sklearn.metrics import mean_squared_error, r2_score

# Selecting features and target variable

features = ['Distance to the nearest MRT station', 'Number of convenience stores', 'Latitude', 'Longitude']

target = 'House price of unit area'

X = real_estate_data[features]

y = real_estate_data[target]

# Splitting the dataset into training and testing sets

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Model initialization

model = LinearRegression()

# Training the model

model.fit(X_train, y_train)

اینجا من فقط مدل را آموزش داده‌ام. برای درک دقیق‌تر فرایند آموزش مدل،در مقالات بعدی بیشتر توضیح میدم.

حالا در ادامه می‌بینیم چگونه می‌توان با استفاده از فریم ورک Dash برای مدل یادگیری ماشین خود یک راهکار سرتاسری ایجاد کرد:

import dash
from dash import html, dcc, Input, Output, State
import pandas as pd

# Initialize the Dash app
app = dash.Dash(__name__)

# Define the layout of the app
app.layout = html.Div([
    html.Div([
        html.H1("Real Estate Price Prediction", style={'text-align': 'center'}),
        
        html.Div([
            dcc.Input(id='distance_to_mrt', type='number', placeholder='Distance to MRT Station (meters)',
                      style={'margin': '10px', 'padding': '10px'}),
            dcc.Input(id='num_convenience_stores', type='number', placeholder='Number of Convenience Stores',
                      style={'margin': '10px', 'padding': '10px'}),
            dcc.Input(id='latitude', type='number', placeholder='Latitude',
                      style={'margin': '10px', 'padding': '10px'}),
            dcc.Input(id='longitude', type='number', placeholder='Longitude',
                      style={'margin': '10px', 'padding': '10px'}),
            html.Button('Predict Price', id='predict_button', n_clicks=0,
                        style={'margin': '10px', 'padding': '10px', 'background-color': '#007BFF', 'color': 'white'}),
        ], style={'text-align': 'center'}),
        
        html.Div(id='prediction_output', style={'text-align': 'center', 'font-size': '20px', 'margin-top': '20px'})
    ], style={'width': '50%', 'margin': '0 auto', 'border': '2px solid #007BFF', 'padding': '20px', 'border-radius': '10px'})
])

# Define callback to update output
@app.callback(
    Output('prediction_output', 'children'),
    [Input('predict_button', 'n_clicks')],
    [State('distance_to_mrt', 'value'), 
     State('num_convenience_stores', 'value'),
     State('latitude', 'value'),
     State('longitude', 'value')]
)
def update_output(n_clicks, distance_to_mrt, num_convenience_stores, latitude, longitude):
    if n_clicks > 0 and all(v is not None for v in [distance_to_mrt, num_convenience_stores, latitude, longitude]):
        # Prepare the feature vector
        features = pd.DataFrame([[distance_to_mrt, num_convenience_stores, latitude, longitude]], 
                                columns=['distance_to_mrt', 'num_convenience_stores', 'latitude', 'longitude'])
        # Predict
        prediction = model.predict(features)[0]
        return f'Predicted House Price of Unit Area: {prediction:.2f}'
    elif n_clicks > 0:
        return 'Please enter all values to get a prediction'
    return ''

# Run the app
if __name__ == '__main__':
    app.run_server(debug=True)

import dash

from dash import html, dcc, Input, Output, State

import pandas as pd

# Initialize the Dash app

app = dash.Dash(__name__)

# Define the layout of the app

app.layout = html.Div([

html.Div([

html.H1("Real Estate Price Prediction", style={'text-align': 'center'}),

html.Div([

dcc.Input(id='distance_to_mrt', type='number', placeholder='Distance to MRT Station (meters)',

style={'margin': '10px', 'padding': '10px'}),

dcc.Input(id='num_convenience_stores', type='number', placeholder='Number of Convenience Stores',

style={'margin': '10px', 'padding': '10px'}),

dcc.Input(id='latitude', type='number', placeholder='Latitude',

style={'margin': '10px', 'padding': '10px'}),

dcc.Input(id='longitude', type='number', placeholder='Longitude',

style={'margin': '10px', 'padding': '10px'}),

html.Button('Predict Price', id='predict_button', n_clicks=0,

style={'margin': '10px', 'padding': '10px', 'background-color': '#007BFF', 'color': 'white'}),

], style={'text-align': 'center'}),

html.Div(id='prediction_output', style={'text-align': 'center', 'font-size': '20px', 'margin-top': '20px'})

], style={'width': '50%', 'margin': '0 auto', 'border': '2px solid #007BFF', 'padding': '20px', 'border-radius': '10px'})

])

# Define callback to update output

@app.callback(

Output('prediction_output', 'children'),

[Input('predict_button', 'n_clicks')],

[State('distance_to_mrt', 'value'),

State('num_convenience_stores', 'value'),

State('latitude', 'value'),

State('longitude', 'value')]

)

def update_output(n_clicks, distance_to_mrt, num_convenience_stores, latitude, longitude):

if n_clicks > 0 and all(v is not None for v in [distance_to_mrt, num_convenience_stores, latitude, longitude]):

# Prepare the feature vector

features = pd.DataFrame([[distance_to_mrt, num_convenience_stores, latitude, longitude]],

columns=['distance_to_mrt', 'num_convenience_stores', 'latitude', 'longitude'])

# Predict

prediction = model.predict(features)[0]

return f'Predicted House Price of Unit Area: {prediction:.2f}'

elif n_clicks > 0:

return 'Please enter all values to get a prediction'

return ''

# Run the app

if __name__ == '__main__':

app.run_server(debug=True)

حالا بیایید این کد را بخش‌بندی کنیم و هر قسمت آن را جداگانه بررسی کنیم تا دقیقاً متوجه شویم هر بخش چه کاری انجام می‌دهد:

import dash

from dash import html, dcc, Input, Output, State

import pandas as pd

در این کد، dash کتابخانه اصلی Dash است. ماژول‌های html و dcc (Dash Core Components) برای ساخت کامپوننت‌های HTML و اجزای تعاملی استفاده می‌شوند. همچنین Input، Output و State برای ایجاد callbackها در Dash به کار می‌روند که وظیفه تعریف تعامل‌پذیری برنامه را بر عهده دارند.

1	app = dash.Dash(__name__)

این خط یک برنامه جدید Dash را مقداردهی اولیه (initialize) می‌کند.

1	app.layout = html.Div([...])

این بخش، ساختار HTML برنامه را با استفاده از کامپوننت‌های HTML در Dash تعریف می‌کند. در لایه (layout) برنامه، یک عنوان (html.H1)، فیلدهای ورودی برای فاصله تا ایستگاه MRT، تعداد فروشگاه‌های رفاهی، عرض جغرافیایی و طول جغرافیایی (dcc.Input) و همچنین یک دکمه برای اجرای فرایند پیش‌بینی (html.Button) قرار داده شده‌اند.

@app.callback(

Output('prediction_output', 'children'),

[Input('predict_button', 'n_clicks')],

[State('distance_to_mrt', 'value'),

State('num_convenience_stores', 'value'),

State('latitude', 'value'),

State('longitude', 'value')]

)

def update_output(n_clicks, distance_to_mrt, num_convenience_stores, latitude, longitude):

...

این یک تابع callback است که وقتی دکمه «Predict Price» کلیک می‌شود، خروجی (نتیجه پیش‌بینی) را به‌روزرسانی می‌کند.
عبارت Output('prediction_output', 'children') مشخص می‌کند که محتوای داخلی (children) کامپوننتی با شناسه prediction_output توسط این callback تغییر داده می‌شود.

این callback تعداد کلیک‌های دکمه را به‌عنوان Input و مقادیر چهار فیلد ورودی را به‌عنوان State دریافت می‌کند. تابع update_output هنگام کلیک روی دکمه اجرا می‌شود و با استفاده از مقادیر ورودی، پیش‌بینی را انجام داده و نتیجه را تولید می‌کند.

در داخل تابع update_output، ابتدا ورودی‌ها بررسی می‌شوند تا مطمئن شویم مقدار آن‌ها None نیست. سپس این ورودی‌ها در قالب یک DataFrame از Pandas سازمان‌دهی می‌شوند تا دقیقاً با فرمتی که مدل انتظار دارد مطابقت داشته باشند. بعد از آن، متد model.predict فراخوانی می‌شود تا پیش‌بینی انجام شود.

این بخش فرض می‌کند که یک مدل آموزش‌دیده با نام model از قبل وجود دارد و در این اسکریپت در دسترس است. در نهایت، تابع یا قیمت پیش‌بینی‌شده را برمی‌گرداند، یا در صورتی که همه مقادیر وارد نشده باشند، پیامی برای وارد کردن تمام ورودی‌ها نمایش می‌دهد.

1 2	if __name__ == '__main__': app.run_server(debug=True)

این بخش زمانی سرور برنامه را اجرا می‌کند که اسکریپت به‌صورت مستقیم اجرا شود (__name__ == '__main__').
گزینه debug=True حالت دیباگ را فعال می‌کند؛ این حالت یک دیباگر تعاملی در مرورگر فراهم می‌کند و همچنین با هر تغییر در کد، سرور را به‌صورت خودکار دوباره بارگذاری (reload) می‌کند.

پس به این شکل می‌توانید با استفاده از پایتون یک مدل یادگیری ماشین سرتاسری بسازید.

5/5 - (6 امتیاز)

راستی! برای دریافت مطالب جدید در کانال تلگرام یا پیج اینستاگرام سورس باران عضو شوید.

نظرات

برچسب ها: آموزش پایتون, پروژه پایتون, تمرین برنامه نویسی پایتون, سورس پایتون

صابر بوستانی

داستان من با دنیای برنامه‌ نویسی آغاز شد، و در ادامه به عنوان یک توسعه‌ دهنده نرم‌ افزار، طراح وب سایت و متخصص سئو، مهارت ‌های تکنیکی و تحلیلی خودم رو پرورش دادم. علاقه م به دنیای مالی منو به سمت یادگیری ترید و معامله‌گری سوق داد. و در حال حاضر در برنامه نویسی و معامله گری ارز دیجیتال انجام میدم. از سال 96 سعی کردم معامله گری در کریپتو رو یاد بگیرم. ترید و معامله گری برام پر از چالش و شکست‌ های متعدد بود. اما هر شکست، درسی ارزشمند برام داشت و من رو به یک تریدر و معامله گر قوی‌ تر و هوشمندتر تبدیل کرد. با پشتکار و یادگیری مداوم، تونستم به موفقیت‌های قابل توجهی دست یابم و به معامله گری موفق تبدیل بشم. در اینجا بزرگترین تجربیات و مهمترین دانش خودم رو در اختیار شما قرار میدم تا در مدت زمان کوتاه تر و شکست های کمتر در این مسیر به موفقیت برسید.

پکیج جامع و پروژه محور ASP.NET MVC + طراحی فروشگاه اینترنتی فروش فایل