<!1,2023090318:22:02>
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0//EN" "http://www.w3.org/TR/REC-html40/strict.dtd">
<html><head><meta name="qrichtext" content="1" /><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><style type="text/css">
p, li { white-space: pre-wrap; }
</style></head><body>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\chapter{ مبانی ریاضی مورد نیاز در یادگیری ماشین}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\thispagestyle{empty}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\newpage‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\vspace*{1cm}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\section{‏جبرخطی}‎‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">مبانی‎ ریاضی</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  \LTRfootnote{Mathematical Foundations}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">سنگ‌بنای همه‌ی رشته‌های علوم معاصر به حساب می‌آید. تقریبا همه‌ی تکنیک‌های علم داده مدرن که شامل یادگیری ماشین ‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  \LTRfootnote{‎Machine Learning‎}‎‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  نیز می‌شود‏، زیر‌ساخت عمیقی از ریاضیات دارند. </p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  هنگام فرمول‌سازی مفاهیم شهودی، یک رویکرد رایج ساخت مجموعه‌ای از اشیا (نمادها) و مجموعه‌ای از قوانین برای کار با این اشیا می‌باشد که به عنوان جبر شناخته می شود.‎ جبر خطی مطالعه بردارها و قوانین جبری معین برای کار با بردارها می‌باشد. اصلی‌ترین مبحث ریاضیاتی یادگیری ماشین (علم استفاده از داده‌ها‏، الگوریتم‌های یادگیری ماشین‏، پردازش تصویر‏، نظم داده‌ها و ...) جبر‌خطی‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\LTRfootnote{Linear Algebra}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">می‌باشد. ‎‏به‎ طور کلی هرچیزی که بتوان با بردار یا حالت ماتریسی نشان داد را جبر‌خطی می‌نامیم. </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\begin{definition} : (سیستم معادلات خطی)</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\subsection{سیستم معادلات خطی}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"><span style=" font-family:'inherit'; color:#202124;">سیستم های معادلات خطی‏ ‏، بخش اصلی  جبر خطی  می‌باشد. مسائل بسیاری را می توان به صورت سیستم های معادلات خطی فرموله کرد و  جبر خطی ابزارهایی را برای حل آنها در اختیار ما می گذارد.‎‎</span></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏ یک برنامه تولید بهینه ‎‎‎ ‎‏‏،‎ در سیستم معادلات خطی زیر صدق می‌کند:‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">به‎‎‎ طور کلی سیستم معادله‌ی خطی چند معادله چند مجهول به صورت </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{eqnarray}‎\label{1.2}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">&amp; a_{11}x_1+...+a_{1n}x_n ‎= b_1 ‎\\ ‎‎\nonumber </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">&amp; \quaad  ‎‎‎‎\vdots  , ‎\\ </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">&amp; a_{m1}x_1+...+a_{mn}x_n‎ = b_m ‎\nonumber‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{eqnarray}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">تعریف شده است</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> هر‎‎$n‎$‎ ‏‎ ‎تایی‎ ‎‎ ‎$(x_1,...,x_n)\in R^n‎$‎ ‎ ‎که‎ در معادله‌ی ‎(‎\ref{1.2}‎)‎‏ صدق می‌کند‏، ‎‏یک‎ جواب سیستم معادله‌ی خطی می‌باشد. در سیستم معادلاتی که تعداد معادلات و مجهولات کم هستند انسان قادر به حل معادلات و رسیدن به جواب بهینه می‌باشد. اما در سیستم معادلات خطی ‎‎$n‎$‎ ‏‎ ‎معادله و ‎‎$n‎$‎ ‏‎ ‎مجهول‎ دیگر انسان قادر به حل معادلات نمی‌باشد و این دلیل اصلی تمایز انسان با ماشین می‌باشد. برای حل این گونه معادلات وظیفه‌ی اصلی ما شناساندن پارامترها به ماشین هست و ماشن معادلات را حل می‌کند و در نهایت ما به بررسی جواب معادله می‌پردازیم که این نقطه‌ی ترکیب انسان با ماشین می‌باشد. </p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">% \begin{definition}‎‏: ‎‎(‎‏ماتریس)‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\subsection{ماتریس}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎زبان شناساندن مجموعه داده‌های ما‏، ماتریس</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\LTRfootnote{Matrix}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> می‌باشد.‎ ماتریس‌ها نقش اصلی را در جبر‌خطی ایفا می‌کنند. ‏از ماتریس‌ها می‌توان برای نمایش فشرده سیستم‌های معادلات خطی استفاده کرد‏. آن‌ها همچنین بیانگر توابع خطی (نگاشت خطی) می‌باشند.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> با مقادیر حقیقی ‎‎$m,n \in N‎$‎ ‏‎‏،‎‎ ماتریس ‎$A$‎‏ یک چندتایی  ‎$m‎\timesn‎$‎‏ از مولفه‌ها‌ی ‎‎$a_{ij}$‎‏ ‏، ‎‎$i=1,...,m‎$‎ ‏ و ‎‎$j=1,...,n‎‎$‎‎‎‎‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">است که به صورت یک طرح مستطیلی شامل ‎‎$m‎$‎ ‏ سطر و  ‎‎$n‎‎$‎‎‎‎‏ ستون به صورت زیر می‌با‎‏شد:‎\\‎‎ ‏‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">A‎‏=‎‎‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎ ‎‎\begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">a_{11}&amp;a_{12}&amp;‎\cdots &amp; a_{1n}‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">a_{21}&amp;a_{22}&amp;‎\cdots &amp; a_{2n}‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\vdots &amp;‎‎‎\vdots &amp;          &amp;‎‎‎\vdots \\‎‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">a_{m1}&amp;a_{m2}&amp;‎\cdots &amp; a_{mn}‎\\</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}‎, a_{ij}\in R.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">طبق قرارداد بردار ‎$(1,n)‎$‎ ‏‎ ‎را‎ بردار سطرها و بردار ‎‎$(m,1)‎$‎ ‏‎ ‎را‎ بردار ستون‌ها می‌نامیم. ‎‏‎‎$R^{m‎\times n‎}‎$‎ ‏‎ ‎مجموعه‎‌ای از ماتریس‌های ‎‎$(m,n)‎$‎ ‏‎ ‎با‎ مقادیر حقیقی می‌باشد. ‎‎$A \in R^{m‎\times n}‎$‎ ‏‎ ‎را می‌توان به ‎‎‏طور معادل به صورت ‎‎$R^{m‎\times n}‎$‎ ‏ ‎ ‎‏،با چیدن ‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\LTRfootnote{stacking}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> تمام ‎‎$n‎‎$‎ ستون ازماتریس در یک بردار نشان‎ داد (به شکل ‎\ref{stack}‎ رجوع شود).‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \begin{figure}[!ht]‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\centering‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\includegraphics[scale=0.45]{slack.JPG}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\caption{‏تبدیل ماتریس به بردار}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\label{stack‎‎}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\end{figure}‎\\ </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{definition}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> %\begin{definition}‎‏‎‎:(‎‏جمع و ضرب دو ماتریس)\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> %\subsection{جمع و ضرب دو ماتریس}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \subsubsection{جمع و ضرب دو ماتریس}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">جمع دو ماتریس ‎‎$A \in R^{m‎\timesn‎}‎$‎ ‎‏‏ و ‎‎$B \in R^{‎m‎‎\times n‎}‎$‎ ‏‎ ‎به‎ صورت جمع مولفه‌ای به صورت زیر تعریف شده است:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎A‏+B:=‎‎‎‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎ ‎‎\begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">a_{11}+b_{11}&amp;a_{12}+b_{12}&amp;‎\cdots &amp; a_{1n}‎+b_{1n}\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">a_{21}+b_{21}&amp;a_{22}+b_{22}&amp;‎\cdots &amp; a_{2n}‎+b_{2n}‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\vdots &amp;‎‎‎\vdots &amp;          &amp;‎‎‎\vdots \\‎‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">a_{m1}+b_{m1}&amp;a_{m2}+b_{m2}&amp;‎\cdots &amp; a_{mn}‎+b_{mn}‎‎\\</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}‎, a_{ij}\in R^{m‎\times n‎}.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎‏‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏‎‏برای دو ماتریس ‎‎$A \in R^{m‎\timesn‎}‎$‎ ‎‏‏ و ‎‎$B \in R^{‎n‎‎‎\times k‎}‎$‎ ‏‎ ‎‏، مولفه‌های ‎‎$c_{ij}‎$ ‏ ‎از ضرب‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎‎$C=AB \in R^{m‎\times k‎}‎‎$ ‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> به صورت زیر محاسبه شده است:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎c_{ij}=\sum_{l=1}^{n}a_{il}b_{lj},</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> که ‎‎$‎i=,...,m‎‎‎$‎‏ و ‎‎$j=1,...,k‎‎$‎‏ می‌باشد.‎</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\begin{‎definition}(‎‏ماتریس واحد)‎\\‎‏‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\subsubsection{ماتریس واحد}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">در ‎$R^{n‎\times n‎}$‎‏ ‏، ماتریس واحد ‎\LTRfootnote{identity matrix }‎‏ به صورت زیر تعریف می‌شود:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎I_n ‎:=‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">1 &amp; 0 &amp;‎\cdots &amp; 0 ‎‎&amp;‎\cdots &amp; 0 ‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">0 &amp; 1 &amp;‎\cdots &amp; 0 ‎‎&amp;‎\cdots &amp; 0 \\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\vdots &amp;‎ ‎‎\vdots &amp;‎ ‎‎\ddots &amp;‎ ‎‎\vdots &amp;‎ ‎‎\ddots ‎&amp;‎\vdots ‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎0 &amp; 0 &amp;‎\cdots &amp; 1 ‎‎&amp;‎\cdots &amp; 0 \\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\vdots &amp;‎ ‎‎\vdots &amp;‎ ‎‎\ddots &amp;‎ ‎‎\vdots &amp;‎ ‎‎\ddots ‎&amp;‎\vdots \\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">0 &amp; 0 &amp;‎\cdots &amp; 0 ‎‎&amp;‎\cdots &amp; 1 \\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix},</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align} ‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏که یک ماتریس مربعی ‎‎$n‎\times n‎$‎ ‏‎ ‎که‎ مولفه‌های روی قطر اصلی ‎‎$1‎$‎ ‏ و‎ ‎بقیه‎ مولفه‌ها ‎‎$0‎$‎ ‏‎ ‎می‌باشد.‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\end{definition}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\begin{‎definition}(‎‏ماتریس معکوس)‎\\‎‏‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\subsubsection{ماتریس معکوس ‎‏}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">ماتریس مربعی ‎$‎A \in ‎R^{n‎\times n‎}$‎‏ ‏، ‏را در نظر بگیرید. فرض کنید ماتریس مربعی ‎‎$B \in ‎R^{n‎\times n‎}‎‎$‎ ‏به گونه‌ای باشد که ‎‎$AB = I_n = BA‎$‎ ‎‏‏.‎ ماتریس ‎‎$B‎$‎ ‎‏‏،‎ ماتریس معکوس</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎‎‎ ‎\LTRfootnote{Inverse‎ matrix }‎‏ ‎$A‎$‎ ‏‎ ‎‎نامیده می‌شود.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎%‎\end{definition}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\begin{‎definition}(‎‏ماتریس ‏ترانهاده)‎\\‎‏‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\subsubsection{ماتریس ‏ترانهاده ‎‏}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">برای ماتریس  ‎$‎A \in ‎R^{m‎\times ‎n‎‎}$‎‏ ‏، ‏‎‏ماتریس ‎‎$B \in ‎R^{n‎\times m‎}‎‎$‎ ‏ با ‎‎$b_{ij}=a{ji}‎‎$‎ ‏‏، ترانهاده‌ی‎‎‎‏ ‎\LTRfootnote{Transpose}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎‎$A‎$‎ ‏‎ ‎نامیده‎ می‌شود‏ که به صورت ‎ ‎‎$B=A^T‎‎$‎ نشان می‌دهند.‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\end{definition}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\end{definition}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\begin{‎definition}(‎‏ماتریس ‏متقارن)‎\\‎‏‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\subsubsection{ماتریس ‏متقارن ‎‏}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎$‎A \in ‎R^{m‎\times ‎n‎‎}$‎‏ ‏ماتریسی متقارن ‎\LTRfootnote{‎S‎ymmetric }‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">است اگر ‎‎ ‎ ‎‎$‎A‎=A^T‎‎$‎‎باشد.‎</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\subsection{حل سیستم معادلات خطی}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">به طور کلی در ‎(‎\ref{1.2}‎)‎‏ ‏، فرم کلی سیستم معادلات خطی را تعریف کردیم. از ماتریس‌ها نیز می‌توان به عنوان یک روش فشرده برای فرمول‌بندی سیستم معادلات خطی استفاده کرد. بنابرابن برای حل سیستم معادلات خطی به روش ماترسی ‎‏می‌توان به حل ‎$Ax=b‎$‎ ‏‎ ‎به صورت زیر پرداخت ‎:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎Ax+b‎‎‏=‎‎‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎ ‎‎\begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">a_{11}&amp;a_{12}&amp;‎\cdots &amp; a_{1n}‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">a_{21}&amp;a_{22}&amp;‎\cdots &amp; a_{2n}‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\vdots &amp;‎‎‎\vdots &amp;          &amp;‎‎‎\vdots \\‎‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">a_{m1}&amp;a_{m2}&amp;‎\cdots &amp; a_{mn}‎\\</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎ ‎‎\begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">x_{1}‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">x_{2}‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\vdots  \\‎‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">n_{n}‎\\</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}‎‏‎=‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎ ‎‎\begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">b_{1}‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">b_{2}\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\vdots  \\‎‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">b_{m}‎\\</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎‎‎‎‎‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎ ‎‎‎\subsection{‏فضای برداری}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">فضای ابعادی یادگیری ماشین متناسب با تعداد ‎‎$X‎$‎ ‏‎ ‎های‎ ما دارای ابعاد مختلفی می‌باشد. اگر تعداد ‎‎$X‎$‎ ‏‎‏،‎‎ یک باشد فضای ما دو بعدی است که یک بعد آن ‎‎$X‎$‎ ‏ و‎ ‎بعد ‎دیگر‎ آن ‎‎$Y‎$‎ ‏‎ ‎که‎ جواب مساله هست می‌باشد. پس به طور کلی </p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> اگر تعداد ‎‎$X‎$‎ ‏‎ ‎های ‎ما ‎‎$n‎$‎ ‏‎ ‎باشد‎‏، مساله‌ی ما ‎‎$n+1‎$‎ ‏‎ ‎بعدی‎ است.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">% اگر تعداد ستون‌هایی که در مدل‌سازی به کار می‌بریم ‎‎$‎n‎‎$‎ ‏‎ ‎باشد‎‏، مساله‌ی ما دارای ‎‎$n‎$‎ ‏‎ ‎بعد‎ می‌باشد.‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \subsection{‎‏‏نگاشت خطی}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> دو فضای برداری واقعی ‏‎$‎W‎$‎ ‏ و ‎‎$V‎‎$‎‎‏ را در نظر بگیرید. یک‎ ‏نگاشت   ‎‎$‎\phi : V‎\rightarrow W‎‎‎‎$‎ ‎‎ ساختار فضای برداری را حفظ می‌کند اگر </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\phi(x+y) &amp;=‎ ‎‎\phi(x) +‎ ‎‎\phi(y)‎‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\phi(‎\lambda‎ x) &amp;= ‎\lambda‎ ‎\phi(x)‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">برای هر ‎‎$x,y \in V‎$‎ ‏ و  ‎‎$‎\lambda \in R‎$‎‎ ‎‏.‎ </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\subsection{‎‏‎‏زیر فضای آفین}</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">فرض کنید ‎$V‎‎$‎ یک فضای برداری،‎$x_0 \in V‎‎$‎ و ‎$U‎\subseteq V‎‎‎$‎ یک ‏زیر فضا باشد. ‏آنگاه زیر مجموعه</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">L &amp; =x_0 + U:= \{X_0 + u : u\in U\} \\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">&amp; = \{ v \in V | ‎\exists u‎ ‎\in ‎U: v‎ =‎ ‎x_0 +‎ u‎ ‎\}‎ ‎\subseteq ‎V‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">زیرفضای افین \LTRfootnote{‎‎Affine Subspace }‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">یا منیفولد ‏‎\LTRfootnote{manifold }‎ خطی‎‎‎ از ‎‎$V‎‎$‎ نامیده می شود. ‎$U‎‎$‎ جهت یا فضای جهت نامیده می شود و‏ ‎‎$x_0‎‎$‎ نقطه پشتیبانی نامیده می شود.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%‎\end{definition}‎‎\\</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%‎\begin{definition}: (‎‎‏‎‏نگاشت آفین)‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\subsubsection{نگاشت آفین}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏برای دو فضای برداری ‎‎$U‎$‎ ‏ و  ‎‎$V‎$‎ ‏‎‏،‎‎ یک نگاشت خطی ‎‎$‎\phi: V ‎‎‎\rightarrow W‎‎‎‎‎$‎‏‏، ‎و‎‎$a\in W‎$‎‏ ‏، نگاشت</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\phi: ‎V &amp; ‎‎‎\rightarrow W \\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">x ‎&amp;‎\mapsto a‎ +‎ ‎‎‎\phi(x)</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}  ‎‎ ‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">یک‎‎‎‎ نگاشت آفین ‎\LTRfootnote{Affine ‎mapping}‎‏ از ‎‎$V‎$‎ ‏‎ ‎به ‎‎$W‎$‎ ‏‎ ‎می‌باشد.‎{\color{بردار‎ ‎ترجمه}}‎  $a‎$ ‎‎‎ ‎‏‎‏‎‎‎‏                           ‎‎ ‎ ‎\LTRfootnote{translation ‎vector}‎ بردار ‎‎$\phi‎$‎ ‏‎ ‎نامیده‎ می‌شود.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\end{definition}</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%‎\subsection{‎‏تحلیل هندسی}‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\subsection{‎‏نرم}‎‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">یک نرم روی فضای برداری ‎‎$V‎$‎ ‎‏‏،‎ تابعی است به صورت</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\parallel‎\cdot‎\parallel  : &amp; V ‎‎‎‎\rightarrow ‎‎R, ‎\\ \nonumber</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">&amp; ‎x‎‎\mapsto‎‎\parallel x ‎\parallel ,</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏که به هر بردار ‎‎$x‎$‎ ‏‎ ‎طول‎ آن یعنی ‎‎$‎\parallel x ‎\parallel ‎\in R‎‎$‎ ‏‎ ‎را‎ اختصاص می‌دهد‏‏، به گونه‌ای که به ازای هر ‎‎$‎\lambda \in R‎$‎ ‎‏و ‎‎$x,y \in V‎$‎ ‏‎ ‎شرط‌های‎ زیر برقرار باشد:‏‎‏\\‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">1. مطلقا همگن: ‏ ‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎‎$‎\parallel‎\lambda x ‎‎‎‎‎\parallel  =‎\mid ‎\lambda ‎‎\mid‎‎ ‎‎\parallel x ‎‎‎‎‎\parallel‎‎‎‎‎‎‎‎‎‎$‎\\</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">2. نامساوی مثلثی: ‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎$‎\parallel x+y  ‎‎‎‎‎\parallel  ‎\leq‎‎ ‎‎\parallel x ‎‎‎‎‎\parallel + ‎\parallel y‎\parallel‎$ \\ ‎‎‎‎‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏3.‎ معین مثبت:‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎$‎\parallel x  ‎‎‎‎‎\parallel \leq 0, ‎\parallel x  ‎‎‎‎‎\parallel = 0 ‎\Longleftrightarrow ‎x=0‎ ‎‎$\\‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\end{definition}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\begin{definition}: ‎(‎‏نرم منهتن)‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\subsubsection{نرم منهتن}‎‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">برای هر ‎‎$x \in R^n‎$‎ ‏‎ ‎نرم منهتن ‎\LTRfootnote{Manhattan}‎ ‏‎ ‎به‎ صورت زیر تعریف شده است:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\parallel x ‎\parallel_{1}:=\sum_{i=1}^{n}‎\mid ‎x_{i}‎‎\mid‎‎ ‎‎,‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏که ‎‎$‎\mid‎\cdot‎‎\mid‎$‎ ‏‎ ‎قدرمطلق‎ می‌باشد. ‏نرم منهتن‏، نرم ‎‎$L1‎$‎ ‏‎ ‎نیز‎ نامیده می‌شود.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\end{definition}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%‎\end{definition}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\begin{definition}: (‎‎‏نرم اقلیدسی‎)‎‎‎‏‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\subsubsection{نرم اقلیدسی‎}‎‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">برای هر ‎‎$x \in R^n‎$‎ ‏‎ ‎نرم ‎‎اقلیدسی ‎\LTRfootnote{Euclidean }‎ ‎‎به‎ صورت زیر تعریف شده است:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\parallel x ‎\parallel_{2}:=‎‎\sqrt{‎‎\sum_{i=1}^{n}‎ ‎x_{i}‎‎^{2}‎‎ }= ‎\sqrt{x^{T}x}, </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏که ‎‎‏نرم‎‎‎‎‎‎‎‎‎‎‎‎ اقلیدسی‏، نرم ‎‎$L2‎$‎ ‏‎ ‎نیز‎ نامیده می‌شود.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\end{definition}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\subsection{ضرب‌های داخلی}‎‎‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">ضرب‌های داخلی ‏ ‎\LTRfootnote{Inner product}‎ امکان معرفی مفاهیم هندسی بصری مانند طول یک بردار‏، زاویه و فاصله‌ی بین دو بردار را فراهم می‌کند. هدف اصلی ضرب‌های داخلی تعیین این هست که آیا بردارها به هم عمود هستند یا نه.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%‎\begin{definition}‎: ‎(‏ضرب نقطه‌ای)‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\subsection{ضرب نقطه‌ای}‎‎‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">ضرب‎ نقطه‌ای ‎\LTRfootnote{Dot product}‎‏ یک نوع خاص از ضرب‌های داخلی هست که به صورت زیر تعریف شده است:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">x^{T}y = \sum_{i=1}^{n}x_i y_i‎‎‎.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%‎\end{definition}‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%‎\begin{definition}‎:{‏ماتریس‌های معین مثبت متقارن}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎%\subsection{ضرب نقطه‌ای}‎‎‎‎‏‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎%\end{definition}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\subsection{مشتق }‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎‎%‎\begin{definition}(‎‏مشتق)‎‏‎‎‏‎‎‏\\‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">به‎ طور کلی برای ‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎$h‎&gt;0‎‎‎$‎‎‎‎‎‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">مشتق ‎ ‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎$f‎‎$‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">در ‎‎$x‎‎$‎‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">به صورت حد تعریف می‌شود:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{df}{dx}‎:= \lim _{h‎\rightarrow 0‎}‎\dfrac{f(x+h)-f(x)}{h}‎,</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">و خط قائم در شکل</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\ref{SLOP}‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">به یک مماس تبدیل می‌شود.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\subsection{‎‏مشتق جزئی و گرادیان}‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\begin{definition}(مشتق جزئی)‎‎‏‎\\‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">برای تابع ‎‎$f:R‎\rightarrow R‎$‎ ‎‏‏، ‎‎$x‎\rightarrow f(x)‎$‎ ‏، ‎‎$x \in R^n‎$‎ ‏از ‎‎$‎‎n$‎‏ متغیر ‎‎$x_,x_2,...,x_n‎$‎ ‎‏‏،‎ مشتق‌های جزئی به صورت زیر تعریف‎‎ می‌شوند:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">&amp;‎\dfrac{‎‎\partial ‎f‎}{‎\partial x_1‎}‎=\lim_{h‎\rightarrow 0‎}  ‎\dfrac{f(x_1+h,x_2,‎\cdots ,x_n‎)-f(x)‎}{‎h‎} \\ \nonumber</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎&amp;\vdots \\ ‎\nonumber‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎&amp;\dfrac{‎\partial ‎f‎}{‎\partial x_n‎}‎=\lim_{h‎\rightarrow 0‎}  ‎\dfrac{f(x_1,x_2,‎\cdots ,x_{n-1} ,x_n‎+h)-f(x)‎}{‎h‎}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">که در حالت برداری به صورت زیر می‌باشد:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}‎\label{grad}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\nabla _x f = grad f = ‎‎\dfrac{‎df‎}{dx}‎=</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\left[ ‎ ‎ \dfrac{‎\partial ‎f(x)‎}{‎‎\partial x_1‎} ‎\quad‎ \dfrac{‎‎\partial ‎f(x)‎}{‎\partial x_2‎} \quad ‎\cdots‎ \dfrac{‎‎\partial ‎f(x)‎}{‎\partial x_n‎}‎ \left] , </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> x‎ ‎\in ‎R^{1‎\times n‎}‎,</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎‏‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">که ‎‎$n‎$‎ ‏‎ ‎تعداد‎ متغیر‌ها و ‎‎$1‎‎$‎‎‎‎‎‎ بعد تصویر روی ‎‎$f‎$‎ ‏‎ ‎می‌باشد. بردار سطری ‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\ref{grad}‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏، گرادیان ‎‎$f‎$‎ ‏‎ ‎یا‎ ژاکوبین</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\LTRfootnote{Jacobian}‎‏‎ نامیده می‌شود.</p>
<table border="0" style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px;" cellspacing="2" cellpadding="0">
<tr>
<td width="550"></td></tr></table>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\subsection{‏قانون زنجیره‌ای}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">تابع ‎‎$f:R^2‎\rightarrow R‎$‎ ‏‎ ‎با‎ دو متعیر ‎‎$x_1‎$‎ ‏ و ‎‎$x_2‎$‎ ‏‎ ‎را‎ در نظر بگیرید. ‎‎$x_1(t)‎$‎ ‏ و  ‎‎$x_2(t)‎$‎ ‏‎ ‎توابعی‎ از ‎‎$t‎$‎ ‏‎ ‎هستند.‎ برای محاسبه‌ی گرادیان تابع ‎‎$f‎$‎ ‏‎ ‎بر‎ حسب ‎‎$t‎$‎ ‏‎‏،‎‎ قانون زنجیره‌ای ‎\ref{chain}‎‏ را برای توابع چند متغیره اعمال می‌کنیم:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎‏‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\dfrac{df}{dt}‎=‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎ ‎‎‎\dfrac{‎\partial ‎f‎}{‎\partial x_1‎} &amp; ‎‎\dfrac{‎\partial ‎f‎}{‎\partial x_2‎} </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎ ‎\dfrac{‎\partial x_1(t)}{‎\partial t}‎‎\\‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{‎\partial x_2(t)}{‎\partial t}‎‎\\</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}  ‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">= ‎\dfrac{‎\partial f}{‎\partial x_1}\dfrac{‎\partial x_1}{‎\partial t} +‎ ‎‎\dfrac{‎\partial f}{‎\partial x_2}\dfrac{‎\partial x_2}{‎\partial‎ t}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{align}‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> که ‎$d$‎‏ بیانگر مشتق و ‎‎$‎\partial‎‎$‎ ‏‎ ‎بیانگر‎ مشتق جزئی می‌باشد. ‎‎‏ اگر تابع ‎$f(x_1,x_2)$‎‏‏، تابعی از ‎$x_1$‏ و ‎$x_2‎$‎ ‏‎ ‎باشد‏،‎ به طوریکه ‎‎$x_1(s,t), x_2(s,t)‎$‎ ‏‎ ‎خود‎ توابعی از دو متغیر ‎‎$s‎$‎ ‏ و  ‎‎‎$t‎$‎ ‏‎ ‎باشد‏،‎ آنگاه با استفاده از قانون زنجیره‌ای مشتقات جزئی به صورت </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\dfrac{‎\partial ‎f‎}{‎\partial s‎}‎= ‎‎\dfrac{‎\partial ‎f‎}{‎\partial x_1‎}‎‎‎\dfrac{‎\partial ‎x_1‎}{‎\partial s‎} ‎+‎ \dfrac{‎\partial ‎f‎}{‎\partial x_2‎}‎‎‎\dfrac{‎\partial ‎x_2‎}{‎\partial s‎},\\</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\dfrac{‎\partial ‎f‎}{‎\partial t‎}‎= ‎‎\dfrac{‎\partial ‎f‎}{‎\partial x_1‎}‎‎‎\dfrac{‎\partial ‎x_1‎}{‎\partial t‎} ‎+‎ \dfrac{‎\partial ‎f‎}{‎\partial x_2‎}‎‎‎\dfrac{‎\partial ‎x_2‎}{‎\partial t‎},</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> و‎ گرادیان از طریق ضرب ماتریس بدست آمده است:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{‎d f‎}{d(s,t)} =‎ ‎‎‎\dfrac{‎\partial ‎f‎}{‎\partial x‎}‎‎‎‎\dfrac{‎\partial ‎x‎}{‎\partial (s,t)‎} ‎= ‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎ ‎‎‎\dfrac{‎\partial ‎f‎}{‎\partial x_1‎} &amp; ‎‎\dfrac{‎\partial ‎f‎}{‎\partial x_2‎} </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\dfrac{‎\partial ‎x_1‎}{‎\partial s‎} &amp; \dfrac{‎\partial ‎x_1‎}{‎\partial t‎} \\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\dfrac{‎\partial ‎x_2‎}{‎\partial s‎} &amp; \dfrac{‎\partial ‎x_2‎}{‎\partial t‎}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{align}‏‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> این روش فشرده برای نوشتن قانون زنجیره به عنوان یک ضرب ماتریس، تنها زمانی معنا پیدا می کند که گرادیان به عنوان یک بردار ردیف تعریف شود.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\susection{‎‏گرادیان توابع با مقدار برداری}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> در اینجا می‌خواهیم مفهوم گرادیان را به توابع برداری تعمیم دهیم. برای یک تابع ‎‎$f:R^n ‎\rightarrow R^m‎$‎ ‏‎ ‎که ‎‎$m&gt;1 $‎ ‏ و  ‎‎$n‎\geqslant 1‎$‎ ‏و‎‎ ‎یک‎ بردار ‎‎$x=[x_1,x_2,‎\cdots,x_n]^T \in R^n‎$‎ ‎‏‏،‎ بردار متناظر با مقادیر تابع به صورت زیر داده شده است:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> f(x)= \begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> f_1(x)\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\vdots\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> f_m(x)‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{bmatrix} \in R^m. </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> مشتق جزئی تابع برداری ‎‎$f:R^n ‎\rightarrow R^m‎$‎ ‏‎ ‎بر‎ حسب ‎‎‏‎‎$x_i \in R‎$‎‏ که ‎‎$ i=1,‎\cdots,n‎‎$‎ ‏‎ ‎به‎ صورت </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\begin{align}\label{vec}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\dfrac{‎\partial ‎f‎}{‎\partial x_i‎}‎= \begin{bmatrix}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\dfrac{‎\partial ‎f_1‎}{‎\partial x_i‎}‎‎‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\vdots ‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎‎\dfrac{‎\partial ‎f_m‎}{‎\partial x_i‎}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{bmatrix} =  \begin{bmatrix}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\lim_{h‎\rightarrow 0‎} ‎\dfrac{‎\partial ‎f_1‎(x_1,‎\cdots,x_{i-1},x_{h},x_{i+1},‎\cdots ,x_n‎‎)-f_1(x)}{‎h}‎‎‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\vdots ‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\lim_{h‎\rightarrow 0‎} ‎\dfrac{‎\partial ‎f_m‎(x_1,‎\cdots,x_{i-1},x_{h},x_{i+1},‎\cdots ,x_n‎‎)-f_m(x)}{‎h}‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{bmatrix}‎\n ‎R^m.‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{align}‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> می‌باشد. ‏در ‎\ref{vec}‎‏ هر مشتق جزئی ‎‎$ ‎\dfrac{‎\partial ‎f‎}{‎\partial x_i‎}‎$‎ ‏‎ ‎خود‎ یک بردار ستونی می‌باشد. بنابراین داریم:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{ d f(x)}{dx} = ‎‎‎\begin{bmatrix}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎ ‎\dfrac{‎\partial ‎f(x)‎}{‎\partial x_1‎} &amp; ‎\cdots &amp;‎ ‎‎‎\dfrac{‎\partial ‎f(x)‎}{‎\partial x_n‎}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}=  ‎‎‎\begin{bmatrix}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎ ‎\dfrac{‎\partial ‎f_1(x)‎}{‎\partial x_1‎} &amp; ‎\cdots &amp;‎ ‎‎‎\dfrac{‎\partial ‎f_1(x)‎}{‎\partial x_n‎} \\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎‎‎\vdots &amp;‎ ‎&amp; ‎\vdots‎‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎‎\dfrac{‎\partial ‎f_m(x)‎}{‎\partial x_1‎} &amp; ‎\cdots &amp;‎ ‎‎‎\dfrac{‎\partial ‎f_m(x)‎}{‎\partial x_n‎} </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix} \in R^{m‎\times n‎}.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">% \begin{definition}(‎‏ژاکوبین)‎\\‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\subsection{ژاکوبین}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> مجموعه ای از تمام مشتقات جزئی مرتبه اول یک تابع با مقدار برداری ‎‎‎‎$f: R^n‎\rightarrow R^m‎‎‎$‎‎‏ ‏ژاکوبین نامیده می‌شود که یک ماتریس ‎‎$m‎\times n‎$‎ ‏‎ ‎می‌باشد‎ به صورت زیر تعریف می‌کنیم:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \bf{J}=‎\nabla ‎_x f‎ =‎ </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{ d f(x)}{dx} &amp;= ‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎‎\begin{bmatrix}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎ ‎\dfrac{‎\partial ‎f(x)‎}{‎\partial x_1‎} &amp; ‎\cdots &amp;‎ ‎‎‎\dfrac{‎\partial ‎f(x)‎}{‎\partial x_n‎}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}‎\\</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">&amp;=  ‎‎‎\begin{bmatrix}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎ ‎\dfrac{‎\partial ‎f_1(x)‎}{‎\partial x_1‎} &amp; ‎\cdots &amp;‎ ‎‎‎\dfrac{‎\partial ‎f_1(x)‎}{‎\partial x_n‎} \\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎‎‎\vdots &amp;‎ ‎&amp; ‎\vdots‎‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎‎\dfrac{‎\partial ‎f_m(x)‎}{‎\partial x_1‎} &amp; ‎\cdots &amp;‎ ‎‎‎\dfrac{‎\partial ‎f_m(x)‎}{‎\partial x_n‎} </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix} \in R^{m‎\times n‎}‎, ‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎‎‎‎x&amp;=</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{bmatrix}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">x_1\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">x_2\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\vdots\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">x_n‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}, J(i,j)=‎\dfrac{‎\partial ‎f_i‎}{‎\partial x_j‎}‎.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{align}‏‎ </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{example}(‏گرادیان یک تابع با مقدار برداری) ‎\\‎‎‏‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">فرض‎ کنید</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">f(x)=Ax, \quad f(x)\in R^M, \quad A \in R^{M‎\times N‎}, \quad , x\in R^N.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏برای محاسبه‌ی گرادیان ‎‎$‎\dfrac{df}{dx}‎$‎ ‏‎ ‎‏،‎ ابتدا باید بعد ‎‎$‎\dfrac{df}{dx}‎$‎ ‏‎ ‎را‎ تعیین کنیم: از آنجاییکه ‎‎$f:R^N‎\rightarrow R^M‎‎‎$‎‏ ‏، این بدین معناست که ‎‎$‎\dfrac{df}{dx} \in R^{M‎\times N‎}‎$‎ ‎‏.‎ سپس برای محاسبه‌ی گرادیان باید مشتق‌های جزئی ‎‎$f‎$‎ ‏‎ ‎بر‎ حسب هر ‎‎$x_j‎$‎ ‏‎ ‎را‎ تعیین کنیم:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">f_i(x)= \sum_{j=1}^{N} A_{ij}x_j ‎\Longrightarrow‎ ‎\dfrac{‎\partial ‎f_i‎}{‎\partial x_j‎}‎= A_{ij}.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">با جمع‌آوری مشتق‌های جزئی در ژاکوبین گرادیان را بدست می‌آوریم:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{df}{dx} = ‎‎‎\begin{bmatrix}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\dfrac{‎\partial ‎f_1‎}{‎\partial x_1‎} &amp;‎ ‎‎\cdots &amp;‎ ‎‎‎‎\dfrac{‎\partial ‎f_1‎}{‎\partial x_N‎}\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\vdots &amp;‎ &amp;‎ ‎‎\vdots ‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎‎\dfrac{‎\partial ‎f_M‎}{‎\partial x_1‎} &amp;‎ ‎‎\cdots &amp;‎ ‎‎‎‎\dfrac{‎\partial ‎f_M‎}{‎\partial x_N‎}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}= \begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">A_{11}&amp;‎\cdots &amp;‎ ‎A_{1N} ‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\vdots &amp;‎ &amp;‎ ‎‎\vdots ‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎A_{M1}&amp;‎\cdots &amp;‎ ‎A_{MN}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}= A \in R^{M‎\times N‎}.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{example}(‏گرادیان تابع هزینه‌ی کمترین مربعات در یک مدل خطی)‎\\‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">مدل‎ خطی زیر را در نظر بگیرید:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\bf{y=‎\Phi‎ ‎\theta},‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">که ‎‎$\theta \ in R^D‎$‎ ‏‎ ‎یک‎ بردار پارامتری‏، ‎‎$‎\Phi ‎\in R^{N‎\times D‎}‎$‎ ‏‎ ‎ویژگی‌های ‎\LTRfootnote{Features}‎ ورودی و ‎‎$y \in R^N‎$‎ ‏‎ ‎پاسخ‎ متناظر می‌باشد. ‏تعریف می‌کنیم توابع </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">L(e):= ‎\parallel e‎ ‎‎\parallel ‎^2 ,‎ ‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">e(\theta):= ‎y- ‎\Phi ‎\theta .‎ ‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">با استفاده از قانون زنجیره‌ای باید ‎‎$‎\dfrac{‎\partial ‎L‎}{‎\partial \theta‎}‎$‎ ‏‎ ‎را‎ محاسبه کنیم. ‎$L$‎‏ تابع هزینه‌ی کمترین مربعات نامیده می‌شود. همانطور که گفته شد ابتدا بعد ‎$‎\dfrac{‎\partial ‎L‎}{‎\partial \theta‎}‎$‎ ‏‎ ‎را‎ می‌یابیم.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{‎\partial ‎L‎}{‎\partial \theta‎} \in R^{1 ‎\times D‎}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align} </p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏با استفاده از قانون زنجیره‌ای داریم :</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{‎\partial ‎L‎}{‎\partial \theta‎} = ‎\dfrac{‎\partial ‎L‎}{‎\partial e} ‎\dfrac{‎\partial e‎}{‎\partial \theta‎},</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">که مولفه‌ی ‎‎$d‎$‎ ‎‏ام‎ به صورت </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{‎\partial ‎L‎}{‎\partial \theta‎}‎[1,d]‎= \sum_{n=1}^{N}‎\dfrac{‎\partial ‎L‎}{‎\partial e}[n] ‎\dfrac{‎\partial e‎}{‎\partial \theta‎}[n,d].</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">بدست می‌آید.‏ می‌دایم که ‎‎$‎\parallel e ‎‎\parallel ^2=e^T e‎‎‎‎‎‎$‎‏ و تعیین می‌کنیم:‏‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{‎\partial ‎L‎}{‎\partial e‎} = 2e^T \in R^{1‎\times N‎}.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏علاوه بر این بدست می‌آوریم:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{‎\partial e‎‎}{‎\partial \theta‎} = -\Phi  \in R^{N‎\times D‎},</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏به طوریکه مشتق مورد نظر ما</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{‎\partial ‎L‎}{‎\partial \theta‎} = -2e^T \Phi = -2\underbrace{(y^T - \theta ^ T \Phi ^T)}_‎{1‎\times N}‎\underbrace{\Phi}_ ‎{N‎\times D‎}‎ \in R^{1‎\times D‎}.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\subsection{‎‏‏گرادیان ماتریس}‎‎‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">ما با موقعیت هایی مواجه خواهیم شد که در آن نیاز به گرفتن گرادیان ماتریس ها بر حسب بردار یا ماتریس داریم که منجر به یک تانسور ‎\LTRfootnote{Tensor}‎ چند بعدی می شود. ما می توانیم این تانسور را به عنوان یک آرایه چند بعدی در نظر بگیریم که مشتقات جزئی را جمع آوری می کند. ‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">برای مثال، اگر گرادیان یک ماتریس‎‎$A‎$‎‎ ‎‏که ‎‎$m‎\times n‎$‎‎‎‏ است‏، ‎‏‎را بر حسب یک ماتریس ‎‎$p‎\times q‎$‎ ‏‎‏، ‎‎$B‎‎$‎ محاسبه کنیم‎‏‏، ژاکوبین حاصل یک تنسور چهار بعدی ‎‎$(m‎\times ‎n)‎\times‎(p‎\times‎q)‎$‎ ‏‎ ‎می‌شود‎ که ورودی‌های آن به صورت ‎‎$J_{ijkl}= ‎\dfrac{‎\partial ‎A_{ij}‎}{‎\partial B_{kl}‎}‎$‎ ‎‏.‎ </p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">از آنجایی که ماتریس‌ها نگاشت‌های خطی را نشان می‌دهند، می‌توانیم از این واقعیت استفاده کنیم که بین فضای ‎‎$R^{m‎\times n‎}‎‎$‎ از ماتریس ‎$m‎\times n‎‎$‎ و فضای ‎$R^{m‎n‎}‎‎$‎ از بردارهای ‎$mn‎‎$‎ یک فضای برداری ایزومورفیسم (خطی، نگاشت معکوس) وجود دارد.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">بنابراین، می‌توانیم ماتریس‌های خود را به ترتیب به بردارهایی با طول ‎‎$mn‎‎$‎ و ‎$pq‎‎$‎ تغییر شکل دهیم.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">گرادیان با استفاده از این بردارهای ‎$mn‎‎$‎ منجر به یک ژاکوبین ‎‏با اندازه ‎‎$mn‎\times pq‎‎‎$‎ می شود‏.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">شکل ‎\ref{partial}‎ هر دو رویکرد را به تصویر می کشد. در کاربردهای عملی، اغلب مطلوب است که ماتریس را مجدداً به یک بردار و</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">به کار با این ماتریس ژاکوبین ادامه دهید: قاعده زنجیره ای ‎(\ref{chain})‎‎‎‏ به ضرب ماتریسی ساده خلاصه می شود، در حالی که در مورد تانسور ژاکوبین، ما باید توجه بیشتری به ابعادی داشته باشیم که باید جمع کنیم. ‎‏در‎ شکل‏ ‎(‎\ref{partial})‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> می‌خواهیم گرادیان ماتریس ‎‎$A \in R^{4‎\times 2‎}‎$‎ ‏‎ ‎را‎ بر حسب بردار ‎‎$x \in R^3‎$‎ ‏‎ ‎محاسبه‎ کنیم (آ‏، ‎\ref{partial}‎)‏ . بدین منظور دو رویکرد را در نظر می‌گیریم. 1) ترکیب مشتقات جزئی در یک تانسور ژاکوبین (ب‏، ‎\ref{partial}‎) ‏ .‎\\‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  2) مسطح کردن ‎\LTRfootnote{flattening}‎ ماتریس به یک بردار، محاسبه ماتریس ژاکوبین، تبدیل مجدد به یک تانسور ژاکوبین (ج‎‏‏، ‎\ref{partial}‎).</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\begin{figure}[!ht]‎                   </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\centering‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\begin{minipage}[t]{.35\textwidth}‎\label{A}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    ‎\centering‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    ‎\includegraphics[height=.6\linewidth]{A}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    ‎\subcaption{}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\end{minipage}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\begin{minipage}[t]{.45\textwidth}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    ‎\centering‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    ‎\includegraphics[height=.6\linewidth]{partial}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    ‎\subcaption{}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\end{minipage}\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\begin{minipage}[t]{.45\textwidth}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    ‎\centering‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    ‎\includegraphics[height=.6\linewidth]{partial2}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    ‎\subcaption{}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\end{minipage}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\caption{‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">محاسبه گرادیان یک ماتریس با توجه به یک بردار‎‏.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\label{‎partial‎}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\end{figure}‎</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏که ‎$W$‎‏ ماتریسی متقارن می‌باشد.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%‎\subsection{‎‏مشتقات خودکار و پس انتشار}‎</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\subsection{‎‏ماتریس هسین}‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">ماتریس هسین ‎\LTRfootnote{Hessian}‎ مجموعه ای از تمام مشتقات جزئی مرتبه دوم است.‎‏‎ اگر تابع ‎‎$f(x,y)‎$‎ ‏‎ ‎به‎ طور پیوسته و دو بار مشتق‌پذیر باشد‏، آنگاه</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{‎\partial ^2 f‎}{‎\partial x ‎\partial y‎} =‎ ‎‎‎\dfrac{‎\partial ^2 f‎}{‎\partial y ‎\partial x‎‎}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">یعنی ترتیب ‏دیفرانسیل مهم نیست و ماتریس هسین متناظر با آن به صورت </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\bf{H}= \begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{‎\partial ^2 f‎}{‎\partial x^2‎} &amp; ‎\dfrac{‎\partial ^2 f‎}{‎\partial x ‎\partial y‎‎} \\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\dfrac{‎\partial ^2 f‎}{‎\partial x ‎\partial y‎} &amp;‎ ‎‎‎\dfrac{‎\partial ^2 f‎}{‎\partial y^2‎}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏است که ماتریسی متقارن می‌باشد. ماتریس هسین به صورت ‎‎$‎\nabla ^2 _{x,y} f(x,y)‎$‎ ‏‎ ‎بیان‎ می‌شود. به طور کلی برای هر ‎‎$‎‎x\in R^n$‎‏ و ‎‎$f: R^n‎\rightarrow R‎$‎ ‏‎ ‎‏،‎ ماتریس هسین یک ماتریس ‎‎$n‎\times n‎$‎ ‏‎ ‎می‌باشد.‎ هسین انحنای تابع را به صورت محلی در اطراف ‎‎$(x,y)‎$‎ ‏‎ ‎اندازه‌گیری‎ می‌کند. </p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">اگر ‎‎$f: R^n ‎\rightarrow R^m‎$‎ ‏‎ ‎باشد‏،‎ آنگاه ماتریس هسین یک تنسور ‎‎$m‎\times n‎\times n‎$‎ ‏‎ ‎می‌باشد.‎</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%یاضیات سنگ بنای همه رشته‌های علوم معاصر به حساب می‌آید .تقریباً همه تکنیک‌های علم داده مدرن که شامل «یادگیری ماشین»   \LTRfootnote{Probability of a union of two events}‎نیز می‌شود، زیرساخت عمیقی از ریاضیات دارند.                                                        ‏                                ‏                 </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎\section{‎‏احتمال و توزیع}‎‎‎‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">احتمال، به زبان ساده، به مطالعه عدم قطعیت مربوط می شود. </p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">احتمال را می توان به عنوان کسری از زمان وقوع یک رویداد یا به عنوان یک درجه از باور به یک رویداد در نظر گرفت. %سپس می خواهیم از این احتمال برای اندازه گیری احتمال وقوع چیزی در یک آزمایش  استفاده کنیم.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">هدف نظریه احتمال تعریف یک ساختار ریاضی است که نتایج تصادفی آزمایش‌ها را شرح دهد. به عنوان مثال هنگام پرتاب سکه ما نمی‌توانیم نتیجه را تعیین کنیم اما بعد از پرتاب‌های مکرر ‏، می‌توانیم نظمی را در میانگین نتیجه مشاهده کنیم. هدف از به کار بردن این ساختار ریاضی از احتمال‏، اجرای استدلال خودکار می‌باشد که از این نظر نظریه احتمال استدلال منطقی را تعمیم می‌دهد‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\cite{Jaynes, 2003 }</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">. </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> %‎\section{‎‏مروری کوتاه بر نظریه احتمال}‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎‎\subsection{‎‏متغیر‌های تصادفی گسسته}‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> عبارت‎‎‎$p(A)‎$‎ ‎‎ را در نظر بگیرید که بیانگر ‏احتمال درست بودن رویداد ‎‎$‎A‎‎‎$‎‏ می‌باشد. ‏برای‎‎ مثال         می‌تواند یک عبارت منطقی باشد (فردا باران خواهد آمد). در اینصورت‏ ‎$‎0‎\leqslant ‎p(A) ‎\leqslant1‎‎‎$‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‏که  ‎$p(A)=0‎‎$ ‎ ‎ یعنی این رویداد قطعا اتفاق نخواهد افتاد و ‎‎$p(A)=1‎‎$ ‎ بیانگر رخ دادن اتفاق می‌باشد. ما می توانیم مفهوم رویدادهای باینری را با تعریف یک متغیر تصادفی گسسته   ‏‎$‎X‎‎‎‎‎‎$‎ گسترش دهیم‏ که می تواند هر مقداری را از یک مجموعه متناهی یا نامتناهی قابل شمارش    $‎\chi‎ ‎‎‎‎‎$  بگیرد. ‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  احتمال رویداد  ‎‎$X=x‎‎$‎  را با  ‎$p(X=x)‎‎$‎  یا‏ به اختصار  ‎$p(x)‎‎$‎  تعریف می‌کنیم که ‎‎$p()‎‎$‎‎ احتمال تابع چگالی نامیده می‌شود. که این در ویژگی‌های  ‎$‎0‎\leqslant ‎p(A) ‎\leqslant1‎‎‎$‎    و ‎$‎\sum_{x\in‎\chi‎}p(x)=1‎‎‎$ ‎ ‎ صدق می‌کند.  </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎‎\subsection{‎‏قوانین اساسی احتمال}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  در‎‎ اینجا به بررسی قوانین اساسی احتمال می‌پردازیم.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\subsubsection{احتمال اتحاد دو رویداد}‎‎‏‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  \LTRfootnote{Probability of a union of two events}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  دو روداد ‎$A‎‎$‎  و   ‎ $B‎‎$‎‎را در نظر بگیرید. احتمال رخ دادن ‎$‎‎A$‎  یا ‎$B‎‎$‎  به صورت زیر تعریف می‌شود:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎‎\begin{align*}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  p(A‎‎\vee‎ B‎)= P(A)+P(B)-P(‎A\‎wedge B‎)‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\end{align*} ‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  \subsubsection{‎‏‏احتمال الحاقی} ‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  \LTRfootnote{Joint probabilities}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  احتمال الحاقی‎‎‎‎ دو رویداد  ‎$A‎‎$‎  و  ‎$B‎‎$‎ به صورت زیر تعریف می‌شود:‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">   \begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">   p(A,B)=p(A‎\wedge B‎)=p(A‎\mid B‎)p(B)</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">   \end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">   که این اغلب قانون ضرب </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">     \LTRfootnote{‎Product rule‎}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">   نامیده می‌شود. ‏بر اساس توزیع الحاقی داده شده ‏‎‎$p(A,B)‎$‎‎‎ ‏، توزیع حاشیه‌ای</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    \LTRfootnote{marginal distribution‎}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    به صورت زیر تعریف می‌شود:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    ‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    p()=‎\sum_{b}p(A,B)=‎\sum_{b}p(A‎\mid B=b‎)p(B=b)‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    \end{align}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">   ‏به طور مشابه می‌توان ‎‎$p(B)‎$‎ ‏‎ ‎را‎ تعریف کرد. این گاهی اوقات قانون جمع</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\LTRfootnote{‎Sum rule‎‎}   </p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    یا قاعده احتمال کلی </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\LTRfootnote{rule of total probability‎‎}     </p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    نامیده می‌شود. ‏قانون ضرب می‌تواند چندین بار تکرار شود که قانون زنجیره‌ای </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\LTRfootnote{chain rule‎‎}     </p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    احتمال را نتیجه می‌دهد:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    ‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    p(X_{1:D})=P(X_1)P(X_2‎\mid X_1‎)P(X_3‎\mid X_2,X_1‎)P(X_4‎\mid X_3,X_2,X_1‎)...P(X_D‎\mid X_{1:D-1}‎)</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">    \end{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\subsubsection{‏‎‏احتمال شرطی‎}‎ </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\LTRfootnote{Conditional probability}‎  ‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">با توجه به اینکه احتمال رویداد ‎$B$‎‏ درست باشد‏، احتمال شرطی رویداد ‎$A‎$‎ ‏‎ ‎را‎ به صورت زیر تعریف می‌کنیم:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">p(A‎‎\mid B‎‎)=‎\dfrac{P(A,B)}{P(B)} ‎\quad ‎p(B)‎‎&gt;0‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\subsection{‏متغیر تصادفی پیوسته\LTRfootnote{Continuous random variables}}‎‏‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> فرض کنید‎$X‎‎$‎‎‎کمیتی پیوسته باشد. احتمال اینکه ‎$X‎‎$‎  در بازه‌ی ‎$a ‎\leqslant X ‎\leqslant b‎‎‎‎$‎ باشد را می‌توان به صورت زیر محاسبه کرد.‎ ‎‎‏رویداد‌های  ‎$A=(X‎\leqslant a‎)‎‎$‎ ‏،  ‎$B=(X‎\leqslant b‎)‎‎$‎ و ‎$W=(‎a‎&lt;X‎\leqslant b‎‎‎)‎‎$‎  را در نظر بگیرید. ‏داریم ‎‎$B=A ‎\vee W‎‎‎$‎ ‏ و ‎‎ ‎از‎ آنجاییکه ‎‎$A‎$‎ ‏ و  ‎‎$W‎$‎ ‏‎ ‎به‎ طور متقابل منحصر به فرد هستند قانون جمع بدین صورت تعریف می‌شود:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎p(B)=p(A)+p(W)‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎   </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\subsection{‎‏میانگین و واریانس}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> میانگین و واریانس‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\LTRfootnote{Mean and variance}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  اغلب برای توصیف ویژگی های توزیع احتمال ‏کاربرد دارند. مفهوم ارزش مورد انتظار در یادگیری ماشین نقش اساسی دارد و مفاهیم اساسی احتمال را می توان از مقدار مورد انتظار استخراج کرد‎\cite{Whittle, 2000 }‎‎‏ .</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">% ‎\begin{definition}:(‎‏میانگین)‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \subsubsection{‎‏‎ میانگین}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> میانگین یک متغیر تصادفی ‎‎$X‎‎$‎ با  ‎$x \in R^D‎‎$‎ به صورت تعر‎‏یف می‌شود‎:‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> E_X[x] = \begin{bmatrix}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> E_X_1[x_1]\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\vdots ‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎E_X_D[x_D]</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{bmatrix} \in R^D,</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">که برای ‎‎$d=1,‎\cdots,D‎$‎ ‏‎‏،‎‎ اگر  ‎‎$X‎‎$‎‎ متغیر‎ تصادفی پیوسته باشد </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎E_X_d[x_d]:= ‎\int‎_{‎\chi‎}x_d p(x_d)d(x_d)‎,‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align} ‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏و ‏در حالتی که ‎‎$X‎$‎ ‏‎ ‎متغیر‎ تصادفی گسسته باشد داریم:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎E_X_d[x_d]:= ‎\sum‎_{‎x_i \in \chi‎}x_i p(x_d=x_i).</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">% ‎\begin{definition}:(‎‏‏کوواریانس تک متغیره)‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \subsubsection{‎‏‎ کوواریانس تک متغیره}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> کوواریانس بین دو متغیر تصادفی تک متغیره ‎‎$X,Y \in R‎$‎ ‏‎ ‎‎به صورت زیر تعریف می‌شود:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> Cov_{X,Y}[x,y]:= E_{X,Y}[(x-E_x[x])(x-E_x[x])].</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{align}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> % ‎\begin{definition}:(‎‏‏کوواریانس ‏چند متغیره)‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\subsubsection{‎‏‎ کوواریانس ‏چند متغیره}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  اگر دو متغیر تصادفی چند متغیره ‎‎‎‎$X,Y ‎$‎‎‎ را به ترتیب با حالت های ‎$x \in R^D‎‎$‎ و ‎$y \in R^E‎‎$‎ در نظر بگیریم، کوواریانس بین ‎$X,Y‎‎$‎ به صورت </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> Cov[x,y]:= E[xy^T‎]‎)-E[x]E[y]^T=Cov[y,x]^T \in R^{D ‎\times E‎}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> \end{align}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‏تعریف می‌شود.‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> % ‎\begin{definition}:(‎‏‏‏واریانس)‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  \subsubsection{‎‏‎ واریانس}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  واریانس یک متغیر تصادفی ‎‎$X‎‎$‎‎‏ با ‎‏متغیرهای ‎‎$x \in R^D‎‎$‎ و میانگین بردار ‎$‎\mu \in R^D‎‎‎$‎ به صورت تعریف می شود‏‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  V_X[x]&amp;=Cov_X[x,x]\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  &amp;= E_X[(x- ‎\mu)(x-\mu)^T‎]= E_X[x‎x^T‎]-E_X[(x)]E_X[(x)^T‎]‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  &amp;= \begin{bmatrix}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> Cov[x_1,x_1] &amp; Cov[x_1,x_2]&amp;‎\cdots &amp;‎ ‎‎Cov[x_1,x_D]\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> Cov[x_2,x_1] &amp; Cov[x_2,x_2]&amp;‎\cdots &amp;‎ ‎‎Cov[x_2,x_D]\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> ‎‎\vdots &amp;‎ ‎‎\vdots &amp;‎ ‎‎\ddots &amp;‎ ‎‎\vdots ‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> Cov[x_D,x_1] &amp; Cov[x_D,x_2]&amp;‎\cdots &amp;‎ ‎‎Cov[x_D,x_D]\\</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  \end{bmatrix}\label{comarix}‎.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  \end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ماتریس ‎$D‎\times D‎‎‎$‎ ‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  ‎\ref{comarix}</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‏‏،ماتریس کوواریانس متغیر تصادفی چند متغیره ‎‎$X‎‎$‎ نامیده می شود. ماتریس کوواریانس متقارن و نیمه معین مثبت است و ‎‏اطلاعاتی در مورد پراکندگی داده ها به ما می‌دهد.‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\subsubsection{‎‏‎ همبستگی }‎\\‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">همبستگی ‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎‎‎\LTRfootnote{Correlation }</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">بین دو متغیر تصادفی‎‏ ‎‎$X,Y‎$‎ ‏به صورت </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎corr[x,y]=‎\dfrac{Cov[x,y]}{‎\sqrt{V[x]V[y]}‎} ‎\in ‎[-1,1]‎,‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">محاسبه می‌شود.‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\subsubsection{‎‏‎ ‎‏‎‏میانگین و کوواریانس تجربی}‎\LTRfootnote{Empirical Mean and Covariance  }‎\\‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">بردار میانگین تجربی‏، میانگین حسابی ‎\LTRfootnote{arithmetic average }‎ مشاهدات برای هر متغیر ‎$x \in R^n‎‎$‎ است و به صورت تعریف ‎‏زیر می شود:</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\overline{x}:= ‎\dfrac{1}{N}\sum _{n=1}^{N}x_n‎‎‎‎.‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">مشابه میانگین تجربی، ماتریس کوواریانس تجربی یک ماتریس ‎‎$D‎\times D‎$‎ ‎‏‎ به صورت زیر می‌باشد.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\overline{x}:= ‎\dfrac{1}{N}\sum _{n=1}^{N}‎(‎x_n‎‎‎‎-X‎\overline{x})‎(‎x_n‎‎‎‎-X‎\overline{x})^T‎.‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%\begin{definition}(‎‏استقلال)‎\\‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\subsubsection{‎‏‎ ‎مستقل}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">دو‎ متغیر تصادفی ‎‎$X,Y‎$‎ ‏‎ ‎مستقل‎ هستند اگر و فقط اگر </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">p(x,y)=p(x)p(y).</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">به طور شهودی، دو متغیر تصادف ‎‎$X,Y‎‎$‎ مستقل ‎‏هستند اگر مقدار ‎‎$y‎‎$‎  هیچ اطلاعات اضافی در مورد ‎$x‎‎$‎ ندهد و برعکس.</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\section{‎‏بهینه‌سازی با استفاده از گرادیان کاهشی}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">اکنون مسئله حل را برای مینیمم مقدار واقعی تابع </p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎\begin{align}‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\min_{x}f(x),</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">در نظر می گیریم.‎‏ جایی که ‎‎‎$‎‎‎‎f: R^d‎\rightarrow R‎‎$‎ یک تابع هدف است که ‏مسائل یادگیری ماشین را در بر می گیرد.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">فرض می کنیم که تابع ‎‎$f‎‎$‎ ما ‎‏مشتق‌پذیر است، و ما نمی توانیم به صورت تحلیلی راه حلی به شکل بسته پیدا کنیم.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">گرادیان کاهشی یک الگوریتم بهینه سازی مرتبه اول است. برای پیدا کردن یک مینیمم محلی</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">یک تابع با استفاده از گرادین کاهشی، گام هایی متناسب با منفی گرادیان تابع در نقطه فعلی برمی‌دارد.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"> گرادیان در جهت تند‌ترین شیب به صورت صعودی می‌باشد. به طور شهودی‏، مجموعه‌ی خطوطی را در نظر بگیرید که در آن تابع در یک مقدار مشخص قرار دارد‏ $‎‎(f(x)=c, ‎\forall ‎‎c\in R)‎‏$ </p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"><span style=" font-family:'Google Sans,sans-serif'; color:#3c4043;">که به خطوط کانتور معروف هستند. ‎گرادیان در جهتی است که متعامد با خطوط کانتوری تابعی است که می خواهیم بهینه سازی کنیم‎‏.</span></p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">اجازه دهید توابع چند متغیره را در نظر بگیریم. سطحی را تصور کنید (توضیح داده شده توسط تابع ‎$f(x)‎‎‎‎$‎) با توپی که از یک مکان خاص ‎$x_0‎‎$‎ شروع می شود. هنگامی که توپ رها می شود، به سمت پایین در جهت ‏بیشترین شیب حرکت می کند.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">گرادیان کاهشی از این واقعیت استفاده می کند ‏که‎‎$f(x_0)‎$‎ ‎‎ سریعترین کاهش را دارد اگر از ‎‎$x_0‎$‎ ‏‎ ‎در‎ جهت ‎‎$-((‎\nabla f(x_0))‎$‎ ‏‎ ‎از‎ تابع ‎‎$f‎‎$‎ ‏ در نقطه‌ی ‎‎$x_0‎$‎ ‏‎ ‎‎حرکت کند.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">  سپس، اگر</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎x_1 = x_0 - ‎\gamma ‎((-‎\nabla ‎f(x_0))^T‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">برای اندازه گام کوچک ‎‎‎$‎\gamma &gt;0‎‎‎$‎، ‎‏انگاه ‏‎‎$f(x_1)&lt;f(x_0)‎‎$‎‎‎‎‎‎‎. توجه داشته باشید که ما از ترانهاده </p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">برای گرادیان استفاده کرده ایم زیرا در غیر این صورت ابعاد کار نخواهند کرد.</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">این مشاهدات به ما اجازه می دهد تا یک الگوریتم گرادیان کاهشی ساده را تعریف کنیم:</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">اگر بخواهیم بهینه‌ محلی ‎‎$f(x^*)‎$‎‎  یک تابع ‎‎$f: R‎\rightarrow R^n‎$‎ را پیدا کنیم که‏‎ ‎‏، ‎‎$x‎\mapsto f(x)‎$‎ ‏‎با‎‎ حدس اولیه‌ی ‎‎$x_0‎$‎ ‏‎ ‎از پارامترهای مورد نظر شروع می‌کنیم و برای یهینه‌سازی تکرار می‌کنیم بر اساس ‎‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\begin{align}‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">‎x_{i+1}=x_i  -‎‎ ‎‎\lambda_i‎‎  ‎\gamma ‎((-‎\nabla ‎f(x_0))^T‎.</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\end{align}‎‎‏‎</p>
<p dir='rtl' style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">برای اندازه گام مناسب ‎‎$\lambda_i‎ $ ‏ ‎دنباله‌ی ‎‎‎‎$f(x_0)‎\geqslant f(x_1)‎\geqslant ‎\cdots‎‎‎‎‎$‎ ‎‏به بهینه‌ی محلی همگرا می شود.‎\\‎</p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">\noindent‎</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;">%%%%%%%%%%%%%%%%%%%%%%%%%</p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p>
<p style="-qt-paragraph-type:empty; margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px; -qt-user-state:0;"></p></body></html>