(2-26)

و روابط (2-25) و (2-26) را در مسئله (2-18)جایگذاری کرده و دوگان مسئله را به صورت زیر می­نویسیم:

(2-28)
همانطور كه ملاحظه مي­شود حل مسأله جدايي ناپذير مشابه حل آن در حالت جدايي پذير است با اين تفاوت كه محدوده تغييرات ضرايب لاگژانر  فرق مي­كند.پس از بدست آوردن ضرايب لاگرانژ  الگوهايي كه ضرايب لاگرانژ آنها در رابطه زير صدق مي­کنند، بردار پشتيبان هستند.

مقدار w و شکل تابع تمایز هم مشابه حالت جدایی پذیر خواهد بود.ابرصفحه بدست آمده در حالت جدايي نا پذير را ابرصفحه با ناحيه مرزي نرم^[68] مي­نامند.در واقع تنها اختلاف بین ماشین بردار پشتیبان حاشیه نرم L1 و ماشین بردار پشتیبان حاشیه سخت مقدار  ایی است که از مقدار  نمی­تواند تجاوز کند.(  )
این شرایط نتایجی را در بر دارد که در زیر به آنها اشاره می کنیم:

1. 1. اگر  آن گاه  . در این صورت  قابل طبقه بندی هستند.

1. 1. اگر  آن گاه  و  که در این صورت  و  بردار پشتیبان است.که بردارهای پشتیبان­هایی با  را یک بردار پشتیبان بیکران می­نامیم.

1. 1. 1. اگر  آن گاه  و  . بنابراین  یک بردار پشتیبان است، که بردارهای پشتیبان با  را بردار پشتیبان کراندار می­نامیم که اگر  ،  قابل طبقه بندی است و اگر  قابل طبقه بندی نخواهد بود.

   

2-8-8 ماشین بردار پشتیبان غیر خطی

ماشین های بردار پشتیبان ذکر شده در قسمت های قبل ، برای دسته بندی الگوهای یک مسئله دو کلاسه، از مرزهای جداکننده خطی و از یک ابرصفحه استفاده می­ کنند.در واقع حاصلضرب داخلی بردار ورودی با هر کدام از بردارهای پشتیبان در فضای  - بعدی ورودی محاسبه می­گردد.Vapnik با بهره گرفتن از مفهوم حاصلضرب داخلی در فضای هیلبرت و قضیه هیلبرت- اشمیت نشان داد که ابتدا می توان بردار ورودی  را با یک تبدیل غیر خطی به یک فضای با بعد زیاد انتقال داد و در آن فضا حاصلضرب داخلی را انجام داد و ثابت کرد که اگر یک کرنل متقارن، شرایطMercer را داشته باشد، اعمال این هسته در فضای ورودی با بعد کم می ­تواند به حاصلضرب داخلی در یک فضای هیلبرت با بعد زیاد تلقی شود و محاسبات را به شدت کاهش دهد.
در واقع تعمیم این مساله به حالت غیرخطی به طور مفهومی ساده است.این کار با نگاشت متغیر ورودی X به یک فضای ویژگی با ابعاد بزرگ تر و در نتیجه با بهره گرفتن از یک طبقه بندی کننده خطی در آن فضا صورت می­گیرد.(شکل2-14)
براي حل اين مشكل ميتوان ابتدا داده ها را از فضاي اوليهRⁿ با بهره گرفتن از یک تبدیل غیرخطی  به فضايR^m، با ابعاد بيشتر منتقل كرد كه در فضاي جديد كلاسها تداخل كمتري با يكديگر داشته باشند.سپس در فضای جدید با بهره گرفتن از معادلات قبلی و با جایگزینی x_i با  و در نظر گرفتن مقداری خطا مرز تصمیم گیری بهینه محاسبه می­ شود.با توجه به این امر در این حالت یافتن مرز تصمیم گیری بهینه به حل مساله بهینه سازی زیر تبدیل می­ شود:

(2-29)

در این مساله بهینه سازی C یک عدد ثابت است.اگر  ، مساله بهینه سازی به سمت یافتن یک مرز بهینه برای کلاس هایی با تداخل بسیار زیاد پیش می­رود.از طرفی اگر  مساله بهینه سازی به سمت یافتن یک مرز بهینه جداکننده دو کلاس که تداخل بسیار کمی دارند پیش خواهد رفت.در رابطه بالا معمولا به جای استفاده از  ، از یک تابع هسته که به صورت زیر تعریف می­ شود استفاده می­گردد:

(2-30)
شکل (2-14)- نگاشت داده های آموزشی غیرخطی به فضایی از ویژگی ها با ابعاد بالاتر با تابع  ]11[
پس از تعیین یک  مناسب، در معادله بالا  ، تابع  قرار داده شده و مساله بهینه سازی حل می­ شود.  در واقع یک تابع در فضای اولیه است که برابر با ضرب داخلی دو بردار در فضای ویژگی است.برای معادل بودن  با ضرب داخلی دو بردار در فضای ویژگی، باید  یک تابع معین متقارن مثبت بوده و در شرط Mercer صدق کند.برخی از مهم ترین توابع کرنل در ادامه بیان می­ شود]11[.
شرط mercer :
یک نگاشت  و همچنین تابع کرنل  وجود دارد اگر و تنها اگر g(X) ای وجود داشته باشد که  محدود باشد و

امتیاز استفاده از کرنل در این است که لازم نیست که صریحاً از فضای ویژگی ها با بعد بالا سروکار داشته باشیم.این تکنیک را لم کرنل می­نامیم.
با جایگذاری  ، با بهره گرفتن از کرنل، مسئله دوگان در فضای ویژگی­ها به صورت زیر داده شده است.

(2-31)

بردارهای پشتیبان الگوهایی هستند که ضرایب لاگرانژ متناظر آنها در رابطه  صدق کند.تعدادی از بردارهای پشتیبان که ضرایب لاگرانژ متناظر آنها در رابطه  صدق کند و تعداد آنها  است که برای محاسبه b استفاده می­ شود.

(2-32)
تابع تصمیم گیری به صورت زیر خواهد بود :

(2-33)

2-8-9 انواع کرنل ها

همان طور که بیان شد تابع کرنل برای نگاشت فضای ورودی  به یک فضای ویژگی با ابعاد بالاتر  به کار می رود(H بعد فضای ویژگی ها و N بعد فضای ورودی می­باشد)، که این نگاشت باعث افزایش ظرفیت تصمیم گیری در آموزش SVM می­گردد.کرنل های متفاوتی برای این موضوع وجود دارند که تفاوت آنها در بعد VC، خاصیت هموارسازی و توان تعمیم پذیری بر روی مجموعه داده است.در ادامه به معرفی برخی از کرنل ها می­پردازیم.
2-8-9-1 کرنل چند جمله ای^[69]
فرم کلی این کرنل ها در فضای  به صورت زیر می­باشد:

برای این کرنل بعد فضای ویژگی ها برابر با  و در نتیجه بعد VC مربوط به SVM هایی که توسط این کرنل ها ساخته می­شوند برابر با  است.