در قلمرو تجزیه و تحلیل داده ها و مدل سازی پیش بینی کننده ، الگوریتم ID3 (تکثیر کننده تکراری 3) به عنوان ابزاری قدرتمند برای طبقه بندی و کارهای پیش بینی معرفی می شود. من به عنوان یک ارائه دهنده الگوریتم ID3 ، من هیجان زده ام که بینش هایی را در مورد چگونگی استفاده مؤثر از الگوریتم ID3 برای پیش بینی ، ریختن در اصول آن ، مراحل اجرای و برنامه های واقعی جهانی به اشتراک بگذارم.
درک الگوریتم ID3
الگوریتم ID3 ، که توسط راس کوینلان در سال 1986 تهیه شده است ، یک الگوریتم مبتنی بر درخت است که برای مشکلات طبقه بندی استفاده می شود. این کار با تقسیم مجدد داده ها به زیر مجموعه ها بر اساس آموزنده ترین ویژگی ها در هر مرحله کار می کند. مفهوم اصلی ID3 آنتروپی و افزایش اطلاعات است.
آنتروپی اندازه گیری ناخالصی یا تصادفی در مجموعه ای از داده ها است. در زمینه طبقه بندی ، آن را تعیین می کند که کلاس ها در یک مجموعه داده معین چگونه مخلوط می شوند. از نظر ریاضی ، آنتروپی (H (S)) یک مجموعه (ها) با (N) کلاس ها به این صورت محاسبه می شود:
[h (s) =-\ sum_ {i = 1}^{n} p_i \ log_2 (p_i)]
جایی که (p_i) نسبت کلاس (i) در مجموعه (ها) است.
از طرف دیگر ، افزایش اطلاعات ، کاهش آنتروپی حاصل از تقسیم داده ها بر اساس یک ویژگی خاص را اندازه گیری می کند. این کمک می کند تا تعیین کند که کدام ویژگی برای تقسیم داده ها در هر گره درخت تصمیم مفید است. افزایش اطلاعات (ig (s ، a)) یک مجموعه (ها) با توجه به یک ویژگی (الف) توسط:
[ig (s ، a) = h (s)-\ sum_ {v \ در مقادیر (a)} \ frac {| s_v |} {| s |} h (s_v)]
جایی که (مقادیر (a)) مجموعه ای از تمام مقادیر ممکن ویژگی (a) ، (s_v) زیر مجموعه (های) است که ویژگی (الف) دارای مقدار (v) و (| s |) و (| s_v |) به ترتیب اندازه (ها) و (s_v) است.
مراحل استفاده از الگوریتم ID3 برای پیش بینی
1 آماده سازی داده ها
اولین قدم در استفاده از الگوریتم ID3 تهیه داده ها است. این شامل جمع آوری داده های مربوطه ، تمیز کردن آن برای حذف هرگونه مقادیر از دست رفته یا متناقض و رمزگذاری متغیرهای طبقه بندی شده است. به عنوان مثال ، اگر در حال کار بر روی مجموعه داده های مربوط به آن هستیدVW CC نمایندگی جدید Volkswagen Volkswagen Volkswagen، ممکن است ویژگی هایی مانند رنگ خودرو ، مسافت پیموده شده و قیمت داشته باشید. شما باید اطمینان حاصل کنید که این ویژگی ها در قالب مناسب برای الگوریتم قرار دارند.
2. انتخاب ویژگی
پس از تهیه داده ها ، مرحله بعدی انتخاب مناسب ترین ویژگی ها است. الگوریتم ID3 به طور خودکار ویژگی ها را با بالاترین افزایش اطلاعات در هر گره انتخاب می کند ، اما هنوز هم مهم است که از ویژگی های خود استفاده کنید تا از استفاده از موارد اضافی یا پر سر و صدا جلوگیری شود. به عنوان مثال ، اگر محبوبیت را پیش بینی می کنیدVW Tiguanl از نمایندگی های اتومبیل فولکس واگن استفاده کرد، ویژگی هایی مانند سال مدل خودرو ، نوع موتور و تاریخچه نگهداری می تواند مرتبط باشد ، در حالی که ممکن است برخی از ویژگی های کمتر قابل توجه حذف شوند.
3. ساختن درخت تصمیم گیری
هسته اصلی الگوریتم ID3 ساخت درخت تصمیم گیری است. این الگوریتم با کل مجموعه داده ها در گره ریشه شروع می شود و سپس ویژگی را با بالاترین افزایش اطلاعات برای تقسیم داده ها به زیر مجموعه ها انتخاب می کند. این فرآیند برای هر زیر مجموعه به صورت بازگشتی تکرار می شود تا اینکه معیار توقف برآورده شود. یک معیار توقف مشترک زمانی است که تمام نمونه های موجود در یک زیر مجموعه متعلق به همان کلاس یا هنگامی که هیچ ویژگی دیگری برای تقسیم وجود ندارد.
4. آموزش مدل
پس از ساختن درخت تصمیم ، مرحله بعدی آموزش مدل است. این شامل استفاده از بخشی از مجموعه داده (مجموعه آموزش) برای تنظیم پارامترهای درخت تصمیم گیری است. این مدل الگوهای موجود در داده های آموزشی را می آموزد و سعی می کند آنها را برای پیش بینی داده های جدید و غیب ، تعمیم دهد.
5. پیش بینی
پس از آموزش مدل ، می توان از آن برای پیش بینی داده های جدید استفاده کرد. برای پیش بینی ، نقطه داده جدید از طریق درخت تصمیم گیری که از گره ریشه شروع می شود منتقل می شود. در هر گره ، شاخه مناسب بر اساس مقدار ویژگی در آن گره انتخاب می شود تا اینکه به یک گره برگ برسد. برچسب کلاس مرتبط با گره برگ سپس کلاس پیش بینی شده برای نقطه داده جدید است.
برنامه های واقعی - برنامه های جهانی الگوریتم ID3 برای پیش بینی
صنعت خودرو
در صنعت خودرو ، از الگوریتم ID3 می توان برای کارهای مختلف پیش بینی استفاده کرد. به عنوان مثال ، می توان از آن برای پیش بینی اینکه آیا مشتری احتمالاً خریداری می کند استفاده شودVW ID4 Crozz Prime Size SUV SUV NEW ENERGYبر اساس اطلاعات جمعیتی آنها ، مالکیت قبلی خودرو و رفتار مرور آنلاین. با تجزیه و تحلیل داده های تاریخی ، الگوریتم می تواند عوامل کلیدی را که بر تصمیم خرید مشتری تأثیر می گذارد ، شناسایی کند و یک درخت تصمیم گیری را برای پیش بینی دقیق بسازد.
مراقبت های بهداشتی
در مراقبت های بهداشتی ، از الگوریتم ID3 می توان برای تشخیص بیماری استفاده کرد. با توجه به علائم بیمار ، سابقه پزشکی و نتایج آزمایش ، الگوریتم می تواند یک درخت تصمیم گیری برای پیش بینی احتمال ابتلا به یک بیماری خاص بسازد. این می تواند به پزشکان کمک کند تا تصمیمات آگاهانه تری بگیرند و به موقع درمان کنند.
بازاریابی
در بازاریابی ، از الگوریتم ID3 می توان برای تقسیم مشتری و بازاریابی هدفمند استفاده کرد. این الگوریتم با تجزیه و تحلیل داده های مشتری مانند سن ، جنس ، درآمد و تاریخ خرید ، می تواند مشتریان را به گروه های مختلف تقسیم کند و پیش بینی کند که به احتمال زیاد به کدام محصولات یا خدمات علاقه مند هستند. این به بازاریابان امکان می دهد تا فعالیت های بازاریابی خود را تنظیم کرده و اثربخشی تلاش های بازاریابی خود را بهبود بخشند.
مزایا و محدودیت های الگوریتم ID3
مزایا
- درک آسان: درختان تصمیم گیری که توسط الگوریتم ID3 تولید می شود ، تفسیر آسان است و آن را برای کاربران غیر فنی مناسب می کند.
- غیر پارامتری: الگوریتم ID3 هیچ فرضیه ای در مورد توزیع اساسی داده ها ایجاد نمی کند ، و آن را انعطاف پذیر و کاربردی برای طیف گسترده ای از مجموعه داده ها ایجاد می کند.
- داده های طبقه بندی را به خوبی کنترل می کند: این می تواند داده های طبقه بندی را بدون نیاز به پیش پردازش پیچیده ، که در بسیاری از برنامه های واقعی جهانی مفید است ، اداره کند.
محدودیت ها
- بیش از حد: الگوریتم ID3 مستعد ابتلا به بیش از حد است ، به خصوص هنگامی که درخت تصمیم خیلی عمیق است. این می تواند منجر به عملکرد ضعیف در داده های جدید و غیب شود.
- مغرضانه نسبت به ویژگی هایی با مقادیر زیادی: این الگوریتم نسبت به ویژگی هایی با تعداد زیادی از مقادیر تعصب دارد که گاهی اوقات می تواند به درختان تصمیم گیری فرعی منجر شود.
- تعامل ویژگی را نادیده می گیرد: به صراحت تعامل بین ویژگی ها را در نظر نمی گیرد ، که ممکن است عملکرد آن را در برخی موارد محدود کند.
پایان
الگوریتم ID3 ابزاری قدرتمند و همه کاره برای کارهای پیش بینی است. با درک اصول آن و پیروی از مراحل ذکر شده در بالا ، می توانید به طور موثری از الگوریتم ID3 برای ساختن درختان تصمیم گیری و پیش بینی های دقیق استفاده کنید. این که آیا شما در صنعت خودرو ، مراقبت های بهداشتی ، بازاریابی یا هر زمینه دیگری هستید ، الگوریتم ID3 می تواند بینش ارزشمندی را ارائه دهد و به شما در تصمیم گیری آگاهانه کمک کند.
ما به عنوان یک ارائه دهنده الگوریتم ID3 ، ما متعهد هستیم که به مشاغل کمک کنیم تا از قدرت این الگوریتم برای نیازهای پیش بینی خود استفاده کنند. اگر شما علاقه مند به استفاده از الگوریتم ID3 برای برنامه خاص خود هستید ، ما از شما دعوت می کنیم تا برای یک بحث مفصل با ما تماس بگیرید و بررسی کنید که چگونه می توانیم الگوریتم را برای پاسخگویی به نیازهای شما تنظیم کنیم.
منابع
- کوینلان ، جونیور (1986). القاء درختان تصمیم گیری. یادگیری ماشین ، 1 (1) ، 81 - 106.
- میچل ، TM (1997). یادگیری ماشین. مک گرا - هیل.