و درخت تصمیم برای کاوش داده ها (مورد کاربردی: شرکت گاز استان کرمانشاه)
استاد راهنما:
دکتر فرهاد مردوخی
استاد مشاور:
دکتر محمد کاظمی فرد
بهار 1393
(در فایل دانلودی نام نویسنده موجود است)
تکه هایی از متن پایان نامه به عنوان نمونه :
(ممکن است هنگام انتقال از فایل اصلی به داخل سایت بعضی متون به هم بریزد یا بعضی نمادها و اشکال درج نشود ولی در فایل دانلودی همه چیز مرتب و کامل است)
چکیده
داده كاوی تلاشی سیستمی برای استخراج دانش از انبوه داده‌های موجود است. داده كاوی به كمك مجموعه‌ای از روش‌های آماری و مدل‌سازی، می‌تواند الگوها و روابط پنهان موجود در پایگاه‌های داده را تشخیص دهد. با توجه به اینکه هر 7 سال یکبار کنتورهای شرکت ملی گاز بایستی از لحاظ سلامت کنترل شوند و این پروژه بدلیل حضور نیروی انسانی در محل و تست آزمایش کنتور هم از لحاظ زمانی و هم مالی بسیار پرهزینه میباشد. در این پژوهش با اهداف کاربردی، سعی بر آن شده است که با ارائه یک روش ترکیبی از شبکه عصبی و درخت تصمیم، فرآیند داده کاوی را با هدف تشخیص کنتورهای خراب از پایگاه داده در شرکت ملی گاز اجرا و هزینه های این پروژه را بطور چشم گیری کاهش دهد. بطور کلی پروژه حاظر سعی در تشخیص کنتورهای با احتمال بالای خرابی از پایگاه داده شرکت ملی گاز را دارد. در طی فرآیند تحقیق، شبکه عصبی و درخت تصمیم ابتدا بصورت جداگانه هر روش تست و اجرا شدهاند. سپس به بررسی ترکیبهای مختلف از این روشها پرداخته شده که نتیجه حاصل شده حاکی از این است که با ترکیب شبکه عصبی و درخت تصمیم گیری احتمال پیشبینی کنتور خراب به 93.43% (در مقایسه با مقادیر واقعی) است، بنابراین مقایسه بین روش های مورد مطالعه در این پژوهش نشان داد که روش ترکیب الگوریتم ها دقت بیشتر، احتمال پیش بینی بالاتری داشته است.
کلمات کلیدی: داده کاوی، درخت تصمیم گیری، شبکه عصبی، ترکیب روشها، نرم افزار Rapid miner
.
فهرست مطالب
عنوان صفحه
فصل اول: مقدمه
1-1 بیان مسأله. 16
1-2 اهمیت و ضرورت تحقیق.. 17
1-3 جنبه نوآوری تحقیق.. 17
1-4 اهداف تحقیق.. 19
1-5 سوالات پروژه. 19
1-6 فرضیه‌ها 20
1-7 راهکار ارائه شده. 20
1-8 ساختار پایان‌نامه. 24
فصل دوم: مروری بر ادبیات و پیشینه تحقیق
2-1 داده کاوی چیست؟. 49
2-2 تعاریف متنوعی از داده کاوی.. 50
2-3 آیا داده کاوی سودمند است؟. 51
2-4 آمار و داده کاوی.. 52
2-5 پیچیدگی و هزینه زمانی.. 54
2-6 محرمانگی داده ها 54
2-7 محدودیت‌های داده كاوی.. 55
2-8 مراحل داده کاوی.. 55
2-9 وظایف و تكنیك های داده كاوی.. 56
2-9-1 کلاس‌بندی. 56
2-9-2 تخمین. 57
2-9-3 پیشبینی. 57
2-9-4 قواعد وابستگی یا گروه‌بندی پیوستگی‌ها 57
2-9-5 خوشه‌بندی. 57
2-9-6 نمایه‌سازی توصیفی. 58
2-10 معماری سیستم مبتنی بر داده كاوی.. 58
2-11 روش‌های داده كاوی.. 59
2-12 درخت تصمیم‌گیری.. 59
2-13 نقاط قوت درخت تصمیم‌گیری.. 61
2-14 معایب درختان تصمیم. 61
2-15 آنتروپی.. 62
2-16 هرس درخت تصمیم تولیدشده. 64
2-17 شبکه عصبی مصنوعی.. 65
2-18 ماتریس تداخل.. 69
2-19 واسط K-Fold Cross Validation.. 72
2-20 قوانین انجمنی.. 74
2-21 مرور ادبیات و سوابق مربوطه. 75
2-22 خلاصه فصل.. 76
فصل سوم فرایند داده کاوی، معرفی و ارزیابی الگوریتم ها
3-1 معرفی نرم افزار Rapid Miner 5: 61
3-2 واسط کاربری Rapid Miner 5. 61
3-3 نحوه کار با Rapid Miner 5. 62
3-3-1 انبارهها 62
3-3-2 عملگرها 63
3-3-3 تب پردازش.. 64
3-3-4 تب پارامترها 64
3-3-5 تب مشکلات.. 64
3-3-6 تب کمک.. 65
3-3-7 تب توضیحات و تب xml. 65
3-4 مقدمه. 66
3-5 متدولوژی CRISP-DM… 66
3-6 شروع داده کاوی.. 67
3-6-1 درک کسب و کار 67
3-6-2 درک داده ها 67
3-6-3 آماده سازی داده ها 68
3-6-3-1 تولید داده های آموزشی. 69
3-6-3-2 تولید داده های تست و ارزیابی. 69
3-6-4 ساخت مدل. 70
3-6-4-1 افزودن انبارهای داده به نرم افزار 70
3-6-4-2 درخت تصمیم. 71
3-6-4-3 اعمال مدل درخت تصمیم و تست و ارزیابی کار 75
3-6-4-4 شبکه عصبی. 79
3-6-4-5 روش های ترکیبی. 81
3-6-5 نتیجه گیری. 82
فصل چهارم: نتیجه‌گیری و راهکار آینده
4-1 نتیجه گیری.. 84
4-2 راهکار آینده. 84
واژه‌نامه فارسی به انگلیسی.. 85
فهرست شکلها
شکل 1- مدل فرآیند CRISP-DM برای کاربردهای داده کاوی]9[ 21
شکل (2-1): معماری سیستم مبتنی بر داده كاوی [42]. 59
شکل (2-2): تغییر میزان آنتروپی را برای مجموعه‌ای با دو کلاس… 63
شکل (2-3): توابع نرمال سازی [40] 67
نمودار(2-1): تقریب خطی.. 73
شکل(3-1): صفحه نخست نرم افزار Rapid Miner 5. 62
شکل 3-2: خروجی شیها 63
شکل 3-3: خروجی قسمت مدل (شبکه عصبی) 63
شکل 3-4: خروجی قسمت اطلاعات.. 64
شکل (4-1): متدولوژی CRISP-DM… 67
شکل (4-2): نحوه افزودن فایل دادهای به برنامه. 70
شکل (4-3): نحوه انتخاب نوع سطر. 71
شکل(4-4): آدرس عملگر درخت تصمیم. 71
شکل(4-5): آدرس عملگر Set Role. 72
شکل(4-6): آدرس عملگر Select Attribute. 72
شکل(4-7): آدرس عملگر Discretize by Frequency. 72
شکل(4-8): نحوه اتصال عملگرها 73
شکل(4-9): درخت حاصل از داده های آموزشی با تابع هدف نسبت بهره اطلاعاتی.. 74
شکل(4-10): درخت حاصل از داده های آموزشی با تابع هدف آنتروپی.. 75
شکل (4-11): درخت حاصل از داده های آموزشی با تابع هدف پراکندگی جمعیت(جینی) 75
شکل(4-12): آدرس عملگر Apply model. 76
شکل(4-13): اتصالات تب پردازش در مرحله اعمال مدل. 76
نمودار (4-1): پیشبینی حاصل از الگوهای درخت تصمیم با تابع هدف نسبت بهره اطلاعاتی.. 77
نمودار(4-2): پیشبینی حاصل از الگوهای درخت تصمیم با تابع هدف آنتروپی.. 77
نمودار(4-3): پیشبینی حاصل از الگوهای درخت تصمیم با تابع هدف پراکندگی جمعیت(جینی) 78
شکل (4-15): اتصالات عملگرها جهت تشکیل مدل شبکه عصبی.. 79
شکل(4-16): ساختار شبکه عصبی.. 80
نمودار (4-4): نتیجه تشخیص شبکه عصبی.. 80
نمودار(4-6): نتایج حاصل از اجرای شبکه عصبی بر داده های خرابی پیشبینی شده توسط درخت تصمیم 82
فهرست جداول
جدول (2-1): مقایسه آنالیز آماری و داده کاوی ………………………………………………………………….. 53
جدول (2-2) کلاس های پیش بینی . ………………………………………………………………………………69
جدول (2-3): ماتریس تداخل…………………………………………………………………………………………… 70
جدول(2-4): مجموعه اعتبار سنجی…………………………………………………………………………………… 74
جدول) 3-1(: داده های مورد استفاده در تشخیص کنتورخراب……………………………………………….. 68
جدول (4-3): نتایج حاصل از ارزیابی نتایج درختهای تصمیم ایجاد شده………………………………… 78
جدول (4-3): مقادیر پارامترهای عملگر شبکه عصبی………………………………………………………….. 79
فصل اول
