تلاش برای استخراج اطلاعات از داده ها و داده کاوی
94 صفحه قابل ویرایش
قیمت فقط 9000 تومان
چکیده:
در دنیای به شدت رقابتی امروز، اطلاعات به عنوان یکی از فاکتورهای تولیدی مهم پدیدار شده است. در نتیجه تلاش برای استخراج اطلاعات از دادهها توجه بسیاری از افراد دخیل در صنعت اطلاعات و حوزههای وابسته را به خود جلب نموده است. دادههای اطلاعاتی به عنوان یکی از منابع حیاتی سازمان شناخته میشود و بسیاری از سازمانها با اطلاعات و دانش سازمانی خود مانند سایر داراییهای ارزشمندشان برخورد میکنند. در واقع هـــــدف از داده کاوی ایجاد مدلهایی برای تصمیم گیری است. آمار شاخهای از علم ریاضی است که به جمع آوری توضیح و تفسیر دادهها میپردازد. این مبحث به گونهای است که روزانه کاربرد زیادی دارد. در مقایسه این عام با داده کاوی قدمت بیشتری دارد و جزء روشهای کلاسیک داده کاوی محسوب میشود، وجه اشتراک تکنیکهای آماری و داده کاوی بیشتر در تخمین و پیش بینی است. البته از آزمونهای آماری در ارزیابی نتایج داده کاوی نیز استفاده میشود. در کل اگر تخمین و پیش بینی جزء وظایف داده کاوی در نظر گرفته شوند، تحلیلهای آماری، داده کاوی را بیش از یک قرن اجرا کرده است. به عقیده بعضیها dm ابتدا از آمار و تحلیلهای آماری تحلیل شروع شد. میتوان تحلیلهای آماری از قبیل فاصله اطمینان، رگرسیون و... را مقدمه و پیش زمینه dm را دانست که به تدریج در زمینههای دیگر و متدهای دیگر رشد و توسعه پیدا کرد. پس در واقع متدهای آماری جزو روشهای کلاسیک و قدیمی dm محسوب میشوند. در جایی این گونه بحث میشود که با تعریف دقیق آمار یا تکنیکهای آماری جزء داده کاوی نیستند. این روشها خیلی قبل‌تر از داده کاوی استفاده میشدند. با این وجود، تکنیکهای آماری توسط دادهها بکار برده میشوند و برای کشف موضوعات و ساختن مدلهای پیش‌گویانه مورد استفاده قرار میگیرند. در سالهای اخیر فرهنگ تجارت به پیشرفتهایی نایل گشته است. مطابق با آن روابط اقتصادی مشتریان به شیوههای بنیادی و اساسی در حال تغییر است. شرکتها به منظور نظارت بر این گـــــونه تغییرات نیازمند ارایه راهحلهایی هستند. جمع آوری آمار مشتریان و دادههای رفتاری آنها این هدف اصلی و دقیق را ممکن میسازد.
هدف اول ما آشنایی با داده کاوی و تعریف آن میباشد. این که اساساً داده کاوی چیست؟، دومین هدف ما آشنایی با کاربردهای مختلف داده کاوی در بخشهای مختلف است و این که چگونه میتوان از آن برای کمک به بخشهای مختلف آن را معرفی کنیم. یک مقایسه کلی داده کاوی با علم آمار و این که علم آمار چه ارتباطی با داده کاوی دارد. در آخر آشنایی با اصول داده کاوی و روش بکار گیری آن در انجام امور مختلف میباشد.
فهرست مطالب
فصل اول: مقدمه‌ای بر داده کاوی
1-1 مقدمه‌ای بر داده‌کاوی........................................................................................................... 2
1-1-1 چه چیزی سبب پیدایش داده کاوی شده است؟ ..................................................................... 3
1-1-2 مراحل کشف دانش.......................................................................................................... 5
1-2 توصیف دادهها در داده کاوی................................................................................................. 14
1-3 مدلهای پیش بینی دادهها................................................................................................. 15
1-4 مدل‌ها و الگوریتم‌های داده کاوی........................................................................................... 16
1-5 Rule induction............................................................................................................ 23
1-6 تحلیل تفکیکی ............................................................................................................... 25
1-7 مدل افزودنی کلی............................................................................................................. 26
1-8 سلسله مراتب انتخابها...................................................................................................... 27
فصل دوم: مفهوم و کاربرد داده کاوی در آموزش عالی
2-1 مقدمه........................................................................................................................... 30
2-2 سابقه داده کاوی............................................................................................................... 31
2-3 مفهوم داده کاوی.............................................................................................................. 33
2-4 فرآیند داده‌کاوی............................................................................................................... 34
2-5 نرم‌افزارهای داده‌کاوی......................................................................................................... 35
2-6 داده‌کاوی و مدیریت دانش................................................................................................... 36
2-7 کاربرد داده‌کاوی در آموزش عالی........................................................................................... 37
فصل سوم: مقایسه علم آمار با داده کاوی
3-1 مقایسه آمار و داده کاوی..................................................................................................... 39
3-2 کاربردهای روشهای آماری................................................................................................. 43
3-2-1 تخمین...................................................................................................................... 45
3-2-2 پیش بینی................................................................................................................... 46
3-3 اهداف تحلیل رگرسیون...................................................................................................... 46
3-3-1 رگرسیون خطی............................................................................................................ 48
3-3-2:Logistic Regression.................................................................................................. 50
3-3-3 Bayse classsifire..................................................................................................... 53
3-4 ابزار رگرسیون خطی.......................................................................................................... 54
3-5 روش کار با نرم افزار........................................................................................................... 54
3-6 مراحل داده کاوی.............................................................................................................. 55
3-7 عوامل ایجاد داده کاوی ..................................................................................................... 55
3-8 کاربردهایی از داده کاوی..................................................................................................... 56
3-9 سلسله مراتب استراتژی‌های داده کاوی................................................................................... 56
3-10 ابزارهای داده کاوی.......................................................................................................... 56
3-11 دادهها در داده کاوی از سه منبع بدست میآیند...................................................................... 57
فصل چهارم: داده کاوی و کاربرد آن در بازار یابی
4-1 مقدم............................................................................................................................. 59
4-2 مدیریت ذخیره سازی و دست‌یابی اطلاعات............................................................................. 60
4-2-1 ساختار بانک اطلاعاتی سازمان.......................................................................................... 61
4-3 داده کاوی....................................................................................................................... 61
4-5 پیشرفت در تکنولوژیهای داده پردازی.................................................................................... 66
4-6 دیتامارت........................................................................................................................ 67
4-7 انبار دادهها...................................................................................................................... 68
4-8 وابستگی به زمان.............................................................................................................. 68
4-9 غیر فرار بودن................................................................................................................... 69
4-10 تمرکز موضوعی.............................................................................................................. 69
4-11 یکپارچگی.................................................................................................................... 69
4-12 عناصر داده کاوی............................................................................................................ 70
4-13 فنون داده کاوی.............................................................................................................. 71
4-14 نرم افزار....................................................................................................................... 73
4-15 کاربردهای داده کاوی....................................................................................................... 73
4-16 داده کاوی و کاربرد آن در کسب و کار هوشمند بانک............................................................... 74
4-17 داده کاوی در مدیریت ارتباط با مشتری................................................................................ 75
4-18 کاربردهای داده کاوی در کتابخانهها و محیطهای دانشگاهی....................................................... 77
4-19 محدودیتها.................................................................................................................. 79
فصل پنجم: داده‌کاوی با WEKA
5-1 داده‌کاوی با WEKA........................................................................................................ 81
5-2 داده‌کاوی چیست؟ ........................................................................................................... 81
5-3WEKA چیست؟ ............................................................................................................ 83
5-4 شروع کار با WEKA........................................................................................................ 84
5-5 رگرسیون........................................................................................................................ 85
5-6 وارد کردن دادهها به WEKA............................................................................................... 86
5-7 بارگذاری داده به WEKA................................................................................................... 87
5-8 ایجاد مدل رگرسیون با WEKA........................................................................................... 88
5-9 تفسیر مدل رگرسیون........................................................................................................ 90
5-10 جمع‌بندی.................................................................................................................... 91
نتیجه گیری.......................................................................................................................... 92
منابع.................................................................................................................................. 93
فهرست اشکال
فصل اول
شکل 1-1: داده کاوی به عنوان یک مرحله از فرآیند کشف دانش........................................................... 4
شکل 1-2: سیر تکاملی صنعت پایگاه داده....................................................................................... 6
شکل 1-3: معماری یک نمونه سیستم داده کاوی.............................................................................. 7
شکل 1-4 : دادهها از انباره دادهها استخراج می‌گردند........................................................................ 11
شکل 1-5 : دادهها از چند پایگاه داده استخراج شده‌اند...................................................................... 12
شکل 1-6 :شبکه عصبی با یک لایه نهان...................................................................................... 17
شکل 1-7 :Wx,y وزن یال بین X و Y است. ............................................................................... 18
شکل 1-8 :درخت تصمیم گیری................................................................................................ 20
شکل 1-9 :محدوده همسایگی (بیشتر همسایه‌ها در دسته X قرار گرفته‌اند) .......................................... 24
فصل سوم
شکل 3-1 رگرسیون خطی....................................................................................................... 49
شکل 3-2 منحنی معادله.......................................................................................................... 51
فصل چهارم
شکل 4-1 ساختار بانک اطلاعاتی سازمان..................................................................................... 61
شکل 4-2 تبدیل دادهها به دانش سازمان...................................................................................... 62
فصل پنجم
شکل 5-1: صفحه آغازین WEKA............................................................................................ 84
شکل 5-2 :محیط Explorer در نرم‌افزار WEKA......................................................................... 85
شکل 5-3 : WEKA پس از بارگذاری دادهها................................................................................. 88
شکل 5-4 : نمودار ستونی برای فراوانی مقادیر مختلف ستون‌ها در بازه‌هایی با طول یکسان......................... 89
شکل 5-5 : اجرای مدل رگرسیون روی دادهها................................................................................ 90
فهرست جداول
فصل دوم
جدول 2-1 فرآیند داده‌کاوی...................................................................................................... 35
فصل سوم
جدول 3-1 تفاوت‌های کلی روشهای آماری و دیگر روشهای داده کاوی............................................... 42
جدول 3-2 استراتژی‌ها و روشهای هر استراتژی............................................................................. 44
جدول 3-3 دادهها و نتایج......................................................................................................... 52
فصل چهارم
جدول 4-1:کاربردهای داده کاوی در کتابخانهها............................................................................... 78
فصل پنجم
جدول 5-1: معدل دانشگاه بر اساس پارامتر‌های سه گانه.................................................................... 86
تلاش برای استخراج اطلاعات از داده ها و داده کاوی
