پاورپوینت تحقیق داده کاوی با استفاده از آتوماتای یادگیر
چکیده:
با افزایش سیستمهای کامپیوتر و گسترش تکنولوژی اطلاعات , بحث اصلی در علم کامپیوتر از چگونگی جمع آوری اطلاعات به نحوه استفاده از اطلاعات منتقل شده است . سیستمهای داده کاوی ,این امکان را به کاربر می دهند که بتواند انبوه داده های جمع آوری شده را تفسیر کنند و دانش نهفته در آن را استخراج نمایند .
داده کاوی به هر نوع کشف دانش و یا الگوی پنهان در پایگاه داده ها اطلاق می شود . امروزه داده کاوی به عنوان یکی از مهمترین مسائل هوش مصنوعی و پایگاه داده ، محققان بسیاری را به خود جذب کرده است . در این تحقیق ابتدا نگاه کلی بر داده کاوی ، استراتژیهای داده کاوی و... داریم ، سپس مسأله کشف قوانین وابستگی در پایگاه داده را به تفضیل بررسی کردیم و نگاهی به الگوریتمهای موجود برای آن داشتیم . سپس مسأله کشف قوانین وابستگی در پایگاه داده های پویا را مورد بحث قرار دادیم و الگوریتم های ارائه شده مربوطه را مطرح کردیم .
مقدمه :
هدف از این اراِئه و تحقیق بررسی روشهای مطرح داده کاوی است .داده کاوی هر نوع استخراج دانش و یا الگواز داده های موجود در پایگاه داده است که این دانشها و الگوها ضمنی و مستتر در داده ها هستند ,از داده کاوی می توان جهت امور رده بندی (Classification ) و تخمین (Estimation) ,پیش بینی (Prediction) و خوشه بندی (Clustering)استفاده کرد .داده کاوی دارای محاسن فراوانی است . از مهمترین آن محاسن کشف کردن دانش نهفته در سیستم است که به شناخت بهتر سیستم کمک می کند .به عنوان مثال می توان به استفاده ترکیبی از روش خوشه بندی جهت تخصیص بودجه به دسته های مختلف از کتب اشاره کرد .
سیستمهای داده کاوی تقریبا از اوایل دهه 1990 مورد توجه قرار گرفتند . علت این امر نیز آن بود که تا آن زمان سازمانها بیشتر در پی ایجاد سیستمهای عملیاتی کامپیوتری بودند که به وسیله آنها بتوانند داده های موجود در سازمان خود را سازماندهی کنند . پس از ایجاد این سیستمها ,روزانه حجم زیادی از اطلاعات جمع آوری میشد که تفسیر کردن آنها از عهده انسان خارج بود . به همین دلیل , نیاز به تکنیکی بود که از میان انبوه داده معنی استخراج کند و داده کاوی به همین منظور ایجاد و رشد یافت .
مقدمه :
چکیده:
تعریف :
طبقه بندی
تخمین
پیش گویی
تحلیل سبد بازاری
. شبکه عصبی :
. برگشت آماری
3. قوانین وابستگی
الگوریتم با ساختار trie
الگوریتم fp-grow :
الگوریتم ارائه شده:
شامل 43 صفحه فایل word
تلاش برای استخراج اطلاعات از داده ها و داده کاوی
94 صفحه قابل ویرایش
قیمت فقط 9000 تومان
چکیده:
در دنیای به شدت رقابتی امروز، اطلاعات به عنوان یکی از فاکتورهای تولیدی مهم پدیدار شده است. در نتیجه تلاش برای استخراج اطلاعات از دادهها توجه بسیاری از افراد دخیل در صنعت اطلاعات و حوزههای وابسته را به خود جلب نموده است. دادههای اطلاعاتی به عنوان یکی از منابع حیاتی سازمان شناخته میشود و بسیاری از سازمانها با اطلاعات و دانش سازمانی خود مانند سایر داراییهای ارزشمندشان برخورد میکنند. در واقع هـــــدف از داده کاوی ایجاد مدلهایی برای تصمیم گیری است. آمار شاخهای از علم ریاضی است که به جمع آوری توضیح و تفسیر دادهها میپردازد. این مبحث به گونهای است که روزانه کاربرد زیادی دارد. در مقایسه این عام با داده کاوی قدمت بیشتری دارد و جزء روشهای کلاسیک داده کاوی محسوب میشود، وجه اشتراک تکنیکهای آماری و داده کاوی بیشتر در تخمین و پیش بینی است. البته از آزمونهای آماری در ارزیابی نتایج داده کاوی نیز استفاده میشود. در کل اگر تخمین و پیش بینی جزء وظایف داده کاوی در نظر گرفته شوند، تحلیلهای آماری، داده کاوی را بیش از یک قرن اجرا کرده است. به عقیده بعضیها dm ابتدا از آمار و تحلیلهای آماری تحلیل شروع شد. میتوان تحلیلهای آماری از قبیل فاصله اطمینان، رگرسیون و... را مقدمه و پیش زمینه dm را دانست که به تدریج در زمینههای دیگر و متدهای دیگر رشد و توسعه پیدا کرد. پس در واقع متدهای آماری جزو روشهای کلاسیک و قدیمی dm محسوب میشوند. در جایی این گونه بحث میشود که با تعریف دقیق آمار یا تکنیکهای آماری جزء داده کاوی نیستند. این روشها خیلی قبلتر از داده کاوی استفاده میشدند. با این وجود، تکنیکهای آماری توسط دادهها بکار برده میشوند و برای کشف موضوعات و ساختن مدلهای پیشگویانه مورد استفاده قرار میگیرند. در سالهای اخیر فرهنگ تجارت به پیشرفتهایی نایل گشته است. مطابق با آن روابط اقتصادی مشتریان به شیوههای بنیادی و اساسی در حال تغییر است. شرکتها به منظور نظارت بر این گـــــونه تغییرات نیازمند ارایه راهحلهایی هستند. جمع آوری آمار مشتریان و دادههای رفتاری آنها این هدف اصلی و دقیق را ممکن میسازد.
هدف اول ما آشنایی با داده کاوی و تعریف آن میباشد. این که اساساً داده کاوی چیست؟، دومین هدف ما آشنایی با کاربردهای مختلف داده کاوی در بخشهای مختلف است و این که چگونه میتوان از آن برای کمک به بخشهای مختلف آن را معرفی کنیم. یک مقایسه کلی داده کاوی با علم آمار و این که علم آمار چه ارتباطی با داده کاوی دارد. در آخر آشنایی با اصول داده کاوی و روش بکار گیری آن در انجام امور مختلف میباشد.
فهرست مطالب
فصل اول: مقدمهای بر داده کاوی
1-1 مقدمهای بر دادهکاوی........................................................................................................... 2
1-1-1 چه چیزی سبب پیدایش داده کاوی شده است؟ ..................................................................... 3
1-1-2 مراحل کشف دانش.......................................................................................................... 5
1-2 توصیف دادهها در داده کاوی................................................................................................. 14
1-3 مدلهای پیش بینی دادهها................................................................................................. 15
1-4 مدلها و الگوریتمهای داده کاوی........................................................................................... 16
1-5 Rule induction............................................................................................................ 23
1-6 تحلیل تفکیکی ............................................................................................................... 25
1-7 مدل افزودنی کلی............................................................................................................. 26
1-8 سلسله مراتب انتخابها...................................................................................................... 27
فصل دوم: مفهوم و کاربرد داده کاوی در آموزش عالی
2-1 مقدمه........................................................................................................................... 30
2-2 سابقه داده کاوی............................................................................................................... 31
2-3 مفهوم داده کاوی.............................................................................................................. 33
2-4 فرآیند دادهکاوی............................................................................................................... 34
2-5 نرمافزارهای دادهکاوی......................................................................................................... 35
2-6 دادهکاوی و مدیریت دانش................................................................................................... 36
2-7 کاربرد دادهکاوی در آموزش عالی........................................................................................... 37
فصل سوم: مقایسه علم آمار با داده کاوی
3-1 مقایسه آمار و داده کاوی..................................................................................................... 39
3-2 کاربردهای روشهای آماری................................................................................................. 43
3-2-1 تخمین...................................................................................................................... 45
3-2-2 پیش بینی................................................................................................................... 46
3-3 اهداف تحلیل رگرسیون...................................................................................................... 46
3-3-1 رگرسیون خطی............................................................................................................ 48
3-3-2:Logistic Regression.................................................................................................. 50
3-3-3 Bayse classsifire..................................................................................................... 53
3-4 ابزار رگرسیون خطی.......................................................................................................... 54
3-5 روش کار با نرم افزار........................................................................................................... 54
3-6 مراحل داده کاوی.............................................................................................................. 55
3-7 عوامل ایجاد داده کاوی ..................................................................................................... 55
3-8 کاربردهایی از داده کاوی..................................................................................................... 56
3-9 سلسله مراتب استراتژیهای داده کاوی................................................................................... 56
3-10 ابزارهای داده کاوی.......................................................................................................... 56
3-11 دادهها در داده کاوی از سه منبع بدست میآیند...................................................................... 57
فصل چهارم: داده کاوی و کاربرد آن در بازار یابی
4-1 مقدم............................................................................................................................. 59
4-2 مدیریت ذخیره سازی و دستیابی اطلاعات............................................................................. 60
4-2-1 ساختار بانک اطلاعاتی سازمان.......................................................................................... 61
4-3 داده کاوی....................................................................................................................... 61
4-5 پیشرفت در تکنولوژیهای داده پردازی.................................................................................... 66
4-6 دیتامارت........................................................................................................................ 67
4-7 انبار دادهها...................................................................................................................... 68
4-8 وابستگی به زمان.............................................................................................................. 68
4-9 غیر فرار بودن................................................................................................................... 69
4-10 تمرکز موضوعی.............................................................................................................. 69
4-11 یکپارچگی.................................................................................................................... 69
4-12 عناصر داده کاوی............................................................................................................ 70
4-13 فنون داده کاوی.............................................................................................................. 71
4-14 نرم افزار....................................................................................................................... 73
4-15 کاربردهای داده کاوی....................................................................................................... 73
4-16 داده کاوی و کاربرد آن در کسب و کار هوشمند بانک............................................................... 74
4-17 داده کاوی در مدیریت ارتباط با مشتری................................................................................ 75
4-18 کاربردهای داده کاوی در کتابخانهها و محیطهای دانشگاهی....................................................... 77
4-19 محدودیتها.................................................................................................................. 79
فصل پنجم: دادهکاوی با WEKA
5-1 دادهکاوی با WEKA........................................................................................................ 81
5-2 دادهکاوی چیست؟ ........................................................................................................... 81
5-3WEKA چیست؟ ............................................................................................................ 83
5-4 شروع کار با WEKA........................................................................................................ 84
5-5 رگرسیون........................................................................................................................ 85
5-6 وارد کردن دادهها به WEKA............................................................................................... 86
5-7 بارگذاری داده به WEKA................................................................................................... 87
5-8 ایجاد مدل رگرسیون با WEKA........................................................................................... 88
5-9 تفسیر مدل رگرسیون........................................................................................................ 90
5-10 جمعبندی.................................................................................................................... 91
نتیجه گیری.......................................................................................................................... 92
منابع.................................................................................................................................. 93
فهرست اشکال
فصل اول
شکل 1-1: داده کاوی به عنوان یک مرحله از فرآیند کشف دانش........................................................... 4
شکل 1-2: سیر تکاملی صنعت پایگاه داده....................................................................................... 6
شکل 1-3: معماری یک نمونه سیستم داده کاوی.............................................................................. 7
شکل 1-4 : دادهها از انباره دادهها استخراج میگردند........................................................................ 11
شکل 1-5 : دادهها از چند پایگاه داده استخراج شدهاند...................................................................... 12
شکل 1-6 :شبکه عصبی با یک لایه نهان...................................................................................... 17
شکل 1-7 :Wx,y وزن یال بین X و Y است. ............................................................................... 18
شکل 1-8 :درخت تصمیم گیری................................................................................................ 20
شکل 1-9 :محدوده همسایگی (بیشتر همسایهها در دسته X قرار گرفتهاند) .......................................... 24
فصل سوم
شکل 3-1 رگرسیون خطی....................................................................................................... 49
شکل 3-2 منحنی معادله.......................................................................................................... 51
فصل چهارم
شکل 4-1 ساختار بانک اطلاعاتی سازمان..................................................................................... 61
شکل 4-2 تبدیل دادهها به دانش سازمان...................................................................................... 62
فصل پنجم
شکل 5-1: صفحه آغازین WEKA............................................................................................ 84
شکل 5-2 :محیط Explorer در نرمافزار WEKA......................................................................... 85
شکل 5-3 : WEKA پس از بارگذاری دادهها................................................................................. 88
شکل 5-4 : نمودار ستونی برای فراوانی مقادیر مختلف ستونها در بازههایی با طول یکسان......................... 89
شکل 5-5 : اجرای مدل رگرسیون روی دادهها................................................................................ 90
فهرست جداول
فصل دوم
جدول 2-1 فرآیند دادهکاوی...................................................................................................... 35
فصل سوم
جدول 3-1 تفاوتهای کلی روشهای آماری و دیگر روشهای داده کاوی............................................... 42
جدول 3-2 استراتژیها و روشهای هر استراتژی............................................................................. 44
جدول 3-3 دادهها و نتایج......................................................................................................... 52
فصل چهارم
جدول 4-1:کاربردهای داده کاوی در کتابخانهها............................................................................... 78
فصل پنجم
جدول 5-1: معدل دانشگاه بر اساس پارامترهای سه گانه.................................................................... 86
Annotation of Conceptual Co-reference and Text Mining the Qur’an
Abdul Baquee Muhammad Submitted in accordance with the requirements for the
degree of Doctor of Philosophy
The University of Leeds School of Computing
September, 2012
The candidate confirms that the work submitted is his own and that appropriate credit has been given where reference has been made to the work of others.
This copy has been supplied on the understanding that it is copyright material and that no quotation from the thesis may be published without proper acknowledgement.
Chapter 2 Sections 2.1 and 2.2 Muhammad, A. and Atwell, E. (2009) A Corpus-based computational model for knowledge representation of the Qur'an. 5th Corpus Linguistics Conference, Liverpool. Muhammad, A. and Atwell, Eric, (2012) "QurAna: corpus of the Qur’an annotated with pronominal anaphora", LREC 2012 Atwell, ES; Brierley, C; Dukes, K; Sawalha, M; Muhammad, A (2011) An Artificial Intelligence Approach to Arabic and Islamic Content on the Internet in: Proceedings of NITS 3rd National Information Technology Symposium. 2011. Chapter 4 Section 4.3 Muhammad, A. and Atwell, E. (2009) A Corpus-based computational model for knowledge representation of the Qur'an. 5th Corpus Linguistics Conference, Liverpool. Chapter 5 Muhammad, A. and Atwell, Eric, (2012) "QurAna: corpus of the Qur’an annotated with pronominal anaphora", LREC 2012 Chapter 6 Muhammad, A. and Atwell, Eric. (2012) "QurSim: A corpus for evaluation of relatedness in short texts", LREC 2012 Chapter 8 1 My surname was officially changed at the University records from ‘Sharaf’ to ‘Muhammad’ to resolve earlier confusion between surname and father’s name in my passport. Although, in this section I have used the corrected surname, readers may note that my earlier surname i.e.,‘Sharaf’ was used in most of the already published papers. - iv - Muhammad, A and Atwell, Eric (2011) القرآنیة للسور اآللی التصنیف" Automatic categorization of the Qur’anic chapters". 7th International Computing Conference in Arabic (ICCA11).31th May - 2nd June 2011, Imam Mohammed Ibn Saud University, Riyadh, Saudi Arabia Chapter 9 Muhammad, A. and Atwell, E. (2009) A Corpus-based computational model for knowledge representation of the Qur'an. 5th Corpus Linguistics Conference, Liverpool.
دادهکاوی (به انگلیسی: Data Mining) به مفهوم استخراج اطلاعات نهان و یا الگوها و روابط مشخص در حجم زیادی از دادهها در یک یا چند بانک اطلاعاتی بزرگ است. بسیاری از مردم داده کاوی را مترادف واژه های رایج کشف دانش از دادهها (KDD) میدانند. دادهکاوی، پایگاهها و مجموعه حجیم دادهها را در پی کشف و استخراج، مورد تحلیل قرار میدهد. این گونه مطالعات و کاوشها را به واقع میتوان همان امتداد و استمرار دانش کهن و همه جا گیر آمار دانست. تفاوت عمده در مقیاس، وسعت و گوناگونی زمینهها و کاربردها، و نیز ابعاد و اندازههای دادههای امروزین است که شیوههای ماشینی مربوط به یادگیری، مدلسازی، و آموزش را طلب مینماید.
در سال ۱۹۶۰ آماردانان اصطلاح "Data Fishing" یا "Data Dredging"به معنای "صید داده" را جهت کشف هر گونه ارتباط در حجم بسیار بزرگی از دادهها بدون در نظر گرفتن هیچگونه پیش فرضی بکار بردند. بعد از سی سال و با انباشته شدن دادهها در پایگاه داده اصطلاح داده کاوی در حدود سال ۱۹۹۰ رواج بیشتری یافت. اصطلاحات دیگری نظیر "Data Archaeology"یا "Information Harvesting" یا "Information Discovery" یا"Knowledge Extraction" نیز بکار رفتهاند.