توجه : به همراه فایل word این محصول فایل پاورپوینت (PowerPoint) و اسلاید های آن به صورت هدیه ارائه خواهد شد

 بررسی انبار داده دارای ۲۴۲ صفحه می باشد و دارای تنظیمات در microsoft word می باشد و آماده پرینت یا چاپ است

فایل ورد بررسی انبار داده  کاملا فرمت بندی و تنظیم شده در استاندارد دانشگاه  و مراکز دولتی می باشد.

این پروژه توسط مرکز بررسی انبار داده۲ ارائه میگردد

توجه : در صورت  مشاهده  بهم ریختگی احتمالی در متون زیر ،دلیل ان کپی کردن این مطالب از داخل فایل ورد می باشد و در فایل اصلی بررسی انبار داده،به هیچ وجه بهم ریختگی وجود ندارد

---

بخشی از متن بررسی انبار داده :

بررسی انبار داده

مقدمه: سیر تحول

منشاء اصلی پردازش DSS به روزهای خیلی دور در تاریخ سیستمهای کامپیوتری و اطلاعاتی بر می‌گردد. جالب است بدانیم که سیستمهای پشتیبان تصمیم دارای قدمت طولانی وپیچیده در تکنولوژی اطلاعاتی است.و سیر تحول آن تا به امروز ادامه داشته است .]۳[

درحدود دهه۱۹۶۰ جهان کامپیوتر موفق به‌ایجاد نرم افزارهایی شد که با استفاده از فایلهای Master اجرا می‌شدند.این نرم افزارها در قالب برنامه ها و گزارشاتی بودند‌‌‌‌‌‌‌‌‌‌‌، که معمولاٌ به زبان COBOL نوشته می‌شد. پانچ کارتها یک ابزار ذخیر سازی عمومی به حساب می‌آمدند. فایلهای Master توسط نوارهای مغناطیسیی نگهداری می‌شدند که برای ذخیره سازی ارزان قیمت حجم زیادی از داده مناسب بودند، اما بخاطر‌اینکه دسترسی به اطلاعات می‌بایست به صورت متوالی باشد‌این روش زیاد مفید نبود. در یک گذار در فایل نوار مغناطیسی که از۱۰۰% رکوردها عبور می‌شود، عموما فقط ۵ درصد ازاین رکوردها یا حتی کمتر مورد نظر بودند. بعلاوه بسته به داده درون فایل و پردازشی که باید روی آن انجام می‌شد، دسترسی به فایل نوار ورودی بیشتر از ۲۰ تا ۳۰ دقیقه به طول می‌انجامید.]۳[

در اواسط دهه ۱۹۶۰، به طور گسترده‌ای رشد استفاده از فایلهای Master و نوار مغناطیسی افزایش یافتند و در پی آن مقادیر هنگفتی داده افزونه نیز به وجود آمد. ازدیاد فایل Master و داده افزونه منجر به بروز چندین مشکل شد:]۳[

– نیاز به داده همزمان به محض عمل به روز رسانی

– پیچیدگی نگهداری برنامه ها

– پیچیدگی‌ایجاد برنامه‌های جدید

– نیاز به سخت افزار گران برای پشتیبانی کلیه فایلهای Master

جالب است که اگر فقط ابزار ذخیره سازی داده، نوار مغناطیسی باشد، جهان پردازش اطلاعات شاهد هیچ پیشرفتی نبود، . اگر هرگز چیزی برای ذخیره داده حجیم به وجود نمی آمد، سیستمهای سریع و خیلی بزرگ درجهان ظاهر نمی‌‌شد، ونیز هرگز سیستمهای ATM و شبیه آن به وجود نمی‌‌آمد. حقیقتا، اگر قابلیت ذخیره سازی و مدیریت داده در انواع جدید ابزارهای ذخیره سازی وجود نداشت، هرگز بستر لازم برای همکاری تکنسینها و تجار با هم به وجود نمی آمد.]۳[

۲-۱ ۱-۲ ظهور DASD

در ۱۹۷۰ تقریبا هر روز یک تکنولوژی جدید برای ذخیره سازی و دسترسی داده به وجود می‌آمد.در دهه ۱۹۷۰ زمان تحول وسیله ذخیره سازی دستیابی مستقیم (DASD )بود. دیسک ذخیره سازی اصولا با نوار مغناطیسی از نظر قابلیت دسترسی مستقیم تفاوت داشت. ونیازی نبود که رکوردها ۱,۲,…,n تا n+1 رکورد مرور شود.]۳[

آدرس رکورد n+1 ام شناخته شده بود، موضوع ساده‌ای بود که بفهمیم رکورد n+1 ام دقیقا در کجای دیسک قرار دارد. از‌این گذشته، زمان مورد نیاز برای دسترسی به رکورد n+1 ام، کمتر از زمان مورد نیاز برای مرور یک نوار بود. در حقیقت زمان مورد نیاز برای قرار دادن یک رکورد در DASD فقط به اندازه چند میلی ثانیه بود.]۳[

به همراه DASD نوع جدیدی از نرم افزارها تولید شد که به عنوان یک سیستم مدیریت

بانک اطلاعاتی مطرح گردید. هدف از ساخت DBMS بدین منظور بود که برای برنامه نویسان ذخیره سازی و دستیابی داده در محیطDASD آسان گردد.به علاوه‌این ابزار، عملیات مختلفی را برای ذخیره سازی داده در DASD، از جمله بررسی انبار داده
فهرست گذاری داده و غیره راانجام می‌داد. از طریق DASD وDBMSیک راه حل تکنیکی برای حل مشکلات فایلهای Master پدید آمد.وهمچنین موضوع بانک اطلاعاتی مطرح شد.با وجود آشفتگی که فایلهای Master‌ایجاد کرده بودند و داده افزونه جمع آوری شده از آنها بسیارزیاد بود، بدین سبب عجیب نبود که در دهه ۱۹۷۰ بانک اطلاعاتی تعریف شده به عنوان یک منبع مجزای داده برای کلیه پردازشها مورد استفاده قرار گیرد.]۳[

دراواسط دهه ۱۹۷۰ پردازش تراکنش بر خط (OLTP) دسترسی سریعتر به داده را امکان پذیر ساخت. باباز شدن کلیه چشم اندازهای جدید برای تجارت و پردازش، اکنون کامپیوتر می‌تواند برای انجام اعمالی که قبلا غیر ممکن به نظر می‌رسید، مثل سیستمهای رزور درایو، سیستمهای پاسخگوی بانک، سیستمهای کنترل ساخت و مانند آن مورد استفاده قرار گیرد.اگر دنیا در مرحله استفاده از فایل نوار مغناطیسی باقی می‌ماند، ساخت بیشتر سیستمهایی که امروزه تولید می‌شود امکان پذیر نبود.]۳[

۳-۱ تکنولوژی زبانهای نسل چهارم وکامپیوترهای شخصی

در دهه ۱۹۸۰ اکثر تکنولوژیهای جدید، مثل کامپیوترهای شخصی و زبانهای نسل چهارم، شروع به فعالیت نمودند.کاربر نهایی نقش جدی را به عهده گرفت- کنترل مستقیم داده و سیستم – که نقش قبلی رزرو شده برای پردازنده داده بود. از طریق کامپیوترهای شخصی و زبانهای نسل چهارم موقعیتی پیش آمد که کاربر بیشتر می‌توانست با داده درپردازش تراکنشهای بر خط ارتباط برقرار کند. MIS (سیستمهای اطلاعات مدیریتی)، همانطور که قبلا به کار می‌رفت، می‌توانست پیاده سازی شود. امروزه همانطور که سیستمهای پشتیبان تصمیم شناخته شدند، سیستمهای اطلاعات مدیریتی نیز برای تصمیمهای مدیریتی استفاده شدند.در گذشته داده و تکنولوژی با هم استفاده می‌شد تا تصمیمات عملیاتی جزئی اتخاذ شود.اما هیچ بانک اطلاعاتی نمی‌‌تواند هم پردازش تراکنش عملیاتی و هم پردازش تحلیلی را در یک زمان انجام دهد.شکل ۱-۱ نمونه‌ای از بانک اطلاعاتی را نشان می‌دهد.]۳[

-۴-۲-۳ OCI و نرم افزارهای مسیر مستقیم

این امکان زمانی مورد استفاده قرار می‌گیرد که تغییر شکل داده ای و محاسبات روی داده خارج ازبانک اطلاعاتی انجام می‌شود و نیازی به استفاده از فایلهای Flat نیست. [۶]

۳-۴-۲-۴ Export/Import

از این امکان زمانی استفاده می‌شود که داده باید مستقیماً درسیستم مقصد اضافه می‌شود. استفاده از این امکان روی مقادیر زیاد داده‌ای نباید به کار رود و دراستخراجهای پیچیده ممکن نیست. [۶]

به دلیل استفاده از بانکهای همگن در این پروژه به بحث و بررسی مکانیزمهای دگرگونی داده پرداخته نمی‌شود ولی لازم به ذکر است که مکانیزمهای تغییر شکلهای داده ای درون بانک اطلاعاتی یکی از روشهای زیر می‌تواند باشد: [۶]

– تغییر شکل داده ای با استفاده از SQL

– تغییر شکل داده ای از طریق PL /SQL

– تغییر شکل داده ای با استفاده از توابع جدولی

در بخش قبل در مورد روشهای مختلف انتقال داده (ETL) از منابع اطلاعاتی به درون محیط انبار داده بحث و بررسی شد. در این بخش قصد داریم به بررسی طراحی کلی محیط انبار داده و پیکر بندی آن و ایجاد بستر مناسب جهت انتقال داده درون انبار داده بحث و بررسی کنیم. لازم به ذکر است به جهت گستردگی بحث انبار داده، تنها به بررسی حالت خاص پیکر بندی انبار داده یعنی بانکها و منابع اطلاعاتی کاملاً همگن می‌پردازیم. [۶]

مروری بر کپی سازی داده (Replication)

پردازش Replication ، عمل کپی و نگهداری اشیاء بانک اطلاعاتی مثل جداول در چندین بانک اطلاعاتی است که یک سیستم بانک اطلاعاتی توزیع شده را ایجاد می‌کند. تغییرات داده ای انجام شده در یک سایت به صورت محلی قبل از ارسال و قرار گیری در مکانهای Remote، ذخیره می‌شود.پردازش Replication در اوراکل یک ویژگی درونی شده درOracle Server است؛ و یک سرویس دهنده جداگانه‌ نیست. [۶]

پردازش Replication در تکنولوژی بانک اطلاعاتی توزیع شده استفاده می‌شود تا داده را بین چندین سایت به اشتراک گذارد. اما یک پایگاه داده کپی سازی شده و یک بانک اطلاعاتی توزیع شده یکسان نیستند. در یک بانک اطلاعاتی توزیع شده ، داده در چندین مکان وجود دارد، اما یک جدول خاص فقط در یک مکان قرار دارد. برای مثال جدول Person فقط در بانک اطلاعاتی شماره ۱ در یک سیستم بانک اطلاعاتی توزیع شده قرار دارد که شامل بانکهای اطلاعاتی شماره ۲و۳ نیز هست. کپی سازی یعنی همان داده در چندین مکان موجود است. برای مثال جدول Person در بانکهای اطلاعاتی شماره۱، شماره۲ و شماره ۳ موجود است. [۶]

بعضی دلایل ‌کاربرد کپی سازی به شرح زیر است:

– دردسترس بودن

کپی سازی قابلیت استفاده از نرم افزار را بالا می‌برد، چرا که ویژگی دسترسی جایگزینی را برای داده فراهم می‌کند. اگر یک سایت آماده یا دردسترس نباشد، پس کاربران پرسجوهای خود را به مکانهای باقیمانده ارسال می‌کنند. به بیان دیگر،پردازش کپی سازی پشتیبانی از اطلاعات را در زمان از کارافتادگی یک یا چند سیستم ارائه می‌کند. [۶]

– کارایی

پردازش کپی سازی قابلیت دستیابی محلی و سریع را به داده مشترک ایجاد می‌کند. چرا که تعادل انجام فعالیتها را در چندین سایت برقرار می‌کند. بعضی کاربران می‌تواند به یک سرور در حالی دسترسی داشته باشد که سایر کاربران به سرورهای دیگر دسترسی دارند، که در نتیجه باراضافی در کلیه سرورها کاهش می یابد. همچنین کاربران می‌توانند به داده از سایت Replication دسترسی یابند که کمترین هزینه دسترسی را دارد، که عموماً همان سایتی است که به صورت جغرافیایی نزدیکترین فاصله مکانی را به آنها دارد. [۶]

– انجام عملیات روی داده بدون اتصال به بانک اطلاعاتی اصلی

یکMaterialized view درواقع یک کپی کامل یا جزئی (Replica)‌ از یک جدول مورد نظر در یک لحظه خاص از زمان است. Materialized view‌ها این قابلیت را به کاربران می‌دهد که در یک زیر مجموعه از یک بانک اطلاعاتی کار کنند که می‌تواند به سرور بانک اطلاعاتی مرکزی متصل نباشد. سپس وقتی اتصال برقرار شد، کاربران می‌توانند در صورت نیازMaterialized view ها را Refresh کنند. وقتی کاربران Materialized view ‌ها را Refresh می کنند، بانک اطلاعاتی مرکزی را با کلیه تغییراتش به روز رسانی می‌کنند و هر تغییر که در زمان قطع اتصال اتفاق افتاده است را دریافت می‌کنند. [۶]

– کاهش بار شبکه‌

پردازش کپی سازی می‌تواند برای توزیع داده در چندین مکان مورد استفاده قرار گیرد. در نتیجه ، نرم افزارها می‌توانند به سرورهای مناطق مختلف به جای یک سرور مرکزی دسترسی یابند. این پیکر بندی در واقع می‌تواند بار شبکه را کاهش ‌دهد. [۶]

– توسعه انبوه

باتوسعه روزافزون، سازمانها نیاز به توسعه نرم افزارهایی دارند که احتیاح به قابلیت استفاده و اصلاح داده دارند. از طریق روش کپی سازی Oracle، و گزینه‌های مختلف توسعه پذیری ، ایجاد سریع محیطهای Materialized view ممکن است. می‌توان از متغییرهایی استفاده کرد تا هر محیط Materialized view برای یک کاربرد خاص خود سفارشی سازی شود. در این مورد، می‌توان به عنوان مثال شامل متغییرهایی برای نواحی فروش و فروشنده‌های مختلف را نام برد. [۶]

انجام توابع ETL به معنی اجرای کد تولید شده در بانک اطلاعاتی است.این امر می تواند با استفاده از مدیر ساخت Warehouse builder یا از طریق ابزار خارجی مثل Enterprise manager انجام شود.در نهایت پردازش ETL داده منبع را به درون بانک اطلاعاتی مقصد منتقل می کند.این داده می تواند ناحیه staging ،یک ذخیره داده عملیاتی،یک انبارداده یا هر شمای دیگر باشد. بخشهای کد خارجی از بانک اطلاعاتی Oracle در محیط مربوط به خود اجرا می شوند. [۶]

به منظور گزارشگیری از بارگذاری داده، کد تولید شده توسط OWB باید شامل روالها ی بازبینی باشد. این روالها اطلاعات بارگذاری را به درون جداول runtime نرم افزار OWB ثبت می کنند. اطلاعات به دست آمده در حال اجرای کد می تواند شامل تعداد سطور انتخاب شده ، اضافه شده و به روز رسانی شده است. اگر مشکلی حین تبدیل یا بارگذاری داده رخ دهد ، گزارش روال بازبینی مشکل جداول را مشخص می کند. به منظور دسترسی آسانتر و گزارشگیری ساده از این اطلاعات runtime ، OWB محیط مرورگر بازبینی زمان اجرا را فراهم ساخته است. [۶]

۵-۳ راهکار مجتمع Oracle Warehouse Builder

ایجاد یک نرم افزار هوشمند تجاری یک پردازش پیچیده می باشد. مراجل و فازهای مختلفی درگیر می باشد، که ممکن است ظرفیت تهداد زیادی از سیستمها ، منابع، و نواحی عملکردی را بگیرد. OWB این گونه پیچیدگیها را به منظور حصول به یک نرم افزار مجزا با در نظر گرفتن موارد مقیاس پذیری ، قابلیت اطمینان و انعطاف پذیری آن کاهش می دهد. عمده قابلیتهای OWB شامل موارد زیر می باشد:

– تعریف import داده منبع

– طراحی و ایجاد شمای بانک اطلاعاتی هدف

– تعریف انتفال و تبدیل داده بین سیستم مبدا و مقصد

– تعیین وابستگیهای بین پردازشهای ETL

– مدیریت و به روز رسانی تعاریف داده

– گسترش، به روز رسانی، و مدیریت شماهای هدف

– طراحی و ایجاد محیط بازیابی موردی

– طراحی و ایجاد یک محیط OLAP

۵-۴ تعریف اشیاء

پس از جمع آوری نیازمندیهای انباره داده یا data mart ، آماده طراحی سیستم مورد نظر در warehouse builder هستیم.اکثر مدلسازیها در ماجول انباره داده قرارمی گیرد . در این بخش قصد داریم نحوه ایجاد ماجول انباره داده و اشیاء آن را ارائه کنیم. [۶]