مقاله موتورهای جستجوگر اینترنت

توجه : به همراه فایل word این محصول فایل پاورپوینت (PowerPoint) و اسلاید های آن به صورت هدیه ارائه خواهد شد

  مقاله موتورهای جستجوگر اینترنت دارای ۴۹ صفحه می باشد و دارای تنظیمات در microsoft word می باشد و آماده پرینت یا چاپ است

فایل ورد مقاله موتورهای جستجوگر اینترنت  کاملا فرمت بندی و تنظیم شده در استاندارد دانشگاه  و مراکز دولتی می باشد.

توجه : در صورت  مشاهده  بهم ریختگی احتمالی در متون زیر ،دلیل ان کپی کردن این مطالب از داخل فایل ورد می باشد و در فایل اصلی مقاله موتورهای جستجوگر اینترنت،به هیچ وجه بهم ریختگی وجود ندارد

بخشی از متن مقاله موتورهای جستجوگر اینترنت :

• موتورهای جستجوگر اینترنت

• موتورهای جستجوگر اینترنت

• چکیده¨
مقاله حاضر کنکاش درباره موتورهای جستجو گر اینترنت.موتورهای جستجو طبقه بندی و دسترسی به اطلاعات را ساده می‌سازند.
اینترنت خصوصا وب منبع عظیمی‌از اطلاعات است که روز به روز بر حجم آن افزوده شود. در حال حاضر میلیونها صفحه که اطلاعات فراوانی از موضوعات مختلف را در بر دارند بر روی سرویس دهنده های مختلف جا خوش کرده اند و این در حالی است که هر روز نیز بر حجم این اطلاعات افزوده می‌شود.
جنبه مثبت وب این است که اطلاعات فراوانی را در موضوعاتی بسیار گسترده, ارایه می‌دهد اما جنبه منفی آن این است که اگر کاربری دنبال موضوعی خاص باشد, کدام صفحه را بخواند؟ از میان میلیونها صفحه موجود, کدام صفحه و یا صفحات نیاز او را برآورده می‌کند؟

در چنین مواقعی کاربران سراغ موتورهای جستجوگر می‌روند. آمارهای رسمی‌نشان می‌دهد که افراد بسیاری سفر در دنیای وب را با موتورهای جستجو گر آغاز می‌کنند.
موتور جستجو گر سایتی است که با گرفتن عبارتی مختصر, کاربر را با لیستی از سایتها روبه رو می‌کند که به موضوع مورد علاقه او مرتبط است. موتور جستجو گر سایتی است که برای کمک به کاربران در یافتن اطلاعات موجود در سایر سایتها طراحی شده است. بسیاری از آنها ابتدا تنها پروژه های دانشگاهی بوده اند نظیر:

Google, Inktomi, Yahoo
وقتی یک کاربر عبارتی را جستجو می‌کند, موتور جستجو گر لیستی از سایتها را نشان می‌دهد که تعداد آنها از چند مورد تا میلیونها صفحه متغیر است. سایتهایی که موتور جستجو گر به عنوان نتایج جستجویش نشان می‌دهد بر حسب میزان ارتباط با موضوع جستجو شده به ترتیب نزولی لیست می‌شوند.
به عبارت دیگر سایتی که به عنوان اولین نتیجه جستجو معرفی می‌شود, مرتبط ترین سایت به عبارت جستجو شده از دید آن موتور جستجوگر بوده است.
هر چه بر محبوبیت وب افزوده می‌گردد نیاز به بایگانی کردن اطلاعات آن نیز بیشتر می‌شود. موتور نیاز به سرعت در اختیار کاربران قرار می‌دهد.

بدون موتور جستجو گر, وب تنها به بخش کوچکی از موفقیت امروزی خود دست می‌یافت, زیرا موتور جستجو گر وب را به رسانه ای قابل استفاده برای همه کس کرده است چرا که از هیچ کس توقع نمی‌رود که آدرسهای بسیاری از سایتهای مختلف را به یاد آورده آنچه که تمام موتورهای جستجو گر انجام می‌دهند. (با درجات متفاوتی از موفقیت), فراهم آوردن یک وسیله جستجوی ساده است.

• مقدمه:
افرادی که دستی در تجارت الکترونیک دارند اذعان می‌کنند که آوردن بیننده به سایت ضروری ترین شرط موفقیات برای سایتهای تجارت الکترونیک است. فرقی نمی‌کند که سایت چه کالا و خدماتی را ارایه می‌کند, هر سایت اگر خواهان کسب در آمد و محبوبیت است, باید بیننده داشته باشد.
تعداد بینندگان هر سایت, برگیرنده آن در دنیای وب است. سایتی که بیننده ندارد بدون شک مرگی آن لاین را تجربه می‌کند مرگی که متاسفانه نمی‌توان کسی را ختم به مراسم ختمش دعوت نمود!

آمارهای رسمی‌به خوبی نشان می‌دهند که موتورهای جستجوگر ابزار مناسبی هستند که کاربران آنها کالالإ خدمات و اطلاعات مورد نیاز خود را می‌یابند.
البته تنها رتبه های بالای نتایج جستجو است که مورد توجه کاربران قرار دارد و آنها به سایتهای لیست شده در این رتبه ها مراجعه می‌کنند. کابران هنوز هم علاقه دارند که ده سایت اول در نتایج جستجو را مرور کرده از بقیه سایتها صرفنظر کنند. این رفتار کاربران پیام بسیار واضحی دارد:
سایتهایی که در رتبه های بالا قرار نمی‌گیرند, بینندگان چندانی هم نخواهند داشت.

با دقت در این رفتار کاربران اهمیت کسب رتبه های بالا در موتورهای جستجوگر روشن تر می‌شود. نکته دیگر آنکه بینندگانی که بدین ترتیب از طریق موتورهای جستجوگر روانه سایتها می‌شوند. عموما علاقه مندان به آن سایت هستند و این در حالی است که هزینه چندانی صرف آوردن آنها به سایت نشده است.
امورزه تجارت الکترونیک خود را با مسئله رتبه بندی در موتورهای جستجوگر هماهنگ کرده است زیرا رتبه های بالاتر مستقیما به فروش بیشتر تعبیر می‌شوند.
طبق آمارهای ارایه شده در ابتدای سال جدید میلادی ۲۰۰۳ نزدیک به ۹۳ درصد بینندگان سایتهای فعال در زمینه ارایه هدایای کریسمس را موتورهای جستجو گر فراهم کرده اند که در این بین گوگل با ۲۷ درصد در صدر ایستاده است رتبه های بالا آر روز هر دارند سایتی است که آگاهانه پای در دنیای مجازی وب می‌نهد. هر روزه سایت های بسیاری در وب منتشر می‌شوند که دارندگان آنها به امید کسب در آمد و موفقیت به این تجارت نوین وارده شده اند اما تنها عدد معدودی از آنها با استفاده از تکنیک های موثر کسب در آمد و با تکیه بر تخصص خود در این بین به موفقیت دست می‌یابند.

امروز, بازاریابی در اینترنت روشهای بسیاری را برای کسب در آمد هر چه بیشتر در اختیار سایت های قرار داده است اما انتخاب اول تمامی‌سایت ها رتبه های بالا درموتورهای جستجوگر است.
به طور خلاصه موتور جستجوگر سایتی است که کاربران اینترنت به کمک آنها سایت ها و اطلاعات مورد علاقه خود را می‌یابند. نتایج جستجوی تمام موتورهای جستجوگر دقیق نیست.

بسیاری از کاربران دریافته اند که در اغلب موارد ۱۰ رتبه اول نتایج جستجوی موتورهای جستجوگر می‌تواند خواسته آنها را برآورده کند.
تجارت الکترونیک به شدت خود را با مسائل رتبه بندی در موتورهای جستجوگر هماهنگ کرده است و همه سایت ها برای کسب رتبه های بالا تلاش می‌کنند.
موتورهای جستجوگر در واقع یک کار انجام می‌دهند:

فراهم آوردن یک وسیله جستجوی ساده برای کمک به کاربران در رسیده به اطلاعات موردنیزا
برای نیل به این مم موتورهای جستجوگر از اطلاعات موجود در پایگاه داده شان کمک می‌گیرند. اطلاعات این پایگاه داده نیز به روش های گوناگونی تامین می‌شود. کار جمع آوری داده را اسپایدرها بر عهده دارند. اما آیا همه موتورهای جستجوگر اسپایدر دارند؟ آیا همه اسپایدرها مثل هم کار می‌کنند؟
با توجه به نوع جمع آوری اطلاعات شیوه ارایه نتایج و مواری دیگر موتورهای جستجوگر به انواع گوناگونی تقسیم می‌شوند که عبارتند از:

– search engine
– directory
– meta search engine
– pay per click search engine
– specialty search engine

• الف- search engine یا موتور جستجوگر
در این نوع از موتورهای جستجوگر کار جمع آوری اطلاعات بر عهده اسپایدها است. درحالت کلی زمانی که صحبت از موتور جستجو می‌شود مقصود این نوع آن است.
پایگاه داده این نوع از موتورهای جستجوگر بزرگتر از سایر انواع است و اطلاعاتی را که آنها ارایه می‌دهند معمولا به روزتر می‌باشد. عملیات به روز رسانی و گسترش پایگاه داده موتور جستجوگر از یک هفت تا چند ماه به طول می‌انجامد.

اسپایدرها, هیچ گاه از کار نمی‌ایستند و به طور مداوم به جمع آوری اطلاعات مشغول هستند. ممکن است اطلاعات جمع آوری شده توسط اسپایدرها از صفحات جدیدی باشد و یا اطلاعات به روز شده از صفحاتی باشد که قبلا هم به آنها مراجعه کرده اند.
وقتی که صحبت از تکنیک های بهینه سازی رتبه سایت های می‌شود در واقع تکنیک هایی مطرح اند که برای کار با این نوع از موتورهای جستجوگر موثرند. بعضی از این موتورهای جستجوگر عبارتند از:
google , MSN, Altavista, Northemlight, wisenut, teoma,…

• ب- Directory یا فهرست
دایرکتوری ها اطلاعات را در گروه های مختلف دسته بندی می‌کنند. تفاوت اصلی دایرکتوری با یک موتور جستجوگر در این است که دایرکتوری اسپایدر ندارد.
دارندگان سایت ها به دایرکتوری مراجعه می‌کنند, گروه مناسب برای سایت خود را در آن بر می‌گزینند و سایت خود را به آن گروه معرفی می‌کنند.
پس از آنکه اطلاعات سایت ها به گروه های مختلف ارسال شد ویراستاران دایرکتوری آن اطلاعات را بررسی می‌کنند. در صورتی که گروه درخواست شده با زمینه فعالیت سایتمعرفی شده یکی باشد و همچنین سایر قوانین دایرکتوری نیز رعایت شده باشد سایت معرفی شده را در گروه یاد شده می‌پذیرند و در غیر اینصورت از قبول آن امتناع می‌کنند. در صورتی که کاربران استفاده درستی از گروه های دایر کتوری بنمایند می‌توانند اطلاعات مفیدی را به کمک آنها کسب کنند.
دایرکتوری از وجود یک سایت مطلع نمی‌گردد مگر زمانی که آن سایت به دایرکتوری معرفی شود تا در یکی از گروه های آن قرار گیرد.

یکی از ایراداتی که دایرکتوری ها وارد می‌شود این است که سایت های مرده زیادی در خود دارند. به عبارت دیگر یا سایت بعد از آنکه به آن معرفی شده است دیگر به فعالیت خود ادامه نداده است اما با این حال هنوز هم دایرکتوری آنرا به عنوان یک سایت فعال به کاربران معرفی می‌کند.
البته دایرکتوری های حرفه ای با استخدام ویراستاران زیادی تلاش بسیاری برای رفع این نقص می‌نمایند.امکان دارد دایرکتوری ها برای بررسی این مورد از اسپایدارها هم کمک بگیرند. در این مورد خاص کار اسپایدار این است که بررسی کند که آیا سایت هایی که قبلا در گروه های قرار گرفته اند هنوز هم فعال می‌باشند.

قرار گرفتن در پایگاه داده دایرکتوری های عمده نقش مهمی‌در کسب رتبه های بالا در موتورهای جستجوگر دارد. دایرکتوری های عمده عبارتند از yahoo, looksmart, dmoz

• ج- Meta search engine یا ابر جستجوگر
ابرجستجوگر از نتایج سایر موتورهای جستجوگر استفاده می‌کند. کار آن بدین صورت است که سوالات کاربران را هم زمان به موتورهای جستجوگر مختلفی ارسال ونتایج جستجوی آنها را بررسی می‌کند و در نهایت رتبه های بالای آنها را به عنوان نتایج جستجوی خود نشان می‌دهد. این نوع موتور جستجوگر اسپایدار ندارد.
مهم ترین آنها عبارتند از:
meta crawler, dogoile, IXQuick, mamma

• د- pay per click gearch engine یا موتورهای جستجوگر رتبه به ازای پول
کار آنها بسیار شبیه یک مزایده است:
با توجه به واژه کلیدی انتخابی برای بالاترین رتبه باید قیمت نسبت به سایر متقاضیان پرداخت شود.
در واقع نحوه ارائه نتایج جستجو در ppc به این ترتیب است که اگر سایتی خواهان بالاترین رتبه در نتایج جستجوی آن می‌باشد, باید بالاترین رقم به ازای هر کلیک را نسبت به تمام رقبا بپردازد.

به عنوان مثال اگر سایتی مکان اول را برای عبارت persian carpet به قیمت ۲۸ ریال از سوی سایت خریدار رتبه به موتور جستجوگر باید پرداخته شود. اگر هزار نفر این کار را انجام دهند آنگاه ۱۰۰۰*۲۸ ریال باید پرداخته شود.
البته اینگونه نیست که اینگونه از موتورهای جستجوگر فقط سایتهایی را نمایش دهند که با آنها قرارداد تجاری دارند. بلکه ابتدا تمام سایتهایی را که با آنها قرار داد تجاری دارند نمایش می‌دهد و سپس سایتهای دیگری را برای تکمیل کردن نتایج جستجوی خود به سایتهای یاد شده می‌افزایند.

• روش ارایه نتایج در یک موتور جستجوگر رتبه بازای پول
سایتهای رده ۱۱۰ و ۱۱۱ برای عبارت free stuff هزینه می‌پردازند که بالاتر از سایت رده ۱۱۲ استاده اند. به عبارتهای sponsored listing و additional listing توجه کنید. فکرش را بکنید که ۱۱۱ سایت حاضر به پرداخت پول برای این عبارت بوده اند در حالیکه همه آنها می‌دانسته اند در چه رتبه ای نشان داده خواهند شد. اگر فرض کنید که سایت رده ۱۱۱ برای هر کلیک تنها یک سنت بپردازد و اختلاف هر رتبه با رتبه های دیگر تنها یک سنت باشد آنگاه سایت رتبه اول حاضر به پرداخت ۱۱۱ سنت برای هر کلیک برده است. سایتهایی را مشاهده کرده ام که حاضر به پرداخت ۱۴ دلار به ازاری هر کلیک نیز بوده اند.

این رقابت شدید در این نوع از موتورهای جستجوگر می‌تواند ناشی از بازده بسیار بالای این نوع موتورهای جستجوگر و همینطور اطمینان دارندگان سایتها از فروش خود باشد. البته می‌توانید سایتهایی را که ناشیانه حاضر به پرداخت رقم بالایی شده اند را هم به دلایل بالا بیافزایید.

• فواید آنها
– دارنده سایت تنها زمانی پول می‌پدازند که واقعا بیننده ای به سایت او بیاید.
– سایت تقریبا در عرض چند ساعت و یا حداکثر یک هفته در نتایج جستجو قرار می‌گیرد و دیگر نیازی به چندین ماه ماندن نیست تا در نتایج جستجوی سایر موتورهای جستجوگر قرار گیرد که آن هم معلوم نیست در چه رتبه ای قرار خواهد گرفت.
– سایتی اگر بالاترین رتبه را می‌خواهد, کافی است که بالاترین قیمت را بپردازد ودیگر نیازی به کاربرد تکنیکی های رایج برای کسب رتبه های بالا نیست.
– یک سایت با استفاده از سیستم این موتورهای جستجوگر در نتایج جستجو شرکای تجاری آنها هم قرار می‌گیرد.

• ه- Specialty search engine یا موتورهای جستجوگر خاص.
این نوع از موتورهای جستجوگر بر موضوعی خاص تمرکز دارند و تنها سایت های مرتبط با آن موضوع را در پایگاه داده خود قرار می‌دهند. به عنوان مثال یکی از آنها ممکن است تنها سایت های ایرانی را بپذیرد و موضوع فعالیتش سایت های ایرانی باشد.
این موتورهای جستجوگر معمولا اطلاعات تخصصی تری را ارائه می‌دهند زیرا معمولا توسط افرادتخصص در آن زمینه اداره می‌شوند. موتورهای جستجوگر منطقه ای و موضوعی نیز به این دسته تعلق دارند. در این مورد می‌توان به مواردی نظیر chemical search, industry search اشاره کرد

.
وقتی جستجویی در یک موتور جستجوگر انجام ونتایج جستجو را ارایه می‌شود کاربران در واقع نتیجه کار بخش های متفاوت آن موتور جستجو گر را می‌بینند. موتور جستجوگر قبلا پایگاه داده اش database را آماده کرده است و این گونه نیست که در همان لحظه جستجو تمام وب را بگردد. بسیاری از خود می‌پرسند که چگونه امکان دارد گوگل Google در کمتر از یک ثانیه تمام سایتهای وب را بگردد و میلیون ها صفحه را در نتایج جستجوی خود ارایه کند؟
نه گوگل و نه هیچ موتور جستجوگر دیگری توانایی انجام این کار ندارند. همه آنها در زمان پاسخ گویی به کاربران تنها در پایگاه داده ای که در اختیار دارند به جستجو می‌پردازند و نه در وب! موتور جستجوگر به کمک بخش هایمتفاوتی خود اطلاعات مورد نیاز را قبلا جمع آوری تجزیه وتحلیل می‌کند و آنرا در پایگاه داده اش ذخیره می‌نماید.

بخشهایمجزای یک موتور جستجوگر عبارتند از:
– spider عنکبوت
– crawler یا خزنده
– indexer یا بایگانی کننده
– database یا پایگاه داده
– Ranker یا سیستم رتبه بندی

• الف- spider عنکبوت
اسپایدار یا روبوت نرم افزاری است که کار جمع آوری اطلاعات مورد نیاز یک موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می‌زند, محتوای آنها را می‌خواند و اطلاعات مورد نیاز موتور جستجوگر را جمع آوری می‌کند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می‌دهد. کار یک اسپایدر بسیار شبیه کار کاربران وب است. همانطور که کاربران صفحات مختلف را بازدید می‌کنند اسپایدر هم این کار را انجام می‌دهد با این تفاوت که اسپایدر کدهای HTML صفحات را می‌بیند. اما کاربران نتیجه حاصل از کنار هم قرار گرفتن این کدها را.

• اما یک اسپایدر آنرا چگونه می‌بیند؟
برای این که شما هم بتوانید دنیای وب را از دیدگاه یک اسپایدر ببینید, کافی است که کدهای HTML صفحات رامشاهده کنید. در مرور گرهای نت اسکیپ برای مشاهده کدهای HTML باید مسیر زیر را دنبال کنید:
view> page source

• آیا این دنیای متنی برای شما جذاب است؟
اسپایدار, به هنگام مشاهده صفحات از خود بر روی سرورهای رد پا بر جای می‌گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آنرا داشته باشید, می‌توانید مشخص کنید که اسپایدر کدام موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده اند. اسپایدرها کاربردهای دیگری نیز دارند به عنوان مثال عده ای از آنها به سایت های مختلف مراجعه می‌کنند و فقط به بررسی فعال بودن لینکهای آنها می‌پردازند و یا به دنبال آدرس پست الکترونیکی افراد می‌گردند.

• ب- Crawier ( خزنده)
کراولر, نرم افزاری است که به عنوان یک فرمانده برای اسپایدر عمل می‌کند. کراولر مشخص می‌کند که اسپایدر کدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می‌گیرد تکه کدام یک از لینک های صفحه ای که اسپایدر در حال حاضر در آن قرار دارد دبلا شود. مممکن است همه آنها را دنبال کند بعضی ها را دنبال کند و یا هیچ کدام را دنبال نکند. کراولر ممکن است قبلا توسط دارندگان موتورهای جستجوگر برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه در اختیار اسپایدر قرار دهد تا از آنها دیدن کند.

دنبال کردن لینک های یک صفحه به این بستگی دارد همچنین موتور جستجوگر چه حجمی‌از اطلاعات یک سایت را می‌تواند در پایگاه داده اش ذخیره کند و همچنین ممکن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد. شما به عنوان دارنده سایت همان طور که دوست دارید موتورهای جستجوگر اطلاعات سایت شما را با خود ببرند می‌توانید آنها را از بعضی از صفحات سایت تان دور کنید واجازه دسترسی به محتوای آن صفحات را به موتورهای جستجوگر ندهید.

تنظیم میزان دسترسی موتورهای جستجوگر به محتوای یک سایت توسط پروتکل robots انجام می‌شود. به عمل کراولر خزش crawling می‌گویند.
تممام اطلا عات جمع آوری شده توسط اسپایدر دراختیار ایندکسر قرار می‌گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می‌گیرند و به بخشهای متفاوتی تقسیم می‌شوند. تجزیه و تخلیل بدین معناست که مشخص می‌شود اطاعات ار کدام صفحه ارسال شده است. چه حجمی‌دارد,کلمات موجود در آن کدام است, کلمات چند بار تکرار شده, کلمات در کجای صفحه قرار دارند و …

در حقیقت ایندکسر صفحه را به پارامترهای آن خرد می‌کند و و تمام این پارامترها را به یک مقیاس عددی تبدیل می‌کند تا سیستم رتبه بندی بتواند پارامترهای صفخات مختلف را با هم مقایسه کند.
در زمان تجزیه و تحلیل اطلاعات, ایندکسر برای کاهش حجم داده ها از بعضی کلمات که بسیار رایج هستند صرف نظرمی‌کنند . کلماتی نظیر is, www, the, an, a از اینگونه کلمات هستند.
• د- DataBase (پایگاه داده )

تمام داده های تجزیه و تحلیل شده در اپندکسر، به پایگاه داده ارسال می گردد. در این بخشف داده ها گروه بندی، کد گذاری، و ذخیره می شود. همچنین داده ها قبل از آنکه ذخیره شوند، فشرده می شوند تاحجم کمی را اشغال کنند.
• و-Ranker (سیستم رتبه بندی)

بعد از آنکه تمام مراحل قبل انجام شد، موتور جستجو گر آماده پاسخ گویی به سوالات کاربران است. کاربران چند کلمه را در جعبه جستجوی (Search Box) آن وارد می کنند و سپس با فشردن Enter منتظر پاسخ می مانند. در این مرحله، سیستم رتبه بندی وارد عمل می شود و ابتدا تمام صفحات موجود در پایگاه داده، که به موضوع جستجو شده، مرتبط هستند را مشخص می کند. سپس آنها را به ترتیب از بیشترین ارتباط تا کمترین ارتباط مرتب می کند و در نتایج جستجو کاربر ارایه می کند. حتی اگر موتور جستجو گر بهترین و کاملترین پایگاه داده را داشته باشد اما نتواند پاسخ های مرتبطی را ارایه کند، یک موتور جستجو گر ضعیف خواهد بود.

سیستم رتبه بندی قلب تپنده یک موتور جستجو گر است و تفاوت اصلی موتورهای جستجو گر در این بخش قرار دارد سیستم رتبه بندی برای پاسخ گویی به سوالات کاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخها را در اختیار آنها قرار دارد. حرفه ای های دنیای SEO (Search Engine Optimization به طور خلاصه از آن Algo (الگوریتم) یاد می کنند. الگوریتم، مجموعه ای از دستور العمل ها است که موتور جستجو گر با اعمال آنها بر پارامترهای صفحات موجود در پایگاه داده اش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جستجو، مرتب کند در حال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اخیتار دارد. البته می توان با ادغام کردن وظیفه های اسپایدر با کراولر وهمچنین ایندکسر با پایگاه داده، موتور جستجو گر را شامل سه بخش زیر دانست که این گونه تقسیم بندی هم درست می باشد.

• کواولر
• بایگانی
• سیستم رتبه بندی
تذکر- برای سهولت در بیان مطالب بعدی هر گاه صحبت از بایگانی کردن (شدن) به میان می آید، مقصود این است که صفحه تجزیه و تحلیل و به پایگاه داده موتور جستجوگر وارد می شود. برای آنکه تصور درستی از نحو کار یک موتور جستجو گر داشته باشید مثال غیر متعارف زیر را باهم بررسی می کنیم.
یک شکارچی تصمیم به شکار می گیرد:

کار کراوالر:
او قصد دارد برای شکار به منطقه حفاظت شده ابیورد، در شهرستان درگز (شمال خراسان ) برود.
پروتکل robts:
ابتدا تمام محدودیت های موجود برای شکار در این منقه را بررسی می کند.
آیا در این منطقه می توان به شکار پرداخت؟
کدام حیوانات را می توان شکار کرد؟

حداکثر تعداد شکار چی میزانی است؟ و ;
فرض می کنیم او مجوز شکار یک اوریال (نوعی آهو) را دریافت می کند.
کارایندکسر
شکار را تکه تکه کرده گوشت، استخوان، دل و قلوه، کله پاچه و ; آنرا بسته بندی می کند و بخش های زاید شکار را دور می اندازد.
کار پایگاه داده
بسته های حاصل را درون فریزر قرار داده ذخیره می کند.
کار سیستم رتبه بندی

مهمانان سرغ او می آیند وهمسر او بسته به ذائقه مهمانان برای آنها غذا طبخ می کند. ممکن است عده ای کله پاچه، عده ای آبگوشت، عده ای جگر و ; دوست داشته باشند. پخت غذا طبق سلیقه مهمانان کار سختی است ممکن است همه آنها آبگوشت بخواهند اما آنها مسلما با مزه ترین آبگوشت را می خواهند!
آیا هنوز هم ابهامی درباره نحوه کار موتوزهای جستجو گر دارید؟
پس از این مقدمه دو موتور جستجو بسیار مهم و پر کاربرد یعنی Yahoo , Google می پردازیم و به اجمال نظری به هر یک از خصوصیات آنها می افکنیم.
گوگل Google
درباره ی کوگل
ماموریت گوگل ارائه بهترین جستجو در اینترنت به وسیله دسترس و مورد استفاده قرار دادن عموم اطلاعات جهان است گوگل، ایجاد کننده بزرگترین ماشین جستجوی جهان، سریعترین و آسانترین راه پیداکردن اطلاعات روی اینترنت را ارائه می کند. با دستیابی به بیش از ۱۳ میلیارد صفحه گوگل نتایج رادر ظرف کمتر از یک دو مادر برد ثانیه به کاربران در سراسر جهان ارائه می کند. اکنون، گوگل روزانه به بیش از ۱۰۰ میلیون تقاضای جستجو پاسخ می دهد.
دو دانشجوی دکترای دانشگاه stanford، یعنی لری پیج و سر جی برین، گوگل را در سال ۱۹۹۸ تاسیس کردند این شرکت خصوصی در ماه جون ۱۹۹۹ / تیر ۱۳۷۹ رسما باسرمایه تاسیس ۲۵ ملیون دلار معرفی شد. این شرکت همراهانی را چون کلاینر پرکینز کاوفلید و سیکوال کپتال را پیدا کرد. گوگل سرویس و خدمات عمومی اصلی خود را در وب سایت خود در www. Google . com ارایه می دهد . این شرکت همچنین سرویس جستجوی پیشرفته را برای فراهم سازی اطلاعات محتوایی نیز ارائه می دهد.

درباره تکنولوژی گوگل
تکنولوژی متحول جستجوی گوگل و طراحی اینترفیس مطلوب برای کاربران، گوگل را به عنوان بخش از ماشینهای جستجوی نسل جدید تبدیل کرده است. فراتر از استفاده از تکنولوژی کلمات کلیدی، گوگل بر اساس تکنولوژی pageRank نیز پایه گذاری شده، که این تکنولوژی باعث می شود تا نتایج مهمتر در یک جستجو اولتر دیده شوند.
بیلیون شرایط محاسبه سنجش معقولی را برای اعتبار صفحات وبی که بر اساس معادله برابری ۵۰۰ میلین متغییر و بیش از ۲ بیلیون شرایط محاسبه شدند را ایفا می کند page pank از ساختار لینک عظیم وب به عنوان ابزار سازماندهی استفاده می کند. وجودا، گوگل تفسیر می کند یک لینک را از صفحه A تا صفحه B به عنوان یک vote توسط صفحهA برای صفحه B بوسیله این، گوگل تشخیص می دهد توسط vote که کدام صفحه مهمتر است همچنین گوگل این صفحات را تجزیه و تحلیل می کند.