سیستم نمایشی شرکت طراحی سایت سنادیتا

ناگفته‌های الگوريتم‌ گوگل در هدایت وب

دوشنبه ۱۰ بهمن ۱۴۰۱ | 00:00874 بازدید

نویسنده: استیون لوی منبع: وایرد، فوریه 2010 ترجمه: کیومرث سلطانی

اشاره:
آیا می‌خواهید بدانید گوگل چه برنامه‌ای برای تغییر زندگی شما دارد؟ کافی است در یک صبح پنج‌شنبه به کنفرانس Ouagadougou‌ مراجعه‌كنيد. مکان این رویداد مانتين‌ويو در ايالت کالیفرنیا است؛ جایی که ساختمان‌های مرکزی قدرتمندترین شرکت اینترنتی دنیا قرار دارد. اتاقی که با تعدادی مهندس، مدیر ارشد و افراد اجرایی پر شده است كه سعی می‌کنند راه‌هايی پیدا کنند تا موتور جست‌وجوی‌ خود را از این نیز باهوش‌تر سازند.

آیا می‌خواهید بدانید گوگل چه برنامه‌ای برای تغییر زندگی شما دارد؟ کافی است در یک صبح پنج‌شنبه به کنفرانس Ouagadougou‌ مراجعه‌كنيد. مکان این رویداد مانتين‌ويو در ايالت کالیفرنیا است؛ جایی که ساختمان‌های مرکزی قدرتمندترین شرکت اینترنتی دنیا قرار دارد. اتاقی که با تعدادی مهندس، مدیر ارشد و افراد اجرایی پر شده است كه سعی می‌کنند راه‌هايی پیدا کنند تا موتور جست‌وجوی‌ خود را از این نیز باهوش‌تر سازند. امسال نیز گوگل چند‌صد پیشرفت مختلف را در رابطه با الگوریتم استثنایی خود به انجام رسانده است که هر کدام آن‌ها از دل چنین جلسه‌هایی بیرون‌آمده‌اند. تصمیم‌هاي گرفته‌شده در جلسه‌های هفتگي افزایش کیفیت جست‌وجوی گوگل باعث شد، تا نتایج دریافتی کاربر از جست‌وجوی مورد‌نظرش دچار تغییرات مثبتی شود. به‌اين ترتیب، شما می‌توانید با استفاده از گوگل به دنبال هر چیزی بگردید. از پرینتر SF-775p گرفته تا پایتخت بورکینافاسو که اتفاقاً نام آن با نام کنفرانس یکی‌است. اودی‌مَنبر که از سال 2006 مسئولیت بخش‌جست‌وجوی گوگل را برعهده‌دارد، این پیشرفت‌ها را رهبری‌می‌کند. تغییرات احتمالی یک‌به‌یک معرفی‌شده و نتایج حاصل از آزمايش چندین ماهه آن‌ها در کشورهای مختلف و با زبان‌های گوناگون ارائه می‌شود. یک نمایشگر تغییرات نتایج حاصل از پرس و‌جوهای ساده را قبل و بعد از انجام تغییرات به‌صورت پهلو‌به‌پهلو نشان‌می‌دهد. بعد از ظاهر‌شدن یکی از مثال‌ها که جست‌‌و‌جویی برای عبارت quitar center wah-wah بود، مَنبر اعتراف کرد‌، این جست‌و‌جو را خود وی انجام داده‌است.

ممکن است فکر کنید، پس از یک دهه موفقیت تجاری و سلطه بر بازار جست‌و‌جو، گوگل می‌تواند هم اکنون راحت ‌وآسوده باشد. هر چه باشد آن‌ها ۶۵‌ درصد از بازار جست‌و‌جو را در اختیار خود‌ دارند و تنها شركتي هستند که نام‌ آن‌ها به عنوان معادلي براي فعل جست‌و‌جو به کار‌می‌‌رود. اما درست همان‌طور که گوگل حاضر نیست زمانش را به استراحت در کاخ چند میلیاردی‌اش بگذارند، رقیبانش نیز حاضر به واگذاری رقابت و قبول شکست نیستند. برای سال‌ها یکه تاز دره‌سیلیکون با استفاده از الگوریتم مرموز و البته همه فن‌حريف خود سعی‌کرده مأموریتش یعنی سازماندهی اطلاعات جهان را به انجام‌رساند. اما در عرض پنج‌سال گذشته بعضی از شركت‌ها فرض اولیه و اصلی گوگل را به چالش کشیده‌اند و آن قبول این حقیقت است که یک موتور جست‌وجوی واجد‌شرايط با استفاده از پیشرفت‌های‌فناورانه و بهبود مداوم می‌تواند هر پرس‌وجوی ممکنی را پاسخ دهد. يك ‌شبكه‌اجتماعي یکی از نخستين مواردی بود که چنین حمله‌ای را آغاز كرد.آن‌ها نشان دادند، بعضی از افراد ترجیح می‌دهند اطلاعات مورد نیاز خود را از دوستانشان دریافت کنند تا اين‌كه آن‌ها را از‌طریق فرمول ناشناخته‌ای پیدا‌كنند.

شبکه‌های اجتماعی دیگر نیز از طریق تجزيه‌و‌تحليل ‌کردن مداوم به‌روز‌رساني‌ها مفهومی را با‌عنوان جست‌و‌جوی بي‌درنگ معرفی كرد‌ه‌اند، راهي براي ورود به آخرين گفت‌وگو به محض اين‌كه باز مي‌شود. همچنین پیدا‌کردن رستوران‌، خشکشویی و پرستار‌ کودک از طریق انبوه رتبه‌بندی‌های انجام‌شده در yelp بسیار راحت‌تر از حالت عادی است. هیچ کدام از این سایت‌ها به تنهایی تهدیدي جدی برای گوگل نيستند، اما مجموعه آن‌ها باعث می‌شود تا آینده جست‌و‌جو بازتر‌شده و بازیگران بیشتری در آن حضور داشته باشند، یعنی حالتی که دیگر در آن یک موتور واحد سلطه بازار را در اختیار ندارد، بلکه مجموعه چندین سرویس مختلف نیازهای کاربران را بر‌طرف مي‌كند.

با وجود تمام این‌ها بزرگ‌ترین تهدید گوگل در فاصله ‌850‌ ‌‌مایلی شمال آن قرار دارد: بینگ، موتور جست‌و‌جوی جدید و تازه‌‌نفس مایکروسافت که در ژوئن ماه‌گذشته به بازار عرضه‌شد‌، با نامي كه اكتشاف را به ذهن مي‌آورد. بينگ از زمان آغاز به‌كار نظر مثبت منتقدان را به خود جلب کرده است؛ وال استریت ژورنال بینگ را «جذب‌کننده‌تر از گوگل» خواند. ظاهر جدید به همراه کمپین تبلیغاتی صد‌میلیون دلاری مایکروسافت را قادر ساخت تا در بازار ایالات متحده سهم هشت درصدی خود را به يازده درصد افزایش دهد. رقمی که در صورت اجازه قانون‌گذاران برای اين‌كه بینگ فراهم‌آورنده سرویس جست‌و‌جوی یاهو شود، به دو برابر افزایش خواهد یافت. بینگ روی نمونه‌هاي‌كميابي متمرکز شده که الگوريتم‌هاي گوگل نمی‌تواند همیشه پاسخ‌گوی آن‌هاباشد. به عنوان مثال، گوگل در زمینه جست‌و‌جو روی بخش عمومی وب عملکرد بسیار عالی‌ دارد، اما به داده‌هایی که به‌طور‌مرتب در حال تغییر هستند، مانند برنامه‌پروازها و کرایه‌مسافرها دسترسي لحظه‌اي ندارد. به‌همین دلیل، مایکروسافت Farecast را خریداری كرد و یافته‌های آن را در نتایج به دست آمده در جست‌و‌جوی بینگ گنجاند؛ سایتی که قیمت بلیت‌های خطوط‌هوایی را به صورت مرتب پی‌گیری کرده و با استفاده از این داده‌ها می‌تواند بالا یا پایین رفتن قیمت را پیش‌بینی كند. همچنین آن‌ها تصاحب‌های مشابهی را در زمینه مسائل بهداشتی، مراجع و بخش‌های مربوط به خرید انجام داده و به‌اين‌ترتيب وارد حوزه‌ای شدند که الگوریتم گوگل در آن عملکرد مناسبی نداشته است.

"سينگال‌: «‌ممکن است فکر کنید که الگوریتم گوگل چیزی کمی بیشتر از یک موتور جست‌و‌جو است، اما اگر کمی صبر‌کرده وبه‌عمق موضوع وارد شويد می‌بینید که این موجود چه کارهایی که انجام نمی‌دهد!»"

حتی خود سازندگان بینگ نیز اعتراف مي‌كنند که وقتی نوبت به انجام وظایف ساده مانند انجام جست‌و‌جو روی یک عبارت و برگرداندن نتیجه مرتبط می‌رسد، گوگل هنوز هم خیلی ازآن‌ها جلوتر است. اما آن‌ها معتقدند، که اگر بتوانند در چندین حوزه معدود بینگ را قوی سازند، مردم عادت خواهند‌کردند که برای پرس‌و‌جوهای مختلف از موتورهای جست‌و‌جوی گوناگون استفاده كنند. برایان‌مک‌دانلد، معاون مایکروسافت در زمینه جست‌و‌جو در این‌باره‌می‌گوید‌: «الگوریتم در جست‌و‌جو بسيارمهم است، اما مهم‌ترين مسئله نيست، شما یک ماشین رابا معياري فراتر از موتور آن مي‌خريد.»پاسخ گوگل می‌تواند در چهار کلمه به‌عنوان يك مثال خلاصه شود: «‌Mike Siwek Lawyer Mi.»

آمیت سينگال، این عبارت را در جعبه جست‌و‌جو تایپ‌می‌کند‌. سينگال مردی متشخص و چهل و اندی ساله که یک هواخواه گوگل يا Google Fellow‌ است. این عنوان چهار سال قبل و برای تقدیر از بازنویسی موتور جست‌و‌جو در سال 2001 به وی اهدا شد. او کلید Enter را می‌فشارد. در زمانی که بهترین معیار برای آن سرعت بال زدن مرغ‌ مگس‌خوار است، صفحه‌ای پر از لینک‌های‌مختلف ظاهر‌می‌شود. نتایج بالایی صفحه به وکیلی با نام مایکل سیوک در گرندرپیدز میشیگان مربوط می‌شود. این جمله به‌نظر جست‌و‌جوی ساده‌ای ‌می‌آید. چیزی مشابه همان‌هایی که گوگل روزانه میلیاردها نمونه از آن را مدیریت می‌کند، اما در واقع جست‌و‌جوی موردنظر به‌روش فریب دهنده‌ای پیچیده است. به‌عنوان‌مثال،‌ همین کلمات‌را در بینگ تایپ‌کرده و نتیجه را مشاهده كنيد. نخستين نتیجه صفحه‌ای درباره بازیکنان لیگ NFL است که شامل نام Lawyer‌ Milloy می‌شود. با‌وجود ظاهر‌شدن چندین صفحه در نتایج هیچ اشاره مستقیمی بهSiwek وجود ندارد.

این مقایسه نشان‌دهنده قدرت و حتی هوش بالای الگوریتم گوگل است که می‌تواند درخواست جست‌و‌جو کننده را حتی اگر به بدترین شکل ممکن تایپ شده‌باشد، تفسیركند. گوگل این توانایی را کیفیت جست‌و‌جو می‌نامد. فرآيندي که باعث می‌شود بتوان نتایج دقیق را برای جست‌و‌جو بازگرداند و برای سال‌های متمادی شركت به‌دقت از آن محافظت کرده است. اما حال من در ساختمان شماره 43 آن‌ها، یعنی همان‌جایی که‌گروه اصلی جست‌و‌جو کار می‌کند، در کنار سينگال نشسته‌ام، زیرا گوگل فرصت یک بازدید کلی از مجموعه و توضیح اجمالی شیوه کار الگوریتم را برای من فراهم كرده است. معناي‌ نهفته در اين جمله‌ها روشن و واضح است‌: «‌ممکن است فکر کنید که الگوریتم گوگل چیزی کمی بیشتر از یک موتور جست‌و‌جو است، اما اگر کمی صبر‌کرده وبه‌عمق موضوع وارد شويد می‌بینید که این موجود چه کارهایی که انجام نمی‌دهد!»

داستان الگوريتم‌هاي گوگل
ماجراي الگوریتم گوگل با Page‌Rank آغاز شد. سیستمی که لری‌پیج یکی از مؤسسان گوگل در سال 1997 زمانی که دانشجوی تحصیلات تکمیلی استنفورد بود، ابداع كرد. ایده پیج که هم اکنون به دیدگاهی افسانه‌ای تبدیل‌شده‌، رتبه‌بندی صفحه‌ها بر‌اساس تعداد و اهمیت لینک‌هایی بود که به سوی آن‌ها ارجاع داده بودند. این باعث می‌شد تا گنجینه‌ای هوشمند از وب به دست آمده و مرتبط‌ترین سایت‌ها مشخص شود. این مفهومی ساده و قدرتمند بود و با رشد گوگل و تبدیل آن به موفق‌ترین موتور جست‌و‌جوی وب، پیج و دیگر مؤسس گوگل سرگی‌برین این ایده را به اساس فعالیت شرکت تبدیل كردند.

اما این تمام داستان نيست. منبر می‌گوید‌: «مردم بیشتر در‌باره Page Rank‌ می‌دانند، زیرا اين سيستم بیشتر از بقیه ملموس ‌است، اما چیزهای بسیار دیگری نیز در بهبود رابط لینک‌های ظاهر‌شده در صفحه نتایج نقش داشتند.» از جمله می‌توان به بهره‌گیری از تعدادی سیگنال مشخص و سرنخ‌های مفهومی اشاره كرد که موتور جست‌و‌جو را قادر می‌ساختند تا میلیون‌ها جواب ممکن را برای یک پرس‌و‌جو مرتب کرده و بهترین‌ها را زودتر نمایش دهند.

جست‌وجوی وب فرآيندي چند مرحله‌ای است؛ در مرحله اول، گوگل وب را می‌کاود تا محتوای هر سایت قابل دسترسی را شناسایی‌كند. این داده‌ها به یک نمايه تبدیل‌می‌شوند (چیزی شبیه نمايه کتاب که بر‌اساس کلمه‌ها سازماندهی می‌شود) که‌ راهی برای پیدا‌کردن هر صفحه‌ای بر‌اساس محتوای درونی آن است. هر‌بار که کاربر یک پرسش را تایپ می‌کند، نمايه تمام صفحه‌های مرتبط را بر‌اساس آن نمايه باز می‌گرداند. این‌فهرست معمولاً شامل صدها هزار و حتی میلیون‌ها نتیجه است. نکته اصلی کار، رتبه‌بندی این صفحه‌ها است تا مشخص شود کدام یک باید بالاتر به نمایش در‌بیایند.

این همان زمانی است که سیگنال‌های مفهومی به میدان‌می‌آیند. تمام موتور‌های ست‌و‌جو چنین چیزهایی را به‌کار می‌گیرند، اما هیچ یک مانند گوگل نبوده‌اند. زیرا یا تا این اندازه سیگنال به موتور جست‌و‌جویشان اضافه نکرده‌ یا نتوانسته‌اند به این خوبی ازآن‌ها بهره‌گیرند. خود Page Rank نیز یک‌سیگنال است؛ يك‌ ویژگی‌ از یک صفحه وب(در ‌این‌مورد میزان اهمیت آن‌هابه‌نسبت بقیه وب) که می‌تواند برای تعیین میزان مرتبط بودن یک صفحه وب به‌‌کار رود. بعضی از سیگنال‌ها هم‌اکنون مشخص و واضح به‌نظر‌می‌رسند. از همان ابتدا گوگل اهمیت ویژه‌ای برای عنوان یک صفحه وب قائل می‌شد. روش مهم دیگر بهره‌گیری از Anchor text‌ است؛ یعنی کلماتی که برای توضیح یک لینک از صفحه‌ای‌به‌صفحه‌دیگر‌ظاهر‌می‌شوند. همان‌طور که اسکات‌حسن یکی از معماران اولیه گوگل که در استنفورد با پیج و برین کار می‌کرد، مي‌گويد: «‌در نتیجه این عمل وقتی شما جست‌و‌جو را انجام می‌دهید صفحه درست برایتان به نمایش در‌می‌آید. حتی اگر آن صفحه به‌طور دقیق کلماتی را که شما در جست‌و‌جوی‌تان به آن اشاره كرديد شامل نشود. این قابليت توانایی بسيار‌جالبی است.» سیگنال‌ها‌ي بعدي شامل مشخصه‌هايي مانند تازگی( درباره ‌پرس‌و‌جوهاي خاص صفحاتی که جدیدتر درست شده‌اند،به احتمال با ارزش‌تر از قدیمی‌ترها هستند) و مکان (گوگل موقعیت جغرافیایی شما را تشخیص داده و نتایج محلی را برجسته‌تر مي‌سازد) می‌شود. این موتور جست‌و‌جو هم اکنون از چیزی نزدیک به دويست سينگال برای رتبه‌بندی بهتر نتایج سود می‌برد.

مهندسان گوگل متوجه شدند که بسیاری از سیگنال‌های مهم می‌تواند از داخل خود گوگل برخیزد. Page Rank به‌عنوان معیاری برای ورود پوپولیسم به موتورهای جست‌و‌جو یاد می شود: دموکراسی تشکیل شده از میلیون‌ها انسان که تصمیم می‌گیرند به چه چیزهایی در وب‌لینک بدهند. اما سينگال اشاره می‌کند که مهندسان آن‌ها در ساختمان شماره 43 به نوع دیگری از دموکراسی دست‌یافته‌اند. صدها‌میلیون جست‌و‌جو روی گوگل، داده‌ای که‌هنگام جست‌و‌جوی افراد تولید می‌شود روی چه نتایجی کلیک‌می‌کنند، وقتی از پرس‌و‌جوي ‌خود نتیجه دلخواه را نمی‌گیرند، چه کلماتی را در داخل آن جایگزین می‌کنند، چگونه پرس‌و‌جو‌ها با مکان فیزیکی‌شان تطبیق می‌یابد و به منبعی ارزشمند برای کشف سیگنال‌های جدید و بهبود مرتبط‌بودن نتیجه تبدیل مي‌شود. مهم‌ترین مثال مستقیم این فرآيند چیزی است که گوگل آن را جست‌و‌جوی شخصی‌شده می‌نامد. یعنی ویژگی‌ای که با استفاده از تاریخچه جست‌و‌جوهای یک نفر و مکان وی سیگنال‌هایی را برای مشخص كردن نتایجی که برای آن فرد مفید است تعيين مي‌كند. به صورت عمومی‌تر، گوگل با استفاده از میزان فراوان داده‌ای که جمع‌آوری کرده‌است، می‌تواند الگوریتمش را با پایگاه دانش‌محور عمیقی مجهز سازد. به‌اين ترتيب، می‌تواند دشوارترين پرس‌و‌جو‌ها را نیز تفسیر كند. برای مثال روشی را که موتور جست‌و‌جوی گوگل به وسیله آن کلمات هم‌معنی را تشخیص‌می‌دهد، در‌نظر‌بگیرید. سينگال می‌گوید: «ما نكته‌هاي ریزی را از همان ابتدا کشف‌کردیم. مردم کلمات را در پرس‌‌و‌جوهایشان تغییر می‌دهند. یک نفر ممکن است ابتدا «‌pictures of dogs» و بعد از آن «pictures of puppies» را جست‌و‌جو كند.این به ما نشان می‌دهد که به‌احتمال dog و puppy به یک مفهوم هستند. ما همچنین یاد‌گرفتیم که وقتی شما آب را می‌جوشانید، آن آب داغ است. مادر‌حال باز‌آموزي معاني از انسان‌ها بوديم و این پیشرفت بزرگی است.»

اما در این میان مشکلاتی نیز وجود دارد. سیستم هم‌معنی‌شناسی گوگل می‌تواند بفهمد که dog شبیه puppy بوده و آب جوشان داغ است. اما در همين حال، نتیجه‌گیری می‌کند که هات‌داگ به‌معنای یک puppy جوشان است! این مشکل در اواخر سال 2002 به كمك ابداع خیره‌کننده‌ای بر‌طرف شد. این روش بر‌پایه تئوری لودویگ ویتگنشتاین فیلسوف بزرگ اتریشی درباره اين‌كه واژه‌ها‌ چگونه در داخل یک متن‌تعریف‌می‌شوند، بنا شده است. گوگل با کاوش در میلیاردها سند و صفحه وب تحلیل‌كرد که چه کلماتی به یکدیگر نزدیک هستند. هات‌داگ در جست‌و‌جوهایی یافت شد که شامل نان، خردل و بازی بیس بال نیز بودند. این به الگوریتم کمک کرد تا درک كند که هات داگ و میلیون‌ها اصطلاح دیگر در‌واقع به چه معنایی‌هستند.

سينگال می‌گوید: «‌امروز اگر شما تایپ کنید Gandhi bio ما می‌دانیم که منظور شما بیوگرافی است و اگر تایپ کنید bio warfare ما متوجه می‌شویم که منظورتان بیولوژیکال بوده است.» در طول زمان، گوگل راه‌های مختلفی را برای اضافه کردن سیگنال‌های بیشتر بدون این‌که تجربه اصلی کاربرانش را دچار مشکل سازد، وضع کرده است. هر چند سال یکبار تغییری اساسی در سیستم به وجود می‌آید که چیزی مانند عرضه نسخه جدید ویندوز محسوب مي‌شود. اين موضوع در مانتين ويو مسئله بسيار مهمي به‌شمار‌مي‌آيد، هر چند به‌طور عمومي مطرح نمي‌شود. سینگال می‌گوید: «کار ما در واقع تعویض موتور هواپیمایی است که با سرعت هزار کیلومتر در ساعت و در ارتفاع سي‌هزار‌پايي بالای زمین پرواز می‌کند.» در سال ۲۰۰۱ و با پیشروی خیره‌کننده وب، سینگال به‌طور عملي الگوریتم اصلی پیچ و برین را دچار تغییری اساسی ساخت تا به‌اين وسیله بتوان سیگنال‌های جدید را به سرعت در سیستم اضافه كرد (یکی از نخستين سیگنال‌های سیستم جدید تمایز بین صفحه‌های تجاری و غیرتجاری بود تا به‌اين‌ترتيب جست‌وجوکنندگانی که به دنبال خرید کردن هستند، نتایج بهتری دریافت کنند). در همان سال مهندسی با نام کریشنا بهارات متوجه شد که لینک های سایت های معتبر باید وزن بیشتری داشته باشند و به‌اين ترتیب سیگنالی قدرتمند را برای اعطای اعتبار بیشتر به مراجع سایت‌های خبره در نظر گرفت (این به اولین حق اختراع ثبت شده گوگل تبدیل شد). آخرین تغییر عمده سیستم که با اسم رمز کافئین شناخته می‌شود سیستم نمايه‌گذاری را به‌طور کلی دچار تغییر ساخت تا اضافه کردن سیگنال‌ها برای مهندسان از قبل نیز آسان‌تر شود.

گوگل به خلاقيت در زمينه انجام چنين تغييرات مهمي مشهور است. اين شركت هر سال نمایشگاه‌های دموی داخلی با عنوان CSI (‌سرنام Crazy Search Ideas‌) برگزار می‌كند که در آن تلاش می‌شود تا ایده‌های از نظر‌دور مانده، اما کارآمد مورد بررسی قرار‌گیرد. اما دربيشتر مواقع فرآيند توسعه به شکل دیگری دنبال می‌شود. گوگل سعی می‌کند با زیر و رو‌کردن نتایج بد درک کند که چه‌چیزی در این بین اشتباه عمل‌کرده است. سال‌ها قبل، یکی از جست‌و‌جوهاي موفق به افسانه‌ای تبدیل شد‌: زمانی در سال 2001، سينگال متوجه شد که کاربران وقتی نام Audrey fino را جست‌و‌جومي‌كنند، نتایج ضعیفی دریافت می‌کنند. گوگل در نتیجه این جست‌و‌جو تعدادی سایت ایتالیایی را بر‌می‌گرداند که آدری‌هپبرن (هنرپیشه مشهور) را تحسین می‌کردند( fino درزبان ایتالیایی به معنای مناسب و خوب است). سينگال مي‌گويد: «ما دريافتيم كه اين درواقع نام يك فرد است. ما خیلی ساده دارای هوش کافی در درون سیستم نبودیم.»

شکست ناشی از جست‌و‌جوی Audrey Fino باعث شد تا سينگال درخواستی‌ را برای بهبود شیوه برخورد سیستم با نام‌ها ارائه دهد که نزدیک به هشت درصد از تمام حجم جست‌و‌جوها را به خود اختصاص‌می‌دهند. برای این ‌کار او مجبور بود که از یک‌روش‌‌قوی شکستن bi-gram استفاده‌كند که به معنای شکستن کلمه‌ای چند قسمتی به اجزایی ساده‌تر است. به‌عنوان‌مثال، نیویورک از دو کلمه تشکیل‌شده‌است که همراه هم‌می‌آیند(bi-gram). همچنین نیویورک‌تایمز از سه کلمه تشکیل‌شده‌ که آن‌ها نیز همراه هم‌می‌‌آیند، اما معنای ‌آن‌ها با نیویورک‌ تنها به کلی‌متفاوت است و همه این‌ها وقتی کلمه به میدان نیویورک تایمز تبدیل می‌شود، تغییر می‌كند. انجام این تفکیک‌ها برای انسان امری به‌نسبت آسان است، اما گوگل از آن شركت‌هايي نيست كه در آن هزاران پارتيشن چوبي براي كارمندان خود درست كرده و متكي بر آن‌ها باشد. بلکه سعی دارد تا به جای انسان‌ها به الگوریتم‌ها تکیه كند. پرس و‌جوی مایک سیوک نشان داد، گوگل چگونه می‌تواند به این امر دست یابد. وقتی سينگال دستوری را تایپ کرد که کدتوليد شده برای هر جست‌و‌جو را نشان می‌داد، مشخص شد که چه سیگنال‌هایی موجب انتخاب لینک‌های بالایی می‌شوند. رابطه‌هایی که نشان می‌دهند مورد جست‌و‌جو اسم، هم معنی یا مکان جغرافیایی است. سينگال توضیح می دهد‌: «در واقع پرس‌و‌جو از نقطه نظر مهندسی شکسته می‌شود. به‌اين‌ترتیب معناي اولیه هر پرس و جو مشخص می‌شود.»

این واقعیتی بود که از دل موتور جست‌و‌جوی گوگل و داده‌های جمع‌آوری شده از جست‌و‌جوهای انجام شده در آن بر‌می‌خواست. Rock و Stone هر دو به معنای سنگ هستند. حتی اگر اولی را به صورت Rokc نیز بنویسید، هنوز منظورتان همان سنگ خواهد بود. اما اگر یک Little به آن اضافه‌كنيد آن‌وقت به Little Rock تبديل‌می‌شود که مرکز ایالت آرکانزاس‌است. سينگال معتقد است: «رمز موفقیت جست‌و‌جو این است که درک کنید کاربر چه‌چیزی می‌خواهد. آن وقت دیگر کلمات را تطابق نمی‌دهید، بلکه معانی را تطابق می‌دهید.» و گوگل به پیشرفت خود ادامه می‌دهد. به‌تازگي یکی از مهندسان جست‌و‌جوی گوگل با نام مورین هیمنز مشکلی را در‌رابطه با جست‌و‌جوی Cindy Louise Greenslade کشف‌كرد. الگوریتم می‌فهمید که باید دنبال یک شخص بگردد که در این مورد خاص یک روان‌شناس در گاردن گرو کالیفرنیا بود، اما نمی‌توانست صفحه شخصی گرین اسلید را در ده جست‌و‌جوی برتر نمایش دهد. هیمنز فهمید، دلیل اين‌كه گوگل صفحه شخصی گرین‌اسلید را كه نتیجه‌ای مرتبط است به پایین می‌فرستد، این است که وی تنها از نام میانی مخفف خود استفاده می‌کند و نه نام میانی کامل مثل آن‌چیزی که در جست‌و‌جو آمده است. هیمنز می‌گوید‌: «ما باید باهوش‌تر از این باشیم.‌» به اين‌ترتیب، وی سیگنالی را برای نگاه‌کردن نام مخفف میانی اضافه كرد و هم‌ اکنون صفحه شخصی گرین‌اسلید پنجمین نتیجه است.
پیشرفت‌های کلیدی در جست‌و‌جوی گوگل

الگوریتم جست‌و‌جوی گوگل همواره در حال بهبود است و به‌طور مداوم برای کسب نتایجی با کیفیت بالاتر بازبینی می‌شود. در جدول زير فهرستي از مهم‌ترین تغییرات انجام شده روی این الگوریتم را از زمان ظهور رتبه‌بندی صفحه‌ها مشاهده مي‌كنيد.

Backrub
(سپتامبر 1997) الگوریتم جدید
(آگوست ۲۰۰۱) تحلیل اتصال محلي
(فوريه2003) Fritz
(تابستان ۲۰۰۳) شخصي‌سازي ‌نتايج
(ژوئن2005) Bigdaddy
(دسامبر ۲۰۰۵) جست‌وجوی یونیورسال
(می ۲۰۰۷ ) جست‌وجو در لحظه
(دسامبر ۲۰۰۹)

موتور جست‌و‌جویی که برای نزدیک به دو سال روی سرورهای استنفورد اجرا می‌شد، نام خود را به گوگل تغییر داد. نوآوری اساسی آن ‌رتبه‌بندی صفحه‌ها بر‌اساس تعداد و کیفیت لینک‌های ارجاعی است.

 الگوریتم جست‌و‌جو به طور‌کلی مورد بازبینی قرار گرفت تا بتواند به راحتی از معیارهای الحاقی رتبه‌بندی سود برد.

 نخستين حق اختراع گوگل در این رابطه ثبت شد. این ویژگی وزن بیشتری را به لینک‌های موجود در
سایت‌های معتبر اختصاص می‌دهد.

 این ابتکار به گوگل امکان داد تا بتواند به‌جای به‌روزرساني‌هاي بزرگ دسته‌ای، نمايه خود را به صورت مرتب به‌روز كند.

 کاربران می‌توانند گوگل را طوری تنظیم كنند که بتواند رفتار جست‌و‌جوی مورد‌نظر آن‌ها را پیاده‌سازی‌كند. با این کار نتایج مخصوص هر نفر می‌تواند حاصل شود.

 به روز رسانی موتور باعث شد تا گوگل بتواند جست‌و‌جویی مفهومی‌تر را در وب انجام دهد.

 قابليت جست‌و‌جوي فراگير ( Universal Search) كه بر پايه قابليت‌هاي جست‌و‌جوي تصاوير، اخبار و كتاب شركت گوگل ساخته شده است، کاربر را قادر می‌سازد تا لینک مورد ‌نظر خود را در‌ هر رسانه‌اي در یک صفحه نتایج واحد مشاهده كند.

نمایش نتایج از شبکه‌های اجتماعی
و‌بلاگ‌ها پس از انتشار آن‌ها.

در هر زمانی چندین نمونه از این تغییرات در یک فرآيند آزمايش دقیق قرار می‌گیرند. گوگل صدها نفر را در سرتاسر دنیا استخدام کرده‌ است که در خانه‌هایشان نشسته و نتایج جست‌و‌جوهای مختلف را ارزیابی می‌كنند. به‌اين‌ترتيب، مشخص می‌شود که آیا تغییرات باعث بهبود نتایج شده‌اند یا آن‌هارا بدتر کرده‌اند. اما در واقع گوگل دارای یک ارتش بزرگ از آزمايش‌کننده‌ها است. میلیاردها کاربری که به صورت مجازی هر کدام از آن‌ها در حال شرکت‌مداوم در آزمايش‌کیفیت نتایج جست‌و‌جوها هستند. هر زمان که مهندسان تصمیم به امتحان یک تغییر می‌گیرند، ابتدا آن را روی درصد کوچکی از کاربران که به صورت تصادفی انتخاب شده‌اند، اعمال کرده و بقیه جست‌و‌جوکنندگان را به عنوان گروه کنترل در نظر‌می‌گیرند. با توجه به اين‌كه تعداد تغییراتی که باید آزمايش‌شوند، بسیار زیاد است گوگل از این روش علمی سنتی که در هر زمان تنها یک آزمایش باید صورت گیرد تبعیت نمی‌کند.

پاتریک رایلی مهندس کیفیت جست‌و‌جو در این‌باره می‌گوید: «تقریباً در بيشتر جست‌و‌جو‌های گوگل، شما در چندین گروه کنترل و آزمایش به صورت همزمان قرار دارید.» وي ادامه می‌دهد:«‌در‌اصل، تمام پرس‌و‌جو‌ها به نوعی درگیر یک آزمايش هستند.» به بیان دیگر، هر وقت در حال جست‌و‌جو روی گوگل هستید، از شما به عنوان یک موش آزمایشگاهی استفاده می‌شود.

انعطاف‌پذیری، یعنی توانایی اضافه‌کردن سیگنال‌ها، تغییر کد زیرین و آزمايش‌ مرتب نتایج، دلیلی است که گوگلی‌ها با آن ادعا می‌کنند درهر گونه رقابتی از جانب بینگ یا شبکه‌های اجتماعی موفق خواهند بود‌. در واقع در عرض شش‌ماه گذشته بیش از دويست تغییر را در سیستم آن‌ها ایجاد کرده‌ که بعضی ازآن‌ها تقلیدی از رقبا است (‌گوگل می‌گوید، این تنها یک حادثه بوده است وآن‌ها مرتب هرساله ویژگی‌هایی را به سیستم اضافه می‌کنند).

یکی از این‌موارد سیستم جست‌و‌جوی بي‌درنگ است‌که پس از گفته چند ماه قبل لری پیج در رابطه با اين‌كه گوگل باید بتواند تمام وب را در هر ثانیه اسکن كند، به مرحله اجرا درآمد. وقتی یک نفر جست‌و‌جوی مورد نظرش را در گوگل تایپ می‌کند، در کنار ده لینک آبی رنگ صفحه نخست گوگل یک جعبه با عنوان Latest Results نیز اضافه‌کرده است که در آن مجموعه‌ای از پست‌های تازه ارسال‌شده توسط منابع‌خبری، وبلاگ‌ها یا شبکه‌های اجتماعی را به نمایش در می‌آورد.

در این‌‌موارد نیز گوگل با استفاده از سیگنال‌ها مطمئن می‌شود که تنها مرتبط‌ترین موارد به نمایش در می‌آیند. سينگال می‌گوید: «ما به‌موارد مختلفی مانند توجه افراد به آن پست یا تولید شدن آن توسط انسان یا ماشين توجه می‌کنیم و ادامه می‌دهد این کاری است که می‌دانیم چگونه انجامش دهیم، زیرا برای یک دهه آن را به بهترین نحو اجرا کرده‌ایم.»

همراه با جست‌و‌جوی در لحظه، گوگل ویژگی‌های جدید دیگری را نیز ‌معرفی‌كرده‌است. از جمله سرویسی به نام Goggles که با تصاویر گرفته‌شده توسط دوربین کاربران مانند پرس و جوهای جست‌و‌جورفتار مي‌كنند. تمام این‌ها بخشی از حرکت بدون توقف شركت برای حضور همیشگی و تمام و کمال جست‌و جو برای کاربران است. با دوربین و توانایی تشخیص صدا، اسمارت‌فون‌های امروزی به چشم و گوش تبدیل‌شده‌اند. اگر سیگنال درست پیدا شود، هر چیزی می‌تواند درقالب پرس و‌جوها دسته‌بندی شود.

تنها گوگل مي‌داند
قدرت محاسباتی و پهنای باند بالای گوگل به شركت برتری غیر‌قابل‌انکاري هدیه‌کرده‌است. بعضی از کارشناسان بازار می‌گویند، این همان مزیتی است که باعث می‌شود شرکت‌های تازه وارد امکان رقابت را از دست بدهند، اما منبر می‌گوید: «‌‌فقط زیرساخت نيست‌که گوگل را رهبر بازار ساخته، بلکه‌ مهم‌ترین و اساسی‌ترین عامل تمام این مسائل استخدام افراد مناسب است.»

شكل 1- اودی مَنبر شكل 2- آمیت سینگال

از تمام جهات کی‌لو یکی از این افراد محسوب می‌شود. منبر که با این دانشمند 48 ساله علوم کامپیوتر در یاهو نیز همکار بوده است، در‌مورد وی می گوید: «من بیشترین احترام را برای وی قائلم.» اما لودوسال قبل گوگل را به مقصد مایکروسافت ترک‌ كرد تا رهبری تیم بینگ را بر‌عهده‌گیرد. وقتی از او درباره مأموریتش سؤال می‌شود، لو ریز‌اندام که شلوار جین و تی‌شرت بینگ را به‌تن دارد، با مکث کوتاهی جواب می‌دهد، بسیار مهم است که به یاد داشته باشیم، این سفری طولانی‌مدت است. نگاهی در چشمان لو وجود دارد که فریاد می‌زند، من از اینجا نخواهم رفت. چیزی مشابه نگاه اوما ترمن در فیلم بيل را بكش.»

در واقع، شركتي که جنگ مرورگرها را در دهه گذشته به سود خود پایان داد، سعی می‌کند تا بهترین عملکرد ممکن را ارائه دهد. همراه با قطعیتی که در نهايت در یک‌زمان مردم نیازهایی فراتر از آن چیزی که الگوریتم گوگل برایشان فراهم می‌کند، پیدا خواهند كرد. هری شوم مسئول بخش توسعه جست‌و‌جو در مایکروسافت در این‌باره می‌گوید: «‌اگر‌تغییری در پارادایم ایجاد نشود، رقابت با رهبران فعلی بسیار دشوار خواهد بود.» و ادامه می‌دهد: «اما از دید ما چنین تغییر پارادایمی رخ خواهد داد.» با این حال حتی در صورتی که چنین تغییری پیش‌آید، به‌احتمال الگوریتم گوگل نیز می‌تواند با آن هماهنگ شود.

به همین دلیل است که گوگل رقیب ترسناکی محسوب می‌شود. آن‌ها ماشینی تا آن حد قدرتمند ساخته‌اند که بتواند هر‌تهدیدی را از جانب رقبا از خود دور‌كند.تمام این‌ها با بازگرداندن نتیجه‌ای با کیفیت بالا همراه می‌شود که از عهده رقبا بر‌نمی‌آید. هرفردي می‌تواند ایده‌ای جديد را برای یک روش جدید خرید بلیت هواپیما ارائه دهد. اما فقط گوگل است که می‌داند چگونه مایک سیوک را پیدا كند.

منبع : مجله شبکه