தேடுபொறி உகப்பாக்கம்

1990-களின் மத்தியில் தேடுபொறிகளுக்காக வலைத்தலைமைகளும் (Webmasters), உள்ளடக்கத் தரவு வழங்குனர்களும் வலைத்தளங்களைத் துல்லியப்படுத்த ஆரம்பித்தார்கள், ஆரம்பகால தேடுபொறிகள் காலத்தின் அடிப்படையில் முன்னால் உருவாக்கப்பட்ட வலைத்தளங்களை முன்னால் பட்டியலிட்டு வந்தன. தொடக்கத்தில், ஒரு வலைத்தலைமையானது ஒரு பக்கத்தின் முகவரியை பல்வேறு தேடுபொறிகளுக்கும் அனுப்ப வேண்டியதிருந்தது, அவை அந்த பக்கத்தைப் பார்வையிடவும், அதிலிருந்து பிற பக்கங்களுக்கான இணைப்புகளைப் பிரித்தெடுக்கவும் ஒரு உளவியை (spider) அனுப்பின, மேலும் அந்த பக்கத்தை உள்ளடக்கத்தில் சேர்க்க அந்த பக்கத்தில் காணப்பட்ட தகவலை திருப்பி அனுப்பின.^[2] இந்தச் செயல்முறையில், ஒரு தேடுபொறியின் உளவியானது ஒரு பக்கத்தைப் பதிவிறக்கம் செய்து, தேடுபொறியின் சொந்த வழங்கியில் (server) சேமித்து வைக்க வேண்டிய அவசியத்தை ஏற்படுத்தி இருந்தது. மேலும் இவ்வாறு சேமித்து வைக்கப்படும் இடத்தில், உள்ளடக்க நிரல் (indexer) எனப்படும் மற்றொரு நிரல், இந்த பக்கத்தில் இருந்து பல்வேறு தகவல்களைப் பிரித்தெடுக்கும். அதாவது அதில் இருக்கும் வார்த்தைகளையும் இவை எங்கே இடம் பெற்றிருக்கின்றன என்ற தகவல்களையும் அத்துடன் குறிப்பிட்ட வார்த்தைக்கு வேறேதேனும் முக்கியத்துவம் உண்டா என்ற தகவல்கள், மற்றும் பிந்தைய தேதியில் பார்ப்பதற்காக ஒரு காலச்செயலாக்கியில் (scheduler) போடப்படும் அந்த பக்கத்தின் ஏனைய இணைப்புகள் போன்றவற்றைப் பிரித்தெடுத்துச் சேமித்து வைக்கும்.

வலைத்தள உரிமையாளர்கள் தங்களின் தளங்கள் உயர்ந்த மதிப்பீட்டையும், தேடுபொறிகள் அளிக்கும் முடிவுகளிலும் இடம் பெற வேண்டியதன் மதிப்பையும் உணரத் தொடங்கினார்கள், இது வெண்தொப்பி மற்றும் கருந்தொப்பித் தேடுபொறி உகப்பாக்கம் ஆகிய இரண்டு பயிற்சியாளர்களுக்கும் வாய்ப்பை உருவாக்கி அளித்தது. இத்தொழில் வல்லுனரான டேனி சுலிவன் கருத்துப்படி, தேடல் பொறி உகப்பாக்கம் என்ற இந்தச் சொல் 1997-ல் பயன்பாட்டிற்கு வந்தது.^[3]

தேடும் படிமுறைகளின் ஆரம்பகால பதிப்புகள், குறிச்சொல்லின் முதன்மை சொல், அல்லது ALIWEB போன்ற பொறிகளில் இருந்த உள்ளடக்க கோப்புகள் வலைத்தலைமை அளித்த தகவலின் அடிப்படையிலேயே அமைந்திருந்தன. முதன்மை சொல் ஒவ்வொரு பக்கத்தின் உள்ளடக்கத் தரவுக் குறித்தும் ஒரு வழிகாட்டுதலை வழங்கும். ஆனால் பக்கங்களைப் பட்டியலிட முதன்மை தரவைப் பயன்படுத்துவதில், நம்பகத்தன்மை குறைந்து காணப்பட்டது, ஏனென்றால் முதன்மை சொல்லில் இருக்கும் வலைதலைமையின் குறிச்சொற்கள் தேர்வு, வலைத்தளத்தில் இருக்கும் உள்ளடக்க தரவுடன் துல்லியமாக பொருந்துவதாக இருக்காது. முதன்மை சொற்களில் இருக்கும் துல்லியமில்லாத, முழுமையில்லாத, மற்றும் பொருத்தமில்லாத தரவானது, பக்கங்களை தேடுதலுக்கு ஒத்த வரிசைப்பாட்டில் (rank) கொண்டு வராது அல்லது கொண்டு வராமல் செய்ய கூடும்.^[4] வலைத்தள உள்ளடக்கத் தரவு வழங்குனர்களும், தேடுபொறிகளின் வரிசைப்படுதலில் சிறந்த இடத்தைப் பிடிக்கும் முயற்சியில் ஒரு பக்கத்தில் இருக்கும் HTML மூலக்குறியீட்டு பண்புகளில் சூழ்ச்சி செய்தார்கள்.^[5]

ஒரு வலைதலைமையின் தனித்த கட்டுப்பாட்டில் இருக்கும் குறிச்சொற்களின் எண்ணிக்கை போன்ற நிறைய காரணிகளோடு சம்பந்தப்பட்டதால், ஆரம்பகால தேடுபொறிகள் பல்வேறு தவறான கையாளுகைகளாலும், வரிசைப்படுத்தல் (ranking) குழப்பங்களிலும் மாட்டி கொண்டிருந்தது. தங்களுடைய பயனர்களுக்கு சிறந்த முடிவுகளை அளிப்பதற்காக, கொள்கையில்லாத வலைத்தலைமைகளால் எண்ணிறைந்த குறிச்சொற்களுடன் வரும் பொருத்தமில்லாத பக்கங்களைக் காட்டாமல், மிகவும் பொருத்தமான தேடுதல் முடிவுகளே தங்கள் முடிவு பக்கங்களில் வரும் என்பதை உறுதிப்படுத்த வேண்டிய நிலைக்கு தேடுபொறிகள் தள்ளப்பட்டன. தேடுபொறிகள் அளிக்கும் முடிவுகள் தவறாக இருந்தால், பயனர்கள் வேறு தேடுதளங்களுக்கு சென்று விடுவார்கள் என்பதால், கொடுக்கப்பட்ட எந்த தேடுதலுக்கும் மிகவும் பொருத்தமான முடிவுகளைத் தருவதில் தான் ஒரு தேடுபொறியின் வெற்றியும் அதன் பிரபலத்தன்மையும் அடங்கி இருக்கிறது. இதனால் வலைத்தலைமைகளின் மோசடியை மிகவும் கடினமாக்கும் வேறுசில கூடுதல் காரணிகளைக் கணக்கில் எடுத்து, தேடுபொறிகள் மிகவும் சிக்கலான வரிசைப்படுத்தல் படிமுறைகளை (ranking algorithms) உருவாக்கின.

ஸ்டேன்போர்டு பல்கலைக்கழக பட்டதாரி மாணவர்களான லாரி பேஜ் மற்றும் சேர்ஜி பிரின் இருவரும் "பேக்ரப்" (backrub) என்பதை உருவாக்கினார்கள், இது வலைப்பக்கங்களின் முக்கியத்துவத்தின் அடிப்படையில் வரிசைப்படுத்தும் ஒரு கணித படிமுறை சார்ந்த தேடுபொறியாகும். பேஜ்தரம் (PageRank) என்ற படிமுறையால் கணக்கிடப்பட்ட எண்ணிக்கை, அவற்றில் இருக்கும் தொடுப்புகளின் (link) தரம் மற்றும் வலிமையின் செயல்பாட்டைப் பொறுத்திருக்கும்.^[6] வலையகத்தில் மாறிமாறி உலாவி வரும் ஒரு வலை பயனரால் விரும்பப்படும் ஒரு பக்கத்தை இந்த பக்க வரிசைப்பாடு மதிப்பிடுகிறது, பிறகு ஒரு பக்கத்தில் இருந்து மற்றொரு பக்கத்திற்குத் திரிகளைத் தொடர்ந்து செல்கிறது. நடைமுறையில், ஒருசில திரிகள் மற்றவற்றைவிட வலுவாக இருக்கின்றன என்பதையும், பக்க வரிசைப்பாட்டில் முதன்மை பெற்ற பக்கம் வலை பயனரால் மாறிமாறி உலாவும் போது அப்பக்கம் அதிகளவில் எட்டப்பட்டிருந்தது என்பதையுமே இது குறித்தது.

பேஜ் மற்றும் பிரின் 1998-ல் கூகுளை உருவாக்கினார்கள். வளர்ந்து வந்த இணையப் பயனர்களிடையே கூகுள் பெரும் வரவேற்பைப் பெற்றது, இவர்கள் கூகுளின் எளிமையான வடிவமைப்பை விரும்பினார்கள்.^[7] வலைப்பக்கத்தில் இருக்கும் காரணிகளை மட்டும் கருத்தில் கொண்டு தங்களின் வரிசைப்படுத்தல்களை அமைத்து கொண்டிருந்த தேடுபொறிகளில் இருந்த குழப்பங்களைத் தவிர்க்க கூகுள், வலைப்பக்கத்தில் இருக்கும் காரணிகளுடன் (குறிச்சொல்லின் பயன்பாட்டு எண்ணிக்கை, முதன்மை சொற்கள், தலைப்பு வாக்கியங்கள், இணைப்புகள் மற்றும் வலைத்தள வடிவமைப்பு போன்றவை) வலைப்பக்கத்தில் இல்லா காரணிகளையும் (பக்க வரிசைப்பாடு மற்றும் வலைத்தொடுப்பு பகுப்பாய்வு போன்றவை) சேர்த்து கொண்டது. பக்க வரிசைப்பாடு மிகவும் சிக்கலானது என்ற போதினும், வலைத்தலைமைகள் ஏற்கனவே தொடுப்பு உருவாக்கும் கருவிகளையும், Inktomi தேடுபொறியில் ஆதிக்கம் செலுத்தும் திட்டங்களையும் (schemes) உருவாக்கிவிட்டிருந்தார்கள், இந்த முறைகள் பக்க வரிசைப்பாட்டு விளையாட்டைப் போலவே அதனோடு பொருந்தி வந்தது. பல வலைத்தளங்கள் இணைப்புகளை வாங்குவதும், பரிமாறி கொள்வதும், விற்பதுமாக இருந்தன, அதுவும் இது பெரும் அளவில் அதிகமாக நடந்து கொண்டிருந்தது. இந்த திட்டங்கள் அல்லது தொடுப்பு தொகுப்புகளில் சில, முழுமையாக தொடுப்பு மோசடிக்காகவே ஆயிரக்கணக்கான வலைத்தளங்களை உருவாக்குவதில் ஈடுபட்டன.^[8]

2004 வாக்கில், தொடுப்பு மோசடிகளின் விளைவுகளைக் குறைப்பதற்காக தேடுபொறிகள் அவற்றின் வரிசைப்படுத்தல் படிமுறையில் பல்வேறு வெளியிடப்படாத காரணிகளை உள்ளடக்கி இருந்தன. 200-க்கும் மேற்பட்ட சமிக்ஞைகளைப் பயன்படுத்தி வலைத்தளங்களைப் பட்டியலிடுவதாக கூகுள் தெரிவிக்கிறது.^[9] கூகுள் மற்றும் யாகூ போன்ற முன்னணி தேடுபொறிகள், வலைப்பக்கங்களைப் பட்டியலிடுவதற்கு அவை பயன்படுத்தும் படிமுறைகளை வெளியிடுவதில்லை. ரேண்ட் பிஸ்கின், பேரி ஸ்கூவார்ட்ஜ், ஆரோன் வால் மற்றும் ஜில் வேலென் போன்ற பிற SEO-க்கள், தேடல் பொறி உகப்பாக்கத்திற்கான பல்வேறு அணுகுமுறைகளை ஆராய்ச்சி செய்திருக்கின்றன, அத்துடன் இணைய பேரவைகளிலும், வலைப்பதிவுகளிலும் அவற்றின் கருத்துக்களைப் பதிவு செய்திருக்கின்றன.^[10][11] SEO பயிற்சியாளர்களும் படிமுறைகளின் ஆழத்தைத் தெரிந்து கொள்வதற்காக பல்வேறு தேடுபொறிகள் கொண்டிருக்கும் காப்புரிமைகளை ஆய்வு செய்கின்றன.^[12]

2005-ல், கூகுள் ஒவ்வொரு பயனருக்கும் ஏற்ப தேடு முடிவுகளைப் பிரத்யேகப்படுத்த ஆரம்பித்தது. பயனர்களின் முந்தைய தேடல்களின் வரலாற்றை அடிப்படையாக கொண்டு, உள்நுழைந்திருக்கும் பயனருக்கான முடிவுகளை வரையறுத்தது.^[13] பிரத்யேக தேடுதல் வந்துவிட்டதன் காரணமாக "வரிசைப்படுத்தும் முறை செத்துவிட்டது" என்று 2008-ல் புரூஸ் கிளே தெரிவித்தார். ஒவ்வொரு பயனருக்கும், ஒவ்வொரு தேடலின் போதும் பட்டியிலில் ஒரு வலைத்தளத்தின் மதிப்பு வேறுவேறாக இருக்கும் என்பதால், ஒரு வலைத்தளம் எவ்வாறு பட்டியலிடப்படுகிறது என்று விவாதிப்பது அர்த்தமற்றது என்று அவர் தெரிவித்தார்.^[14]

பக்க வரிசைப்பாட்டைப் பரிமாறும் கட்டண தொடுப்புகளுக்கு எதிராக 2007-ல் கூகுள் ஓர் அறிவிப்பை வெளியிட்டது.^[15] தொடுப்புகளில் பின்தொடரகூடாப் பண்புகளைப் (nofollow attibute) பயன்படுத்தி, பக்க வரிசைப்பாடு வடிவமைப்பில் விளைவுகளைக் குறைக்க நடவடிக்கை எடுக்கப்பட்டிருப்பதாக 2009 ஜூன் 15-ல் கூகுள் அறிவித்தது. கூகுளின் பிரபல மென்பொருள் வல்லுனரான மேட் கட்ஸ், பக்க வரிசைப்பாடு வடிவமைப்பு^[16] செய்வதற்காக SEO-க்கள் பின்தொடரக்கூடா பண்பைப் பயன்படுத்துவதைத் தடுப்பதற்காக, கூகுள் போட் (Google Bot) இனி பின்தொடரப்படா தொடுப்புகளை (nofollowed links) அதே முறையில் கையாள போவதில்லை என்று அறிவித்தார். இந்த மாற்றத்தின் விளைவாக, பின்தொடரக்கூடா பண்பின் பயன்பாடு பக்க வரிசைப்பாட்டின் மறைவிற்கு இட்டு செல்கிறது. இதை தடுப்பதற்காக, SEO-க்கள் மாற்று நுட்பங்களை உருவாக்கினார்கள், அது பின்தொடரப்படாக் குறிச்சொற்களுக்கு (nofollowed tags) பதிலாக குழப்பும் ஜாவாஸ்கிரிப்டைப் பயன்படுத்தும், இதனால் பக்க வரிசைப்பாடு வடிவம் தொடர்ந்திருக்கும். இதுதவிர, iframes, ஃப்ளாஷ் மற்றும் ஜாவாஸ்கிரிப்ட் பயன்படுத்துவது உட்பட பல்வேறு தீர்வுகளும் பரிந்துரைக்கப்பட்டன.^[17]

தேடுபொறி முடிவுகளை மேலும் சிறப்பமைக்க தமது அனைத்து பயனர்களின் வலைத்தள தேடு வரலாற்றைப் பயன்படுத்தப் போவதாக டிசம்பர் 2009-ல் கூகுள் அறிவித்தது^[18].

தேடுபொறி முடிவுகளில் குறுகிய காலத்தில், பொருத்தமானதைப் பெறச் செய்யும் ஒரு முயற்சியில் 2009-ன் பின்பகுதியில் கூகுள் நிகழ்நேரத் தேடல் அறிமுகப்படுத்தப்பட்டது. அனுபவம் வாய்ந்த வலைத்தள நிர்வாகிகள், தேடுபொறி பட்டியலில் ஒரு வலைத்தளத்தை முன்னிலைக்கு கொண்டு வர, பல மாதங்கள் அல்லது பல ஆண்டுகள் கூட துல்லியப்படுத்தலில் செலவிட்டார்கள். சமூக ஊடக வலைத்தளங்கள் மற்றும் வலைப்பதிவுகளின் பிரபலத்தன்மையின் வளர்ச்சியால், தேடுபொறி முடிவுகளுக்குள் புதிய உள்ளடக்க தரவுகளையும் விரைவாக பட்டியலிட செய்யும் வகையில் முன்னணி தேடுபொறிகள் தங்கள் படிமுறைகளில் மாற்றத்தை ஏற்படுத்தின.^[19] தேடுதலுக்கான இந்த புதிய அணுகுமுறை சமகாலத்திய, புதிய மற்றும் தனித்துவ உள்ளடக்க தரவுகளின் முக்கியத்துவத்தையும் முன்னிறுத்துகிறது.

1997 வாக்கில், தேடுபொறிகளின் வரிசைப்படுத்தல் பட்டியலில் முதன்மை இடத்தைப் பிடிக்க வலைத்தலைமைகள் பெரும் முயற்சிகள் எடுத்து வருவதை தேடுபொறிகள் கண்டுகொண்டன, மேலும் சில வலைத்தலைமைகள் பொருத்தமில்லாத அல்லது அதீத குறிச்சொற்களை அவற்றின் பக்கங்களில் திணித்து தேடுபொறி அளிக்கும் பட்டியல் முடிவுகளையும் கூட குழப்பிவிடுகின்றன என்பதையும் தேடுபொறிகள் அறிந்துகொண்டன. வலைத்தலைமைகளால் வரிசைப்படுத்தல் சீர்குலைக்கப்படுவதைத் தடுக்கும் ஓர் முயற்சியில், Infoseek போன்ற ஆரம்பகால தேடுபொறிகள் அவற்றின் படிமுறைகளை மாற்றி அமைத்தன.^[20]

தேடுபொறிகள் அளிக்கும் முடிவுகளின் சந்தை மதிப்பு அதிகரித்ததன் காரணமாக, தேடுபொறிகளுக்கும், தேடல் பொறி உகப்பாக்கங்களுக்கும் இடையில் ஒரு விளம்பரதார உறவு ஏற்படுவதற்கான சூழ்நிலைகள் உருவாயின. தீவிரமாக இருக்கும் இணைய உள்ளடக்கத் தரவு வழங்குனர்களின் நாசப்படுத்தும் விளைவுகளைக் குறைக்கவும், அது குறித்து விவாதிக்கவும், 2005-ல், AIRWeb, அதாவது Adversarial Information Retrieval on the Web^[21] என்றவொரு ஆண்டு மாநாடு உருவாக்கப்பட்டது.

தீவிர நுட்பங்களைப் பயன்படுத்தும் SEO நிறுவனங்களின் வாடிக்கையாளர் வலைத்தளங்கள் தேடுபொறி அளிக்கும் முடிவு பட்டியலில் இருந்து நீக்கப்பட்டன. அதிக-அபாயகரமான நுட்பங்களைப் பயன்படுத்தியதுடன், தங்கள் வாடிக்கையாளர்களுக்கும் அது குறித்து விளக்கம் அளிக்காத Traffic Power என்ற ஒரு நிறுவனத்தைப் பற்றி 2005-ல் வால்ஸ்ட்ரீட் இதழ் செய்தி வெளியிட்டது.^[22] இந்த தடை குறித்து எழுதியதற்காக வலைப்பதிவர் மற்றும் SEO ஆரோன் வால் மீது அதே நிறுவனம் வழக்கு தொடுத்ததாக Wired இதழ் செய்தி வெளியிட்டது.^[23] Traffic Power மற்றும் அதன் சில வாடிக்கையாளர்களைக் கூகுள் நீக்கிவிட்டதாக கூகுளின் மாட் கட்ஸ் பின்னர் உறுதிப்படுத்தினார்.^[24]

சில தேடுபொறிகளும் SEO தொழில்துறையில் களம் இறங்கின, மேலும் அவை SEO மாநாடுகள், கலந்துரையாடல்கள் மற்றும் கருத்தரங்குகளுக்கு அடிக்கடி விளம்பரதாரர்களாகவும், அவற்றின் பார்வையாளர்களாகவும் இருந்தன. உண்மையில், கட்டணம் செலுத்தும் முறையில் ஆதாயத்தால், சில தேடுபொறிகள் இப்போது உகப்பாக்கம் சமூகம் நிலைத்திருப்பதில் மிகுந்த ஆர்வம் காட்டி வருகின்றன. பெரும்பாலான தேடுபொறிகள் வலைத்தள உகப்பாக்கத்திற்கு உதவும் வகையில் வழிகாட்டுதல்களையும், தகவல்களையும் அளித்து வருகின்றன.^[25][26][27] வலைத்தலைமைகளின் வலைத்தளத்தைக் கூகுளில் பட்டியலிடுவதில் ஏதேனும் பிரச்சனை இருந்தால், வலைத்தலைமைகளுக்கு உதவும் வகையில் அதுவொரு வலைத்தளப்பட திட்டத்தையும் (sitemap)^[28] கொண்டிருக்கிறது, மேலும் அந்த வலைத்தளத்திற்கு கூகுள் தரவுப்பரிமாற்றம் பற்றிய தகவல்களையும் அது அளிக்கிறது. வலைத்தலைமைகளுக்கு கூகுள் அளித்த வழிகாட்டு ஆலோசனை பயிற்சிகளின் ஒரு தொகுப்பு தான் கூகுளின் வழிகாட்டு நெறிமுறைகளாகும். யாகூ! வலைத்தள சுட்டியானது, வலைத்தள முகவரிகளை அளிக்கவும், யாகூ! பட்டியலில் எத்தனை பக்கங்கள் இருக்கின்றன என்பதை வரையறுக்கவும், தொடுப்பு விபரங்களைப் பார்வையிடவும் வலைத்தலைமைகளுக்கு ஒரு வழியை அளிக்கிறது.^[29]

உள்ளடக்கத்தில் சேர்க்க

கூகுள் மற்றும் யாகூ! போன்ற முன்னணி தேடுபொறிகள், தேடி அளிக்கும் அவற்றின் படிமுறையியல் முடிவுகளில் பக்கங்களைக் கண்டறிய தவழுமிகளைப் (crawlers) பயன்படுத்துகின்றன. பிற தேடுபொறியில் பட்டியலிடப்படும் பக்கங்களில் இருந்து தொடுக்கப்பட்ட பக்கங்களைச் சமர்ப்பிக்க வேண்டியதில்லை, ஏனென்றால் அவை தானாகவே கண்டறியப்பட்டுவிடும். சில தேடுபொறிகள், குறிப்பாக யாகூ!, கட்டணம் செலுத்தும் சேவையைச் செயல்படுத்தி வருகிறது, இது ஒரு குறிப்பிட்ட தொகையின் அடிப்படையிலோ அல்லது ஒரு சொடுக்கிற்கான கட்டணமாகவோ தவழுதலுக்கு உத்தரவாதம் அளிக்கிறது.^[30] இதுபோன்ற திட்டங்கள் வழக்கமாக தரவுகளஞ்சியத்தில் (database) சேர்க்கப்படுவதற்கான உத்திரவாதத்தை அளிக்கிறது, ஆனால் தேடுபொறி அளிக்கும் முடிவுகளுக்குள் ஒரு குறிப்பிட்ட வரிசைப்பாடு கிடைக்கும் என்ற உத்திரவாதத்தை அளிப்பதில்லை.^[31] யாகூ கோப்பகம் மற்றும் கட்டற்ற கோப்பகத் திட்டம் ஆகிய இரண்டு பிரபல கோப்பகங்கள் இரண்டிற்கும் தானியக்கமல்லாத சமர்பிப்பு மற்றும் மனிதர்களால் செய்யப்பட்ட மீள்பார்வை தேவைப்படுகிறது.^[32] கூகுள் வலைத்தலைமைக் கருவிகள் என்றவொன்றை கூகுள் வழங்குகிறது, இதற்காக ஓர் XML வலைத்தளப்பட உள்ளீட்டுத்தொடர் (sitemap feed) உருவாக்கப்பட வேண்டும், பிறகு எல்லா பக்களும், குறிப்பாக தானாகவே தொடுப்புகளைப் பின்தொடர்வதன் மூலம் கண்டுபிடிக்க கூடிய பக்கங்கள் காணப்படுகின்றன என்பதை உறுதிப்படுத்த அவற்றை இலவசமாக சமர்பிக்க வேண்டும்.^[33]

தேடுபொறி தவழுமிகள் ஒரு வலைத்தளத்தில் தவழுகை செய்யும் போது பல்வேறு காரணிகளைப் பார்வையிடுகின்றன. தேடுபொறிகளால் ஒவ்வொரு பக்கமும் பட்டியலிடப்படுவதில்லை. ஒரு வலைத்தளத்தின் முதன்மைக் கோப்பகத்தில் இருந்து பக்கங்கள், அந்த பக்கங்கள் தவழுகை செய்யப்பட்டதா இல்லையா என்பதைச் சார்ந்தில்லாமல், அந்த பக்கங்கள் இருக்க கூடிய தூரமும் கூட ஒரு காரணியாக இருக்கலாம்.^[34]

தவழுகையைத் தடுத்தல்

தேடும் பட்டியலில் இருந்து தேவையற்ற உள்ளடக்கத் தரவுகளைத் தவிர்ப்பதற்காக, களத்தின் முதன்மை கோப்பகத்தில் நிலையாக இருக்கும் robots.txt கோப்பின் மூலமாக, சில குறிப்பிட்ட கோப்புகள் அல்லது கோப்பகங்களைக் தவழுகை செய்ய வேண்டாம் என்று வலைத்தலைமைகள் உளவிகளுக்கு தகவல் அனுப்பிவிடும். மேலும், robots-க்கு ஏற்ற ஒரு குறிப்பிட்ட முதன்மை குறிச்சொல்லைப் பயன்படுத்தி தேடுபொறியின் தரவுகளஞ்சியத்தில் இருந்து ஒரு வலைப்பக்கத்தை வெளியில் எடுத்துவிடும். ஒரு வலைத்தளத்தை ஒரு தேடுபொறி பார்வையிடும் போது, முதன்மை கோப்பகத்தில் இருக்கும் robots.txt என்ற கோப்பு தான் முதலில் தவழுகை செய்யப்படும். பிறகு இந்த robots.txt கோப்பை விட்டுவிட்டு, அது எந்தெந்த பக்கங்களைக் தவழுகை செய்ய வேண்டியதில்லை என்பதை robots-க்கு தெரிவிக்கும். ஒரு தேடுபொறி தவழுமி இந்த கோப்பின் ஒரு சேமிப்பு நகலை வைத்திருக்கும் என்பதால், தவழுகை செய்ய வேண்டாம் என்று வலைத்தலைமை விரும்பும் பக்கங்களை இது எப்போதாவது தான் தவழுகை செய்யும். பொதுவாக, இணைய விற்பனை கூடைகள் மற்றும் உள்தேடுதல்களில் இருந்து கிடைத்த தேடல் முடிவுகள் போன்ற பயனரின் பிரத்யேக உள்ளடக்க தரவுகள் போன்ற உள்நுழைவு தேவைப்படும் குறிப்பிட்ட பக்கங்கள் உட்பட சில பக்கங்கள் தவழுகை செய்யப்படுவது தடுக்கப்பட்டிருக்கும். உள்தேடல் முடிவுகளில் கிடைக்கும் பக்கங்கள் தேடல் மோசடிதரவு என்பதால், உள்தேடல் முடிவுகளைப் பட்டியலிடுவதை வலைத்தலைமைகள் நிறுத்தி கொள்ள வேண்டும் என்று கூகுள் 2007 மார்ச்சில் எச்சரிக்கை விடுத்தது.^[35]

அதிகரித்து வரும் முக்கியத்துவம்

தேடுபொறி காட்டும் முடிவுகளில் ஒரு வலைத்தளத்தை இடம் பெறச் செய்ய மேலும் பல்வேறு நுட்பங்கள் பயன்படுத்தப்படுகின்றன. அவையாவன:

• ஒரே வலைத்தளத்தின் பக்கங்களுக்கு இடையில் ஒன்றுக்கொன்று தொடுப்பிடுதல் (cross linking). தேடுபொறிகளால் பயன்படுத்தப்படும் பக்க வரிசைப்பாட்டை உயர்த்த, வலைத்தளத்தின் முதன்மை பக்கங்களுக்கு அதிகளவிலான தொடுப்புக்களை அளித்தல்.^[36] தொடுப்புத் தொகுதியாக்கம் (link farming) மற்றும் பதிலிடுகை மோசடித்தரவு (comment spam) போன்றவை உட்பட பிற வலைத்தளங்களோடு தொடுப்பிடுதல். ஆனால், தொடுப்பு மோசடிதரவாக்கம் உங்கள் தேடல் முடிவின் நிலையிலும் ஒரு மோசமான விளைவை ஏற்படுத்தக்கூடும்.
• அடிக்கடி தேடப்படும் குறிச்சொல் வார்த்தைகளை உள்ளடக்கி வலைத்தள செய்திகளை எழுதுதல், இதனால் பல்வேறு தேடு சொற்களோடு தொடர்புபடுத்தி கொள்ளுதல்.^[37] குறிச்சொல் திணிப்பு உட்பட ஒரு வலைத்தள முதன்மை குறிச்சொற்களுக்கு பொருத்தமான குறிச்சொற்களைச் சேர்த்தல்.
• வலையில் உள் இணைப்புகளை ஒருங்கிணைப்பது தளத்தின் சக்தியை அதிகரிக்க உதவும். ^[38]
• "நியமன" முதன்மை குறிச்சொற்களைப் பயன்படுத்தி, பல வலைத்தள முகவரிகள் மூலமாக, வலைத்தள பக்கங்களின் வலைத்தள முகவரி சரிப்படுத்தல் (URL normalization) செய்தல்.^[39]

SEO தொழில்நுட்பங்கள் இரண்டு பரந்த பிரிவுகளின் கீழ் பிரிக்கப்படுகின்றன: ஒன்று நல்ல வடிவமைப்பின் பாகமாக தேடுபொறிகள் பரிந்துரைக்கும் நுட்பங்கள், மற்றொன்று தேடுபொறிகள் அங்கீகரிக்காத நுட்பங்கள். தேடுபொறிகள் இரண்டாவதாக கூறப்பட்டதன் விளைவுகளைக் குறைக்க முயற்சிக்கின்றன, இதில் தரவுமோசடியும் உள்ளடங்கும். இந்த தொழில்துறையின் சில விமர்சகர்களும், இந்த முறைகளைப் பயன்படுத்தி வரும் வல்லுனர்களும், இந்த முறைகளை வெண்தொப்பி SEO (white hat SEO) மற்றும் கருந்தொப்பி SEO (black hat SEO) என்று பகுத்திருக்கிறார்கள்.^[40] வெண்தொப்பிகள் நீண்ட காலத்திற்கு தொடர்ந்து தேடல் முடிவுகளை அளித்து கொண்டிருக்கும், ஆனால் கருந்தொப்பிகளானது, தாங்கள் என்ன செய்து கொண்டிருக்கிறோம் என்பதை தேடுபொறிகள் கண்டறிந்த உடனேயே தற்காலிகமாகவோ அல்லது நிரந்தரமாகவோ தங்களின் தளங்களைத் தடுப்பதை எதிர்க்கின்றன.^[41]

தேடுபொறியில் வழிகாட்டி நெறிமுறைகளுக்கு உட்பட்டு இருந்தால், எவ்வித மோசடியும் கொண்டிருக்காமல் இருந்தால் அந்த SEO நுட்பம் வெண்தொப்பி என்று கருதப்படும். தேடுபொறி வழிகாட்டிநெறிகள்^{[25][26][27][42]}, விதிகளின் அல்லது கட்டளைகளின் தொகுப்பாக எழுதப்பட்டிருக்கவில்லை என்பதால், இது மிகவும் உன்னிப்பாக கவனிக்க வேண்டிய ஒன்றாக இருக்கிறது. வெண்தொப்பி SEO வழிகாட்டிநெறிகளைப் பின்பற்றுவதோடு மட்டுமில்லாமல், ஒரு தேடுபொறி பட்டியலிடும் உள்ளடக்க தரவுகளும் மற்றும் அதன் விளைவாக வரிசைப்படுத்தல்களும் ஒரே உள்ளடக்க தரவுகள் தான், அது தான் பார்வையாளருக்கு கிடைக்கிறது என்பதை உறுதிப்படுத்தும். வெண்தொப்பி ஆலோசனை பொதுவாக தேடுபொறிகளுக்காக அல்லாமல், பயனர்களுக்கான உள்ளடக்க தரவுகளை உருவாக்க தொகுக்கப்படுகிறது, பிறகு அதன் தேவைக்கேற்ற பயன்களில் இருந்து படிமுறையை ஏமாற்றும் முயற்சியாக அல்லாமல், மாறாக இது உளவிகளால் எளிதாக அணுகப்படும் வகையில் அமைக்கப்படுகிறது. வெண்தொப்பி SEO மற்றும் வலைத்தள உருவாக்கும் இரண்டும் ஒன்றில்லை என்றாலும் கூட, வெண்தொப்பி SEO பல வழிகளில் அணுகுதலை ஊக்குவிக்கும் வலைத்தள உருவாக்கத்தைப் போலவே அமைந்திருக்கிறது^[43].

கருந்தொப்பி SEO, தேடுபொறிகளால் மறுக்கப்பட்ட அல்லது மோசடிகளை உள்ளடக்கியவற்றை சில வழிகளில் வரிசைப்படுத்தலில் முன்னுக்கு கொண்டு வர முயற்சிக்கிறது. மறைக்கப்பட்ட சொற்களை, அதாவது பின்புல நிறத்தைப் போலவே நிறமிடப்பட்ட எழுத்துக்களைப் பயன்படுத்தியோ அல்லது ஒரு கண்ணுக்கு புலனாகாத div மூலமாகவோ, அல்லது திரை அணைக்கப்பட்ட நிலையிலேயோ எவ்வகையிலேனும் மறைக்கப்பட்ட சொற்களை கருந்தொப்பி நுட்பம் பயன்படுத்துகிறது. ஒரு பயனராலோ அல்லது ஒரு தேடுபொறியினாலோ கோரப்பட்ட பக்கத்தைப் போன்ற வேறொரு பக்கத்தைக் கொடுக்கும் மற்றொரு முறையும் இருக்கிறது, இந்த நுட்பம் cloaking என்று அழைக்கப்படுகிறது.

கருந்தொப்பி முறையைப் பயன்படுத்தும் வலைத்தளங்களைக் கண்டறிந்தால், தேடுபொறிகள் தங்களின் வரிசைப்படுத்தலில் இருந்து அவற்றை குறைமதிப்பிட்டோ அல்லது ஒட்டுமொத்தமாக தங்களின் தரவுக்களஞ்சியத்தில் இருந்து அவற்றின் பட்டியலை நீக்கியோ அவற்றைத் தண்டிக்கும். இதுபோன்ற தண்டனைகள் தேடுபொறிகளின் படிமுறைகளால் தன்னிச்சையாக செய்யப்படும், அல்லது ஒரு தானியங்கியல்லாத வலைத்தளத்தைப் பார்வையிடுவதம் மூலமாக செய்யப்படும். மோசடிப் பயிற்சிகளைப் பயன்படுத்தியதற்காக BMW ஜெர்மனியையும் Ricoh ஜெர்மனியையும் கூகுள் பிப்ரவரி 2006-ல் நீக்கியது,^[44] மற்றும் PPC ஏஜென்சி BigMouth மீடியாவை 2006 ஏப்ரலில் நீக்கியது ஆகியவை சில பிரபலமாகாத எடுத்துக்காட்டுகளாகும்.^[45] ஆனால், இந்த மூன்று நிறுவனங்களுமே உடனடியாக வருத்தம் தெரிவித்து, தங்களின் பக்கங்களைச் சரி செய்து கொண்டன என்பதால், அவை மீண்டும் கூகுள் பட்டியலில் இடம் பெற்றன.^[46]

இணைய பக்கங்களைத் தேடும்போது வரிசைப்படுத்தலின் முதலிடத்திலோ அல்லது அதன் அருகிலேயோ வரும் வலைத்தளம், அதை பார்க்கும் பார்வையாளர்களின் எண்ணிக்கையை அதிகமாக பெறுகிறது.^[47] ஆனால், நிறைய தேடுபொறி தொடர்பளிப்புகள் (referrals) அதிக விற்பனைக்கு உத்திரவாதம் அளிப்பதில்லை. ஒவ்வொரு வலைத்தளத்திற்கும் SEO ஒரு பொருத்தமான தேர்வாக இருக்க வேண்டும் என்பதில்லை, மேலும் வலைத்தளம் வழங்கியவரின் நோக்கத்திற்கு ஏற்ப, பிற இணைய சந்தைப்படுத்தல் மூலோபாயங்களும் மிகவும் பயனுள்ளதாக இருக்கலாம்.^[48] ஒரு வெற்றிகரமான இணைய சந்தைப்படுத்தல் முறை, இணைய பக்கங்களுக்கு உயிரோட்டமான தரவுபார்வையிடலை இழுத்து வரும், தேடுபொறிகளின் மற்றும் பிற வலைத்தள பக்கங்களின் கட்டண விளம்பரங்களைப் பயன்படுத்தியும் அவ்வாறு செய்து கொள்ளலாம், அதுமட்டுமின்றி உயர்தரமான வலை பக்கங்களைப் பயன்படுத்தியும், அவற்றின் உதவியோடும், தேடுபொறிகளை தவழுகையிலும், பட்டியலிடுதலிலும் வைத்திருக்கும் தொழில்நுட்ப குறைபாடுகளை நிவர்த்தி செய்தும், வலைத்தள உரிமையாளர்கள் தங்களின் வெற்றியை மதிப்பிட பகுப்பாய்வு நுட்பங்களை அமைத்தும், வலைத்தளம் மாறும் விகிதத்தை மேம்படுத்தியும் என பல்வேறு வகையில் உயிரோட்டமான தரவு பரிமாற்றத்தை இழுத்து வரமுடியும்.^[49]

SEO முதலீட்டிற்கு ஏற்ற வருமானத்தைக் கொடுக்க கூடும். ஆனால், உயிரோட்டமான தரவுபரிமாற்றத்திற்காகவும், படிமுறை மாற்றங்களுக்காகவும் தேடுபொறிகளுக்கு எவ்வித கட்டணமும் செலுத்தப்படுவதில்லை, அதுமட்டுமின்றி தொடர்ச்சியான தொடர்பளிப்புகளுக்கும் (referrals) எந்தவித உத்திரவாதமும் அளிக்கப்படுவதில்லை. (ebay போன்ற சில வர்த்தக தளங்கள் இதற்கு விதிவிலக்காக இருக்கலாம், படிமுறை மாற்றப்படுவதற்கு சில மாதங்களுக்கு முன்னதாக எப்போது, எவ்வாறு படிமுறை மாற்றப்பட இருக்கிறது என்பது இவர்களுக்கு அறிவிக்கப்படும்) இந்த உத்திரவாதமின்மை மற்றும் நிச்சயமின்மையால், தேடுபொறிகள் பார்வையாளர்களை அனுப்புவதை நிறுத்தினால், தேடுபொறி தரவுபார்வையிடலை நம்பி இருக்கும் வியாபாரம் பெருமளவிற்கு இழப்பைச் சந்திக்க கூடும்.^[50] ஆகவே தேடுபொறி தரவுபார்வையிடலைச் சார்ந்திருப்பதில் இருந்து தங்களைத்தாங்களே விடுவித்து கொள்ள, வலைத்தளம் வழங்குனர்களுக்கு ஒரு சவாலான வியாபார உத்தியைச் சிந்திக்க வேண்டிய கட்டாயம் ஏற்படுகிறது.^[51] ஒரு முன்னணி SEO வலைப்பதிவான Seomoz.org^[52] பின்வருமாறு குறிப்பிடுகிறது, "தேடல் சந்தையாளர்கள், ஒரு முரட்டுத்தனமான குளறுபடியில், தேடுபொறிகளில் இருந்து ஒரு மிகச்சிறிய அளவிலான அவர்களின் தரவுபார்வையிடலைத் தான் பெறுகிறார்கள்." மாறாக, பிற வலைத்தளங்களின் தொடுப்புகள் தான் தரவுபார்வையிடலின் முக்கிய ஆதாரங்களாக இருக்கின்றன.^[53]

இலக்கில் இருக்கும் சந்தையில் பிரபலமாகி இருக்கும் தேடுபொறிகளுக்கு, உகப்பாக்க நுட்பங்கள் மிகவும் பயன்படுவதாக இருக்கிறது. தேடுபொறிகளின் சந்தை, போட்டிக்கு ஏற்ப, சந்தைக்கு சந்தை வேறுபடுகிறது. 2003இல், எல்லாவகை தேடுதல்களிலும் 75% கூகுள் பங்கெடுத்திருப்பதாக டேனி சுலிவன் குறிப்பிட்டார்.^[54] அமெரிக்காவிற்கு வெளியில் இருக்கும் சந்தைகளில், கூகுளின் பங்களிப்பு கணிசமாக பெரியளவில் இருக்கிறது, மேலும் 2007-ன் கணக்குப்படி கூகுள் உலகளவில் பிரபல தேடுபொறியாக உள்ளது.^[55] 2006-ல், ஜெர்மனியில் மட்டும் கூகுள் 85-90% சந்தை பங்களிப்பைக் கொண்டிருந்தது.^[56] அந்த சமயத்தில் அமெரிக்காவில் நூற்றுக்கணக்கான SEO நிறுவனங்கள் இருந்த போது, ஜேர்மனியில் வெறும் ஐந்து நிறுவனங்கள் மட்டுமே இருந்தன.^[56] 2008 ஜூனில், Hitwise நிறுவனத்தின் கருத்துப்படி, இங்கிலாந்தில் கூகுளின் சந்தை பங்களிப்பு 90% -த்திற்கு நெருக்கமாக இருந்தது.^[57] அதே சந்தை பங்களிப்பு பல்வேறு நாடுகளில் எட்டப்பட்டிருக்கிறது.^[58]

2009இல் கூகுள் இல்லாமல், வெகு சில பெரும் சந்தைகள் மட்டுமே இருந்தன. அதிலும், கூகுள் முன்னணியிலில்லாத பெரும்பாலான சந்தைகளில் ஏதேனும் ஓர் உள்நாட்டு நிறுவனமே முன்னணியில் இருந்தது. இப்படிப்பட்ட சந்தைகளில் சீனா, ஜப்பான், தென்கொரியா, ரஷ்யா மற்றும் செக் குடியரசு போன்றவை குறிப்பிடத்தக்கன, இந்நாடுகளில் முறையே பெய்டூ, யாகூ! ஜப்பான், நாவெர், யான்டெக்ஸ் மற்றும் செஜ்நாம் போன்றவை முன்னணியில் இருந்தன.

சர்வதேச சந்தைகளுக்கான வெற்றிகரமான தேடுபொறி உகப்பாக்கத்திற்கு வலைத்தளங்களின் சிறப்பான மொழிப்பெயர்ப்புகளும், இலக்கு சந்தையில் இருக்கும் முன்னணி களத்தில் பதிவுசெய்யப்பட்ட களப் பெயர், ஓர் உள்நாட்டு IP முகவரியை அளிக்கும் வலைப்பதிப்பாக்கம் ஆகியவை தேவைப்படுகின்றன. மறுபுறம், தேடுபொறி உகப்பாக்கத்தின் அடிப்படை ஆக்கக்கூறுகள் மொழியைத் தவிர ஏனைய முக்கியமானவை அனைத்தும் ஒரேமாதிரியாகத் தான் உள்ளன.^[56]

அக்டோபர் 17, 2002-ல், அமெரிக்காவின் ஒக்லஹாமாவின் மேற்கு மாவட்டத்தில் இருக்கும் மாகாண நீதிமன்றத்தில், தேடுபொறி கூகுளுக்கு எதிராக SearchKing ஒரு வழக்கு பதிவு செய்தது. தரவுமோசடியைத் தடுக்கும் கூகுளின் உத்திகள் ஒப்பந்த உறவுகளுடன் ஒரு தீய குறுக்கீட்டை ஏற்படுத்தியதாக SearchKing அதில் குறிப்பிட்டிருந்தது. 27 மே 2003-ல், "எந்த குறிப்பை நீக்க வேண்டும் என்பதை SearchKing குறிப்பிட தவறியதால்", நீதிமன்றம் அந்த குற்றச்சாட்டை நிராகரித்து கூகுளின் செயல்பாடுகளுக்கு அனுமதி அளித்தது.^[59][60]

மார்ச் 2006-ல், தேடுபொறி பட்டியிலிடுதலின் மீது கூகுளுக்கு எதிராக KinderStart ஒரு வழக்கைத் தொடுத்தது. இந்த சட்டவழக்கிற்கு முன்னதாக கூகுளின் உள்ளடக்கத்தில் இருந்து KinderStart-ன் வலைத்தளம் நீக்கப்பட்டது, இதனால் அத்தளத்தின் தரவுபார்வையிடல் 70% குறைந்து போனது. மார்ச் 16, 2007-ல், கலிபோர்னியாவின் வடக்கு மாகாணத்திற்கான அமெரிக்காவின் மாகாண நீதிமன்றம் (சான் ஜோஸ் பிரிவு) எவ்வித திருத்தத்திற்கும் இடம் தராமல் Kinderstart-ன் குற்றச்சாட்டை நிராகரித்தது, மேலும் Kinderstart-ன் குற்றச்சாட்டுக்கு எதிராக விதிமுறை 11 சட்டவரைவுகளுக்காக கூகுளின் செயல்பாடுகளைப் பகுதியாக அனுமதித்துடன், கூகுளின் சட்ட செலவுகளுக்காக அதற்கு ஒரு தொகையை அளிக்க வேண்டும் என்றும் உத்தரவிட்டது.^[61][62]

• Web Development Promotion குர்லியில்
• Google Webmaster Guidelines
• Google Search Quality Evaluators Guidelines, July 20, 2018 (PDF)
• Yahoo! Webmaster Guidelines
• Bing Webmaster Guidelines
• "The Dirty Little Secrets of Search", article in த நியூயார்க் டைம்ஸ் (February 12, 2011)
• யூடியூபில் Google I/O 2010 – SEO site advice from the experts – Technical tutorial on search engine optimization, given at கூகிள் ஐ/ஓ (மேம்பாட்டாளர் மாநாடு)-2017 2010.