ডিসকভার্ড – কারেন্টলি নট ইনডেক্সড”-এর সম্ভাব্য কারণ ও সমাধানের উপায়

নতুন নিবন্ধ প্রকাশের পর কয়েক দিন কেটে গেছে। পেজটি সাইটম্যাপে আছে, ওয়েবসাইট থেকেও খোলা যাচ্ছে। কিন্তু গুগল সার্চ কনসোলে দেখা যাচ্ছে, ‘শনাক্ত হয়েছে, তবে এখনো ইনডেক্স করা হয়নি’ (ডিসকভার্ড কারেন্টলি নট ইনডেক্সড)। অর্থাৎ গুগল পেজটির ঠিকানা জানে, অথচ এখনো ক্রল করেনি।

এমন অবস্থায় অনেকেই ধরে নেন, কনটেন্টে সমস্যা আছে। কেউ আবার হোস্টিং পরিবর্তন করেন কিংবা বারবার ইনডেক্স করার অনুরোধ পাঠান। অথচ সমস্যার কারণ অন্য কোথাও থাকতে পারে।

ডিসকভার্ড কারেন্টলি নট ইনডেক্সড মানেই পেজের কনটেন্ট গুগল প্রত্যাখ্যান করেছে, এমন নয়। গুগল হয়তো এখনো পেজটি ক্রল করার প্রয়োজন মনে করেনি। সার্ভারের সক্ষমতা, ওয়েবসাইটের লিংক কাঠামো কিংবা ক্রল করার অগ্রাধিকারও এর পেছনে থাকতে পারে।

তাই প্রথমেই কনটেন্ট পরিবর্তন বা নতুন এসইও সফটওয়্যার কেনার দরকার নেই। সার্চ কনসোলের তথ্য দেখে বুঝতে হবে, সমস্যাটি একটি পেজে সীমাবদ্ধ, নাকি ওয়েবসাইটের বড় অংশে ছড়িয়ে আছে।

গুগল ইউআরএল খুঁজে পেয়েছে, কিন্তু ক্রল করেনি—এর অর্থ কী?

গুগল সাধারণত সাইটম্যাপ, অন্য ওয়েবসাইটের লিংক এবং নিজের জানা পেজগুলোর মাধ্যমে নতুন ইউআরএল শনাক্ত করে। এরপর গুগলবট সেই পেজ পরিদর্শন করে তথ্য সংগ্রহ করে। এই প্রক্রিয়াকে বলা হয় ক্রলিং। ক্রলিং শেষ হলেই অবশ্য পেজ ইনডেক্স হয় না। গুগল আলাদাভাবে সিদ্ধান্ত নেয়, পেজটি তার ইনডেক্সে রাখবে কি না।

গুগল সার্চ কনসোলে তাই তিনটি অবস্থার পার্থক্য বুঝে নেওয়া প্রয়োজন।

• শনাক্ত হয়েছে, তবে এখনো ইনডেক্স করা হয়নি: গুগল ইউআরএল সম্পর্কে জেনেছে, কিন্তু এখনো ক্রল করেনি।
• ক্রল করা হয়েছে, তবে এখনো ইনডেক্স করা হয়নি: গুগল পেজটি ক্রল করেছে। তবে সেটিকে ইনডেক্সে অন্তর্ভুক্ত করেনি।
• ইনডেক্স করা হয়েছে: পেজটি গুগলের ইনডেক্সে রয়েছে। যদিও এতে নির্দিষ্ট অবস্থানে র‍্যাঙ্কিং বা সার্চ থেকে পাঠক পাওয়ার নিশ্চয়তা নেই।

এখানে একটি গুরুত্বপূর্ণ পার্থক্য আছে। প্রথম অবস্থায় নির্দিষ্ট পেজটির কনটেন্ট পরীক্ষা করেই গুগল সেটিকে নিম্নমানের বলেছে, এমন সিদ্ধান্ত নেওয়ার সুযোগ নেই। কারণ গুগল এখনো পেজটি ক্রল করেনি। গুগলের নিজস্ব নির্দেশনায় বলা হয়েছে, কখনো কখনো ক্রল করার ফলে সার্ভারের ওপর অতিরিক্ত চাপ পড়তে পারে বলে গুগল অনুরোধ পিছিয়ে দেয়। তবে এই অবস্থা দেখে সার্ভার সত্যিই অতিরিক্ত চাপে ছিল, তা নিশ্চিত হওয়া যায় না।

কেন কিছু পেজ ক্রল করতে গুগলের দেরি হয়?

একটি ছোট ব্লগে কয়েকটি নতুন নিবন্ধ ক্রল না হওয়া এবং বড় অনলাইন কেনাকাটার ওয়েবসাইটে হাজার হাজার ইউআরএল একই অবস্থায় থাকা এক ধরনের সমস্যা নয়। কারণ খুঁজতে ওয়েবসাইটের আকার, সার্ভারের অবস্থা এবং পেজগুলোর প্রয়োজনীয়তা একসঙ্গে দেখতে হবে।

সার্ভারের সাড়া দিতে দেরি হচ্ছে

ওয়েবসাইটের সার্ভার বারবার ধীরগতিতে সাড়া দিলে গুগলবট ক্রল করার গতি কমিয়ে দিতে পারে। গুগল চেষ্টা করে, তার অনুরোধের কারণে যেন ওয়েবসাইটের স্বাভাবিক কার্যক্রম ব্যাহত না হয়। ধরা যাক, একটি ওয়েবসাইটে ব্যবহারকারীর সংখ্যা বাড়লে পেজ খুলতে অনেক সময় লাগে। একই সময়ে গুগলবট অনুরোধ পাঠালেও সার্ভারের সমস্যা হতে পারে।

বিশেষ করে সার্ভার থেকে বারবার 5xx শ্রেণির ত্রুটি বা অতিরিক্ত অনুরোধের কারণে 429 সংকেত ফিরলে বিষয়টি পরীক্ষা করা প্রয়োজন। কারণ হতে পারে তথ্যভান্ডারের ধীরগতি, পর্যাপ্ত সার্ভার সুবিধা না থাকা কিংবা অতিরিক্ত অনুরোধ সামলাতে না পারা। কোনো কোনো ক্ষেত্রে নিরাপত্তাব্যবস্থাও গুগলবটের বৈধ অনুরোধ আটকে দিতে পারে।

শেয়ার্ড হোস্টিং ব্যবহার করলেই যে এমন সমস্যা হবে, তা নয়। আবার দামি হোস্টিংয়ে থাকলেই সার্ভার ঠিকভাবে কাজ করছে, সেটিও ধরে নেওয়া যাবে না। সমস্যা বোঝার সবচেয়ে নির্ভরযোগ্য পথ হলো সার্ভারের কার্যক্রমের তথ্য পরীক্ষা করা।

গুগলের ক্রল করার চাহিদা কম

ক্রল বাজেট নিয়ে এসইও আলোচনায় অনেক পরামর্শ পাওয়া যায়। তবে সব ওয়েবসাইটে এটি সমান গুরুত্ব পায় না। গুগলের ক্রল বাজেট মূলত দুটি বিষয়ের ওপর নির্ভর করে।

ক্রল করার সক্ষমতার সীমা: সার্ভারের ওপর অতিরিক্ত চাপ না দিয়ে গুগল কত অনুরোধ পাঠাতে পারে।

অন্যটি ক্রল করার চাহিদা। কোন পেজ কতটা ক্রল করা প্রয়োজন, সেই অগ্রাধিকার নির্ধারণে এটি কাজ করে। একটি ওয়েবসাইটের সার্ভার ভালো হলেও গুগলের কাছে সব ইউআরএল সমানভাবে ক্রল করার প্রয়োজনীয় মনে নাও হতে পারে।

বড় ওয়েবসাইটে এই পার্থক্য বেশি গুরুত্বপূর্ণ। বিশেষ করে নিয়মিত অনেক পেজ যুক্ত হলে অথবা একই কনটেন্টের বহু সংস্করণ তৈরি হলে। ধরা যাক, একটি অনলাইন দোকানে পণ্য সাজানোর ধরন, রং, দাম ও পণ্য বাছাইয়ের শর্ত বদলানোর কারণে একই তালিকার অসংখ্য ইউআরএল তৈরি হচ্ছে। গুগল প্রয়োজনীয় পণ্য পেজগুলোর পাশাপাশি সেসব ইউআরএলও শনাক্ত করতে পারে।

এতে অপ্রয়োজনীয় ইউআরএল ক্রল করতে সম্পদ ব্যয় হওয়ার আশঙ্কা থাকে। একই বিষয় ঘটতে পারে স্বয়ংক্রিয়ভাবে তৈরি সার্চ ফলাফল, ক্যালেন্ডার পেজ, দীর্ঘ রিডাইরেক্ট শৃঙ্খল কিংবা প্রায় অভিন্ন পেজের ক্ষেত্রে। তবে কয়েক ডজন বা কয়েক শ পেজের সাধারণ ব্লগে ক্রল বাজেট নিয়ে জটিল পরিবর্তন আনার আগে অন্য সমস্যাগুলো পরীক্ষা করা বেশি বাস্তবসম্মত।

গুরুত্বপূর্ণ পেজগুলো ওয়েবসাইটের ভেতরে বিচ্ছিন্ন

ধরা যাক, একটি প্রযুক্তিবিষয়ক ওয়েবসাইটে নতুন নিবন্ধ প্রকাশ করা হয়েছে। সেটি সাইটম্যাপে আছে, কিন্তু পুরোনো কোনো প্রাসঙ্গিক নিবন্ধ বা বিভাগীয় পেজ থেকে নতুন লেখাটিতে যাওয়ার লিংক নেই। এ ধরনের পেজকে বিচ্ছিন্ন পেজ বা অরফান পেজ বলা হয়।

গুগল অভ্যন্তরীণ লিংক অনুসরণ করে পেজ খুঁজে পায়। কোন পেজের সঙ্গে কোন বিষয় সম্পর্কিত, সেটিও এই লিংক কাঠামোর মাধ্যমে বুঝতে পারে। সাইটম্যাপে থাকা ইউআরএল গুগল ইতিমধ্যে শনাক্ত করে থাকলে অভ্যন্তরীণ লিংকের অভাবই ক্রল না হওয়ার কারণ, তা নিশ্চিত করে বলা যায় না। কিন্তু গুরুত্বপূর্ণ কনটেন্টকে বিচ্ছিন্ন অবস্থায় রাখা ভালো ওয়েবসাইট ব্যবস্থাপনা নয়।

নতুন নিবন্ধের সঙ্গে সম্পর্কিত পুরোনো লেখা, বিভাগীয় পেজ এবং প্রাসঙ্গিক নির্দেশনামূলক কনটেন্ট থেকে লিংক যুক্ত করা উচিত।

ওয়েবসাইটে প্রায় একই ধরনের কনটেন্ট বেশি

এই বিষয়টি একটু সতর্কভাবে দেখতে হবে। গুগল পেজটি শনাক্ত করেছে, কিন্তু এখনো ইনডেক্স করেনি—এমন অবস্থায় নির্দিষ্ট পেজটি গুগল এখনো ক্রল করেনি। ফলে সেই পেজ পড়ে মান যাচাই করে প্রত্যাখ্যান করেছে, এমন ব্যাখ্যা ভুল।

তবে ওয়েবসাইটের সামগ্রিক কনটেন্টের মান, স্বতন্ত্রতা, জনপ্রিয়তা ও উপযোগিতা গুগলের ক্রল করার চাহিদায় প্রভাব ফেলতে পারে। একই বিষয়ে সামান্য পরিবর্তন করে অনেক নিবন্ধ প্রকাশ করলে কিংবা একই অনুসন্ধানের উদ্দেশ্য পূরণ করে এমন প্রচুর পেজ তৈরি হলে ওয়েবসাইটে অপ্রয়োজনীয় ইউআরএল বাড়তে পারে।

সেক্ষেত্রে প্রশ্ন হওয়া উচিত, প্রতিটি পেজ আলাদা করে পাঠককে কী দিচ্ছে? শুধু নতুন শিরোনাম বা কয়েকটি অনুচ্ছেদ পরিবর্তন করে প্রকাশিত লেখা কতটা প্রয়োজনীয়, সেটি দেখা উচিত। আবার একই বিষয়ের দুটি নিবন্ধ থাকলেই একটি মুছে ফেলতে হবে, এমনও নয়। তাদের উদ্দেশ্য ও তথ্য আলাদা হলে দুটিই প্রাসঙ্গিক হতে পারে।

নতুন ওয়েবসাইটে অনেক নিবন্ধ একসঙ্গে প্রকাশ

নতুন ডোমেইনে একসঙ্গে অনেক নিবন্ধ প্রকাশ করলে সব ইউআরএল দ্রুত ক্রল হওয়ার নিশ্চয়তা নেই।

গুগল নিজস্ব অগ্রাধিকার অনুযায়ী পেজ পরিদর্শন করে। নতুন বিভাগ যুক্ত হওয়া, বড় আকারের ওয়েবসাইট পরিবর্তন কিংবা অনেক নতুন ইউআরএল প্রকাশের পর কিছু পেজের ক্রল পিছিয়ে যেতে পারে।

এমন পরিস্থিতিতে সামান্য দেরি দেখেই বড় প্রযুক্তিগত পরিবর্তন করা ঠিক নয়। তবে গুরুত্বপূর্ণ পেজগুলো দীর্ঘদিন একই অবস্থায় থাকলে সমস্যাটি পরীক্ষা করতে হবে।

গুগল সার্চ কনসোলে কোথা থেকে পরীক্ষা শুরু করবেন?

অনেক সময় সমস্যার সমাধানের চেয়ে কারণ খুঁজতে বেশি সময় লাগে। কারণ গুগল ইউআরএল শনাক্ত করলেও এখনো ক্রল করেনি, এমন সব পেজের জন্য সার্চ কনসোল আলাদা করে জানায় না, কেন সেটি ক্রল হয়নি।

তবু কয়েকটি প্রতিবেদন মিলিয়ে দেখলে অনুসন্ধানের পরিধি অনেকটা ছোট করা যায়।

পেজ ইনডেক্সিং প্রতিবেদনে আক্রান্ত পেজগুলো আলাদা করুন

গুগল সার্চ কনসোল খুলে সংশ্লিষ্ট ওয়েবসাইটের প্রপার্টিতে যান। তারপর ইনডেক্সিং → পেজসমূহ বিভাগ থেকে ‘শনাক্ত হয়েছে, তবে এখনো ইনডেক্স করা হয়নি’ অবস্থা নির্বাচন করুন। এখানে আক্রান্ত ইউআরএলের সংখ্যা ও কিছু উদাহরণ দেখা যাবে।

প্রথমেই দেখুন, সমস্যাটি মূলত নতুন নিবন্ধে হচ্ছে, নাকি পুরোনো গুরুত্বপূর্ণ পেজও রয়েছে। সব ইউআরএল সমানভাবে পরীক্ষা করার দরকার নেই। যেসব পেজ সার্চ থেকে পাঠক পাওয়ার উদ্দেশ্যে তৈরি, সেগুলো আগে আলাদা করুন। এরপর তাদের প্রকাশের সময়, সাইটম্যাপে উপস্থিতি ও অভ্যন্তরীণ লিংক মিলিয়ে দেখুন।

একটি সীমাবদ্ধতা মনে রাখা প্রয়োজন। পেজ ইনডেক্সিং প্রতিবেদনে একটি নির্দিষ্ট অবস্থার জন্য সর্বোচ্চ ১,০০০টি উদাহরণ ইউআরএল দেখানো হয়। কাজেই তালিকায় যা দেখা যাচ্ছে, সেটিই সব আক্রান্ত ইউআরএলের পূর্ণ তালিকা নয়।

ইউআরএল পরিদর্শনের সুবিধা কী জানাবে?

কোনো গুরুত্বপূর্ণ ইউআরএল নির্বাচন করে সার্চ কনসোলের ওপরের অনুসন্ধান ঘরে বসান। ইউআরএল পরিদর্শনের সুবিধাটি পেজ সম্পর্কে গুগলের কাছে থাকা ইনডেক্সিং তথ্য দেখাবে।

এরপর সরাসরি ইউআরএল পরীক্ষা করার সুবিধা দিয়ে পেজটির বর্তমান অবস্থা পরীক্ষা করতে পারেন। এখানে দেখা প্রয়োজন, পেজটি গুগলের জন্য অ্যাক্সেসযোগ্য কি না, ক্রল করার অনুমতি রয়েছে কি না এবং কোনো প্রযুক্তিগত বাধা ধরা পড়ছে কি না।

সরাসরি পরীক্ষা সফল হলে সেটি ইতিবাচক সংকেত। কিন্তু এর মাধ্যমে গুগলের স্বাভাবিক ক্রলিং ও ইনডেক্সিং প্রক্রিয়া সম্পন্ন হয়ে যায় না। গুগল শেষ পর্যন্ত কোন ইউআরএলকে মূল বা ক্যানোনিক্যাল হিসেবে নির্বাচন করবে, সরাসরি পরীক্ষাও তা নিশ্চিত করে না। ফলে পরীক্ষায় সমস্যা না পাওয়া গেলেও পেজটি পরে ইনডেক্স হবে, এমন সিদ্ধান্ত নেওয়া যাবে না।

ক্রলিংয়ের পরিসংখ্যানে সার্ভারের তথ্য দেখুন

অনেক গুরুত্বপূর্ণ পেজ একসঙ্গে ক্রল না হলে সেটিংস → ক্রলিংয়ের পরিসংখ্যান প্রতিবেদন পরীক্ষা করা দরকার।

এখানে কয়েকটি তথ্য বিশেষভাবে কাজে আসবে।

• হোস্টের অবস্থা: গুগল ওয়েবসাইটে প্রবেশ করতে গিয়ে উল্লেখযোগ্য সমস্যা পেয়েছে কি না।
• গড় সাড়া দেওয়ার সময়: সার্ভার বিভিন্ন রিসোর্সের অনুরোধে গড়ে কত সময় নিচ্ছে।
• ক্রল অনুরোধের ফলাফল: সফল অনুরোধের পাশাপাশি সার্ভার ত্রুটি বা অন্য সমস্যা কতটা হচ্ছে।
• মোট ক্রল অনুরোধ: নির্দিষ্ট সময়ে গুগলবট কত অনুরোধ পাঠিয়েছে।

সার্ভার ত্রুটি বাড়ার সময় ক্রল অনুরোধ কমেছে কি না, সেটি মিলিয়ে দেখুন। এমন পরিবর্তন তদন্তের কারণ হতে পারে, যদিও ক্রল অনুরোধ কমার পেছনে চাহিদার পরিবর্তনও থাকতে পারে। ক্রলিংয়ের পরিসংখ্যান সব ধরনের সার্চ কনসোল প্রপার্টিতে পাওয়া যায় না। এটি সমর্থিত মূল ডোমেইন বা ইউআরএল-প্রিফিক্স প্রপার্টিতে পাওয়া যায়। সাবডিরেক্টরি-ভিত্তিক প্রপার্টিতে নাও থাকতে পারে।

আরও বিস্তারিত তদন্তের জন্য সার্ভার লগ কাজে আসতে পারে। তবে শুধু অনুরোধ পাঠানো সফটওয়্যারের পরিচয়ে গুগলবট লেখা দেখেই সেটিকে বৈধ ধরে নেবেন না। গুগলের প্রকাশিত আইপি ঠিকানার পরিসর বা বিপরীত ডোমেইন নাম যাচাইয়ের পদ্ধতি ব্যবহার করা যায়।

সমস্যার ধরন বুঝে সংশোধন করুন

সার্চ কনসোলে অনেক ইউআরএল শনাক্ত হলেও ইনডেক্স হয়নি বলে সব পেজে একসঙ্গে পরিবর্তন আনার প্রয়োজন নেই। আগে যেসব সমস্যার প্রমাণ পাওয়া গেছে, সেগুলো ঠিক করুন।

সার্ভারে সমস্যা থাকলে হোস্টিং বদলানোর আগে যা করবেন

সার্ভার ধীর হলে সাময়িকভাবে তথ্য সংরক্ষণের ব্যবস্থা বা ক্যাশিং, তথ্যভান্ডারের ধীরগতির অনুরোধ, অপ্রয়োজনীয় প্লাগইন এবং সার্ভারের প্রসেসিং ক্ষমতা পরীক্ষা করতে হবে।

বিশেষ করে নিয়মিত 5xx বা 429 ত্রুটি পাওয়া গেলে তার কারণ শনাক্ত করা জরুরি। কোনো ওয়েবসাইটে হোস্টিংয়ের মানোন্নয়ন প্রয়োজন হতে পারে। অন্য সাইটে সফটওয়্যারের সমস্যা ঠিক করলেই উন্নতি দেখা যেতে পারে।

সার্ভারের সীমাবদ্ধতার প্রমাণ না পেয়ে শুধু ইনডেক্সিং সমস্যার জন্য বেশি দামের হোস্টিং কেনা যুক্তিসংগত নয়। সার্ভার দ্রুত হলেও গুগলের ক্রল করার চাহিদা কম থাকতে পারে।

অভ্যন্তরীণ লিংক ও সাইটম্যাপ ঠিক রাখুন

ব্লগ ও সংবাদভিত্তিক ওয়েবসাইটে এটি তুলনামূলক সহজে শুরু করা যায়। যে নিবন্ধগুলো গুরুত্বপূর্ণ, সেগুলোর সঙ্গে প্রাসঙ্গিক পুরোনো লেখা ও বিভাগীয় পেজের সংযোগ তৈরি করুন। লিংকের শব্দ এমন রাখুন, যাতে পাঠক বুঝতে পারেন কোন বিষয়ে যাচ্ছেন।

এখানে প্রযুক্তিগত দিকও আছে। গুগল সাধারণত ওয়েবপেজের মূল কাঠামোয় থাকা সঠিক লিংক নির্ভরযোগ্যভাবে শনাক্ত করতে পারে। কেবল জাভাস্ক্রিপ্টের নির্দিষ্ট ঘটনার ওপর নির্ভরশীল কিছু লিংক শনাক্ত করা কঠিন হতে পারে।

এরপর এক্সএমএল সাইটম্যাপ পরীক্ষা করুন। সার্চ কনসোলের ইনডেক্সিং → সাইটম্যাপসমূহ বিভাগ থেকে জমা দেওয়া সাইটম্যাপের অবস্থা দেখা যায়। নিশ্চিত করুন, গুরুত্বপূর্ণ ও ইনডেক্স করাতে চাওয়া ইউআরএল সেখানে রয়েছে। স্থায়ীভাবে সরিয়ে দেওয়া বা অপ্রয়োজনীয় ইউআরএল বাদ দিন।

সাইটম্যাপের ইউআরএলগুলো পছন্দের মূল বা ক্যানোনিক্যাল সংস্করণের সঙ্গে সামঞ্জস্যপূর্ণ হওয়া উচিত। পেজে উল্লেখযোগ্য পরিবর্তন হলে সর্বশেষ পরিবর্তনের সময়সংক্রান্ত তথ্যও সঠিকভাবে হালনাগাদ করুন। গুগল এই তথ্য ব্যবহার করতে পারে, যদি সেটি নির্ভুল হয়। তবে প্রতিদিন তারিখ পরিবর্তন কিংবা একই সাইটম্যাপ বারবার জমা দেওয়া ক্রল বাড়ানোর নির্ভরযোগ্য পদ্ধতি নয়।

অপ্রয়োজনীয় ইউআরএলের সংখ্যা নিয়ন্ত্রণ করুন

বড় অনলাইন কেনাকাটার ওয়েবসাইট বা বহু পেজের সাইটে এই কাজ বেশি গুরুত্ব পায়। প্রথমে দেখুন, পণ্য বাছাইয়ের শর্ত, ইউআরএলের অতিরিক্ত পরামিতি কিংবা স্বয়ংক্রিয় কোনো ব্যবস্থা থেকে কত অপ্রয়োজনীয় ইউআরএল তৈরি হচ্ছে।

একই কনটেন্টের একাধিক সংস্করণ থাকলে পছন্দের মূল বা ক্যানোনিক্যাল ইউআরএল নির্ধারণ করুন। তবে ক্যানোনিক্যাল নির্দেশনা গুগলের জন্য শক্তিশালী সংকেত হলেও বাধ্যতামূলক নয়। পুরোনো পেজ স্থায়ীভাবে সরিয়ে দেওয়া হলে এবং তার উপযুক্ত বিকল্প না থাকলে 404 বা 410 সংকেত ব্যবহার করা যায়। দীর্ঘ রিডাইরেক্ট শৃঙ্খলও সংশোধন করা উচিত।

এখানে দুটি প্রযুক্তিগত নির্দেশনা ব্যবহারের জায়গায় ভুল করা সহজ।

• রোবটস ডট টিএক্সটি: এটি দিয়ে নির্দিষ্ট ইউআরএল ক্রল করা আটকানো যায়।
• নোইনডেক্স নির্দেশনা: এটি গুগলকে জানায়, সংশ্লিষ্ট পেজটি ইনডেক্স করা উচিত নয়। নির্দেশনাটি বুঝতে গুগলকে পেজটি ক্রল করতে হয়।

তাই ক্রল বাজেট কমানোর জন্য সব অপ্রয়োজনীয় পেজে নোইনডেক্স নির্দেশনা বসিয়ে দেওয়া যথাযথ পদ্ধতি নয়। যেসব ইউআরএল গুগলের ক্রল করার প্রয়োজন নেই, সেগুলোর কিছু রোবটস ডট টিএক্সটি দিয়ে আটকানো যেতে পারে। তবে এটি ইনডেক্সিং বন্ধ করার নির্ভরযোগ্য উপায় নয়। অন্য পেজ থেকে লিংক পেলে ক্রল না করেও কোনো ইউআরএল সার্চ ফলাফলে দেখা যেতে পারে। ভুল করে গুরুত্বপূর্ণ ইউআরএল ক্রল করা থেকে আটকানো হয়েছে কি না, সেটি পরীক্ষা করতে হবে।

আরও পড়ুন: গুগল সার্চ কনসোল পারফরম্যান্স রিপোর্ট কীভাবে পড়বেন

একই ধরনের কনটেন্ট থাকলে আগে উদ্দেশ্য মিলিয়ে দেখুন

একটি ওয়েবসাইটে ‘গুগলে পেজ ইনডেক্স না হওয়ার কারণ’, ‘নতুন নিবন্ধ ইনডেক্স হচ্ছে না কেন’ এবং ‘ইনডেক্সিং সমস্যা সমাধান’—এমন তিনটি লেখা থাকতে পারে। শিরোনাম আলাদা হলেও যদি প্রায় একই প্রশ্নের একই উত্তর দেওয়া হয়, তাহলে তিনটি পেজ রাখার প্রয়োজন আছে কি না, সেটি পর্যালোচনা করা উচিত।

কিছু ক্ষেত্রে তথ্যগুলো একটি পূর্ণাঙ্গ নিবন্ধে একীভূত করা ভালো হতে পারে। আবার বিষয়গুলোর উদ্দেশ্য ও ব্যাখ্যা আলাদা হলে পৃথক নিবন্ধ রাখাই যুক্তিসংগত। কনটেন্ট উন্নত করার সময় অপ্রয়োজনীয় শব্দ বাড়ানোর বদলে অনুপস্থিত ব্যাখ্যা, যাচাইকৃত তথ্য ও ব্যবহারযোগ্য উদাহরণ যোগ করুন।

এটি ওয়েবসাইটের সামগ্রিক উপযোগিতা বাড়ানোর কাজ। নির্দিষ্ট পেজটি সংশোধন করলেই গুগল সেটি ক্রল করবে, এমন নিশ্চয়তা হিসেবে দেখা ঠিক হবে না।

নতুন করে ইনডেক্স করার অনুরোধ কখন করবেন?

প্রয়োজনীয় সংশোধন শেষ হলে গুরুত্বপূর্ণ ইউআরএলের জন্য নতুন ক্রল অনুরোধ পাঠানো যায়। গুগল সার্চ কনসোলের ইউআরএল পরিদর্শন সুবিধায় পেজটির ঠিকানা বসান। প্রয়োজন হলে সরাসরি ইউআরএল পরীক্ষা করে বর্তমান অবস্থা দেখুন। তারপর ইনডেক্স করার অনুরোধ নির্বাচন করুন।

এই সুবিধা ব্যবহার করতে সংশ্লিষ্ট প্রপার্টির মালিক অথবা পূর্ণ অনুমতিপ্রাপ্ত ব্যবহারকারী হতে হবে। অনুরোধ পাঠানোর সীমাও রয়েছে। একই ইউআরএলের জন্য বারবার অনুরোধ করলে গুগল দ্রুত ক্রল করবে না। আবার অনেক পেজের জন্য আলাদা আলাদা অনুরোধ পাঠানোর পরিবর্তে সঠিকভাবে তৈরি ও হালনাগাদ করা সাইটম্যাপ ব্যবহার করা বেশি উপযোগী।

গুগলের ক্রল করতে কয়েক দিন থেকে কয়েক সপ্তাহ পর্যন্ত লাগতে পারে। অনুরোধ গ্রহণ করা মানেই পেজটি ইনডেক্স হবে না।

সংশোধনের পর কীভাবে অগ্রগতি দেখবেন?

সমস্যা সমাধানে কী পরিবর্তন করা হলো, সেটি লিখে রাখা দরকার। নইলে পরে কোন পরিবর্তনের পর কী ঘটেছে, তা বোঝা কঠিন হয়ে যায়। গুরুত্বপূর্ণ কয়েকটি ইউআরএল বেছে নিয়ে তাদের অবস্থা পর্যবেক্ষণ করুন। কখন অভ্যন্তরীণ লিংক যুক্ত করেছেন, সাইটম্যাপ ঠিক করেছেন কিংবা সার্ভারের ত্রুটি সংশোধন করেছেন, সেই তারিখ সংরক্ষণ করুন।

এরপর পেজ ইনডেক্সিং ও ক্রলিংয়ের পরিসংখ্যান প্রতিবেদনের পরিবর্তন মিলিয়ে দেখুন।

কোনো পেজের অবস্থা ‘শনাক্ত হয়েছে, তবে এখনো ইনডেক্স করা হয়নি’ থেকে ‘ক্রল করা হয়েছে, তবে এখনো ইনডেক্স করা হয়নি’ অবস্থায় গেলে বোঝা যাবে, গুগল সেটি ক্রল করেছে। কিন্তু তখনও ইনডেক্সিংয়ের কাজ বাকি থাকতে পারে। কেন ইনডেক্স হয়নি, সেটি আলাদাভাবে মূল্যায়ন করতে হবে।

পেজ ইনডেক্স হওয়া অবস্থায় গেলেও কাজের ফল শুধু সেই অবস্থা দিয়ে বিচার করবেন না। গুগল সার্চ থেকে পাঠক না এলে অনুসন্ধানের চাহিদা, কনটেন্টের প্রাসঙ্গিকতা এবং সার্চ ফলাফলে পেজটির অবস্থান দেখতে হবে। ক্রল করা, ইনডেক্স হওয়া ও সার্চ থেকে পাঠক পাওয়া—তিনটি আলাদা ধাপ।

প্রথমে কোন সমস্যাটি ঠিক করবেন?

গুগল কোনো পেজ শনাক্ত করেছে, কিন্তু এখনো ইনডেক্স করেনি—এমন অবস্থা দেখলেই ওয়েবসাইটের বড় ধরনের পরিবর্তন প্রয়োজন হয় না। কয়েকটি নতুন পেজ আক্রান্ত হলে প্রথমে নিশ্চিত করুন, সেগুলো সাইটম্যাপে রয়েছে, অন্য প্রাসঙ্গিক পেজ থেকে লিংক পাওয়া যায় এবং গুগলের ক্রল করার অনুমতি আছে। এরপর কিছুদিন অবস্থা পর্যবেক্ষণ করুন।

পুরোনো গুরুত্বপূর্ণ পেজসহ বিপুলসংখ্যক ইউআরএল দীর্ঘদিন একই অবস্থায় থাকলে বেশি গভীরভাবে পরীক্ষা করা দরকার। বিশেষ করে সার্ভার ত্রুটি, অপ্রয়োজনীয় ইউআরএল এবং গুগলের ক্রল করার চাহিদার দিকে নজর দিন।

বারবার ইনডেক্স করার অনুরোধ পাঠানো, সব কনটেন্ট নতুন করে লেখা কিংবা প্রমাণ ছাড়া হোস্টিংয়ের মানোন্নয়ন করার বদলে সমস্যাটির উৎস খুঁজে বের করাই বেশি কার্যকর। গুগল কখন একটি পেজ ক্রল করবে, সেই সিদ্ধান্ত ওয়েবসাইট মালিকের নিয়ন্ত্রণে নেই। তবে গুরুত্বপূর্ণ পেজ খুঁজে পাওয়া সহজ করা, সার্ভারের সমস্যা দূর করা এবং অপ্রয়োজনীয় ইউআরএল কমানো সম্ভব। কাজ শুরু করার জায়গা সেটিই।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

১. ডিসকভার্ড কারেন্টলি নট ইনডেক্সড কি গুগলের কোনো শাস্তি?

না। এই অবস্থা দেখানোর অর্থ গুগল ইউআরএল শনাক্ত করেছে, কিন্তু এখনো ক্রল করেনি। এটি নিজে কোনো শাস্তি বা নিয়ম লঙ্ঘনের প্রমাণ নয়। ওয়েবসাইটের বিরুদ্ধে গুগল আলাদাভাবে ব্যবস্থা নিয়েছে কি না, তা জানতে সার্চ কনসোলের ‘ম্যানুয়াল অ্যাকশন’ প্রতিবেদন পরীক্ষা করতে পারেন।

২. গুগলে ইনডেক্স না হলেও কি পাঠকেরা পেজটি দেখতে পারবেন?

হ্যাঁ। পেজটি ওয়েবসাইটে প্রকাশিত এবং সবার জন্য উন্মুক্ত থাকলে সরাসরি লিংক ব্যবহার করে পাঠকেরা সেটি দেখতে পারবেন। সামাজিক যোগাযোগমাধ্যম বা অন্য ওয়েবসাইটের লিংক থেকেও সেখানে যাওয়া সম্ভব। তবে পেজটি গুগলের ইনডেক্সে না থাকলে সাধারণ গুগল সার্চ ফলাফল থেকে সেটি পাওয়া যাবে না।

৩. ওয়েবসাইটের সব ইউআরএল কি গুগলে ইনডেক্স করা প্রয়োজন?

না। ওয়েবসাইটের সব ইউআরএল ইনডেক্স করার প্রয়োজন নেই। একই কনটেন্টের একাধিক সংস্করণ, অপ্রয়োজনীয় ফিল্টার পেজ কিংবা ইচ্ছাকৃতভাবে ইনডেক্সের বাইরে রাখা পেজ থাকতে পারে। যেসব পেজে স্বতন্ত্র ও প্রয়োজনীয় তথ্য রয়েছে এবং গুগল সার্চ থেকে পাঠক পাওয়ার উদ্দেশ্যে তৈরি, সেগুলোকে অগ্রাধিকার দিন।

৪. গুগলে সাইট অনুসন্ধান করে পেজ না পেলে কি নিশ্চিতভাবে বলা যায়, সেটি ইনডেক্স হয়নি?

না। গুগলে site: লিখে অনুসন্ধান করলে সব ইনডেক্স করা ইউআরএল দেখানোর নিশ্চয়তা নেই। তাই কোনো পেজ অনুসন্ধানের ফলাফলে না এলেই সেটি ইনডেক্স হয়নি, এমন সিদ্ধান্ত নেওয়া ঠিক নয়। নির্দিষ্ট ইউআরএলের অবস্থা যাচাই করতে গুগল সার্চ কনসোলের ইউআরএল পরিদর্শন সুবিধা ব্যবহার করুন।