ক্রল করা হয়েছে কিন্তু বর্তমানে ইনডেক্স করা হয়নি — এই সমস্যা কীভাবে চিহ্নিত ও সমাধান করবেন?

গুগল আপনার ওয়েবপেজ ক্রল করেছে, কিন্তু সার্চ ফলাফলে ইনডেক্স করেনি। গুগল সার্চ কনসোলে ‘ক্রল করা হয়েছে, বর্তমানে ইনডেক্স করা হয়নি’ অবস্থা দেখালে এমন পরিস্থিতি বোঝায়। নতুন নিবন্ধ প্রকাশের পর এটি দেখা যেতে পারে। আবার আগে ইনডেক্স হওয়া কোনো পেজও পরবর্তী সময়ে এই তালিকায় চলে আসতে পারে।

এমন পরিস্থিতিতে অনেকেই নিবন্ধ নতুন করে লেখা বা বারবার ইনডেক্সিংয়ের অনুরোধ পাঠানো শুরু করেন। অথচ সমস্যার কারণ অন্য জায়গাতেও থাকতে পারে। লেখার মান, একই ধরনের একাধিক পেজ, মূল ইউআরএল নির্বাচন কিংবা কারিগরি সীমাবদ্ধতা খতিয়ে দেখা প্রয়োজন।

ক্রল করার পরও পেজ ইনডেক্স না হওয়ার কারণ শনাক্ত করতে প্রথমে গুগল সার্চ কনসোলের ইউআরএল পরীক্ষার সুবিধা ব্যবহার করুন। পেজের বর্তমান অবস্থা যাচাই করে বোঝার চেষ্টা করুন, কোথায় পরিবর্তন দরকার। সব ইউআরএল সংশোধন কিংবা ইনডেক্স করানোর প্রয়োজন নেই।

ক্রল করা হয়েছে, বর্তমানে ইনডেক্স করা হয়নি বলতে কী বোঝায়?

গুগলে কোনো পেজ প্রদর্শিত হওয়ার আগে সাধারণত কয়েকটি প্রক্রিয়ার মধ্য দিয়ে যায়। প্রথমে গুগল পেজের ঠিকানা খুঁজে পায়। এরপর গুগলবট সেটি ক্রল করে এবং পাওয়া তথ্য বিশ্লেষণ করে। উপযুক্ত মনে হলে পেজটি ইনডেক্সে যুক্ত হতে পারে। ‘ক্রল করা হয়েছে, বর্তমানে ইনডেক্স করা হয়নি’ দেখানোর অর্থ, গুগল পেজটি ক্রল করেছে, কিন্তু সেটি এখন ইনডেক্সে নেই। ভবিষ্যতে পেজটি ইনডেক্স হতে পারে, আবার নাও হতে পারে।

এখানে একটি পার্থক্য বোঝা দরকার। পেজ ক্রল করা সম্ভব হলেই গুগল সেটি ইনডেক্স করবে, এমন নিশ্চয়তা নেই। কারিগরিভাবে ঠিক থাকা কোনো পেজও গুগলের ইনডেক্সের বাইরে থাকতে পারে। তাই এই অবস্থাকে সরাসরি ওয়েবসাইটের ত্রুটি হিসেবে ধরে নেওয়া ঠিক নয়। আগে দেখতে হবে, সংশ্লিষ্ট পেজটি আদৌ আলাদাভাবে ইনডেক্স করার উপযুক্ত কি না।

ক্রল করা ও শনাক্ত করা পেজের অবস্থার পার্থক্য

গুগল সার্চ কনসোলে কাছাকাছি অর্থের দুটি অবস্থা দেখা যায়।

• ক্রল করা হয়েছে, বর্তমানে ইনডেক্স করা হয়নি: গুগল পেজটি ক্রল করেছে, কিন্তু ইনডেক্স করেনি।
• শনাক্ত করা হয়েছে, বর্তমানে ইনডেক্স করা হয়নি: গুগল পেজটির ঠিকানা পেয়েছে, কিন্তু এখনো ক্রল করেনি।

দ্বিতীয় ক্ষেত্রে গুগলের ক্রলিং অগ্রাধিকার, সার্ভারের সক্ষমতা ও ক্রলিংয়ের সময়সূচি প্রাসঙ্গিক হতে পারে। প্রথম ক্ষেত্রে পেজটি ক্রল হওয়ার পরও কেন ইনডেক্সে আসেনি, সেটি অনুসন্ধান করতে হবে। দুটি সমস্যার জন্য একই সমাধান ব্যবহার করা ঠিক নয়।

প্রথমে গুগল সার্চ কনসোল থেকে সমস্যা শনাক্ত করুন

ইনডেক্সিংয়ের সমস্যা দেখেই নিবন্ধ পুনর্লিখন শুরু করার প্রয়োজন নেই। পেজের মূল লেখা ঠিকমতো লোড হচ্ছে কি না, কিংবা কোনো কারিগরি নির্দেশনায় অসংগতি আছে কি না, সেটি আগে দেখা উচিত।

এ জন্য গুগল সার্চ কনসোলের তথ্য সংগ্রহ করুন।

ধাপ ১: প্রভাবিত পেজগুলোর তালিকা বের করুন

গুগল সার্চ কনসোলে সংশ্লিষ্ট ওয়েবসাইট নির্বাচন করুন। এরপর নিচের ধাপগুলো অনুসরণ করুন।

১. বাম পাশের ইনডেক্সিং বিভাগের পেজসমূহ অংশে যান।

২. ‘পেজগুলো কেন ইনডেক্স করা হয়নি’ তালিকা থেকে ‘ক্রল করা হয়েছে, বর্তমানে ইনডেক্স করা হয়নি’ নির্বাচন করুন।

৩. দেখানো ইউআরএলগুলো পরীক্ষা করুন এবং প্রয়োজন অনুযায়ী তালিকা সংরক্ষণ করুন।

৪. নতুন নিবন্ধ, পুরোনো নিবন্ধ, বিভাগভিত্তিক পেজ ও অন্যান্য ইউআরএল আলাদা করুন।

প্রতিবেদনে সর্বোচ্চ ১,০০০টি উদাহরণ ইউআরএল দেখানো হয়। ফলে উদাহরণের তালিকায় যতগুলো পেজ রয়েছে, সেটিই সমস্যায় পড়া সব ইউআরএলের পূর্ণ তালিকা নাও হতে পারে। বড় ওয়েবসাইটে এটি বিশেষভাবে মনে রাখা দরকার।

ইউআরএলগুলো সাজানোর সময় দেখুন, নির্দিষ্ট কোনো বিভাগ, প্রকাশের সময়কাল বা পেজের নকশায় সমস্যা বেশি হচ্ছে কি না। এতে আলাদা পেজের সমস্যা এবং ওয়েবসাইটজুড়ে থাকা সমস্যার মধ্যে পার্থক্য করা সহজ হবে।

আরও পড়ুন: গুগল সার্চ কনসোল পারফরম্যান্স রিপোর্ট কীভাবে পড়বেন

ধাপ ২: ইউআরএল পরীক্ষা করে নির্দিষ্ট পেজ যাচাই করুন

গুগল সার্চ কনসোলের ওপরের ইউআরএল পরীক্ষার ঘরে সমস্যাযুক্ত পেজের সম্পূর্ণ ঠিকানা দিন।

এরপর ‘পেজ ইনডেক্সিং’ অংশে কয়েকটি তথ্য পরীক্ষা করুন।

• সর্বশেষ ক্রল: গুগল সর্বশেষ কখন পেজটি ক্রল করেছে।
• পেজ সংগ্রহের অবস্থা: ক্রল করার সময় গুগল পেজটি সংগ্রহ করতে পেরেছিল কি না।
• ক্রলিংয়ের অনুমতি: পেজটি ক্রল করার অনুমতি ছিল কি না।
• ইনডেক্সিংয়ের অনুমতি: ইনডেক্সিং নিষিদ্ধ করার নির্দেশনা শনাক্ত হয়েছে কি না।
• ওয়েবসাইটের নির্ধারিত মূল ইউআরএল: ওয়েবসাইট কোন ঠিকানাকে মূল সংস্করণ হিসেবে নির্দেশ করেছে।
• গুগলের নির্বাচিত মূল ইউআরএল: গুগল কোন ঠিকানাকে মূল সংস্করণ হিসেবে নির্বাচন করেছে, যদি তথ্যটি পাওয়া যায়।

সব পেজে সব তথ্য পাওয়া যাবে না। বিশেষ করে গুগলের নির্বাচিত মূল ইউআরএল সম্পর্কিত তথ্য ইনডেক্সে সংরক্ষিত অবস্থার ওপর নির্ভর করে। সরাসরি পরীক্ষা চালিয়েও গুগল শেষ পর্যন্ত কোন ইউআরএলকে মূল সংস্করণ হিসেবে নির্বাচন করবে, তা জানা যায় না।

আরেকটি বিষয় খেয়াল করুন। রোবটস ডট টিএক্সটি ফাইল দিয়ে ক্রলিং বন্ধ থাকলে ‘ইনডেক্সিংয়ের অনুমতি’ অংশে অনুমতির ইঙ্গিত পাওয়া গেলেও সেটি বিভ্রান্তিকর হতে পারে। গুগল পেজটি ক্রল করতে না পারলে সেখানে থাকা ইনডেক্স না করার নির্দেশনাও পড়তে পারে না। এখানে সর্বশেষ ক্রলের তারিখ বিশেষভাবে কাজে লাগে। আপনি পেজটি সংশোধন করার আগেই যদি গুগল সর্বশেষ ক্রল করে থাকে, তাহলে প্রতিবেদনে পুরোনো অবস্থার তথ্য থাকতে পারে।

ধাপ ৩: পেজের বর্তমান সংস্করণ পরীক্ষা করুন

ইউআরএল পরীক্ষার অংশ থেকে লাইভ ইউআরএল পরীক্ষা করার সুবিধা নির্বাচন করুন।

এই পরীক্ষায় গুগল পেজের বর্তমান সংস্করণে প্রবেশ করতে পারছে কি না এবং কিছু কারিগরি সমস্যা রয়েছে কি না, তা দেখা যায়।

প্রয়োজনে পরীক্ষিত পেজ দেখার সুবিধা থেকে লোড হওয়া প্রয়োজনীয় উপাদান, এইচটিএমএল এবং পেজ প্রদর্শনের প্রক্রিয়াসংক্রান্ত তথ্য পরীক্ষা করুন।

পরীক্ষায় পেজটি ইনডেক্সিংয়ের উপযোগী দেখালেও সেটি গুগলের ইনডেক্সে যুক্ত হবে, এমন নিশ্চয়তা নেই। এই পরীক্ষা লেখার সামগ্রিক মান কিংবা সম্ভাব্য সব ইনডেক্সিং বাধা শনাক্ত করে না।

ক্রল করার পরও পেজ ইনডেক্স না হওয়ার সম্ভাব্য কারণ

একই অবস্থার পেছনে বিভিন্ন পরিস্থিতি থাকতে পারে। সব ক্ষেত্রে লেখার মান খারাপ কিংবা কারিগরি ত্রুটি রয়েছে, এমন সিদ্ধান্ত নেওয়া যাবে না। নিচের পর্যবেক্ষণগুলো তদন্তের অগ্রাধিকার ঠিক করতে সাহায্য করবে।

এগুলো সম্ভাব্য সমস্যার ইঙ্গিত। নির্দিষ্ট কারণ নিশ্চিত করতে সংশ্লিষ্ট পেজের তথ্য পরীক্ষা করতে হবে।

১. লেখায় নতুন তথ্য বা ব্যবহারিক মূল্য কম

গুগলের ইনডেক্সিং ও সার্চ ব্যবস্থায় লেখার উপযোগিতা প্রাসঙ্গিক। একটি লেখা ব্যাকরণগতভাবে ঠিক এবং তথ্যগতভাবে নির্ভুল হলেও সেটিতে পাঠকের জন্য যথেষ্ট মূল্য নাও থাকতে পারে। ধরা যাক, একটি ওয়েবসাইটে ‘ইমেইল বিপণন কী’ বিষয়ে কয়েকটি নিবন্ধ রয়েছে। সব লেখায় প্রায় একই সংজ্ঞা, সুবিধা ও সাধারণ পরামর্শ দেওয়া হয়েছে। নিবন্ধগুলোর শিরোনাম আলাদা, কিন্তু পাঠক নতুন তথ্য পাচ্ছেন না। এমন হলে প্রতিটি পেজের উদ্দেশ্য ও বিষয়বস্তু পর্যালোচনা করা প্রয়োজন।

লেখার মান যাচাইয়ের সময় পাঁচটি প্রশ্ন কাজে আসবে:

• লেখাটি পাঠকের নির্দিষ্ট কোন প্রশ্নের উত্তর দিচ্ছে?
• একই বিষয়ে অন্য পেজের তুলনায় নতুন কী রয়েছে?
• প্রয়োজনীয় উদাহরণ, ব্যাখ্যা বা ব্যবহারিক নির্দেশনা আছে?
• কোনো তথ্য পুরোনো, অসম্পূর্ণ কিংবা বিভ্রান্তিকর?
• শিরোনামে দেওয়া প্রতিশ্রুতি মূল লেখায় পূরণ হয়েছে?

তবে ক্রল করার পরও ইনডেক্স না হওয়ার অবস্থা মানেই গুগল সংশ্লিষ্ট লেখাকে নিম্নমানের হিসেবে চিহ্নিত করেছে, এমন নয়। এই অবস্থার মাধ্যমে গুগল নির্দিষ্ট পেজের পূর্ণাঙ্গ মান মূল্যায়ন প্রকাশ করে না। লেখা উন্নত করার সময় শুধু শব্দসংখ্যা বাড়াবেন না। অপ্রয়োজনীয় অনুচ্ছেদ যোগ করে লেখা দীর্ঘ করা সহজ, কিন্তু তাতে পাঠকের সমস্যার সমাধান হয় না।

২. নকল ও কাছাকাছি ধরনের পেজ

একই বা প্রায় একই লেখা একাধিক ইউআরএলে থাকলে গুগল সাধারণত একটি প্রতিনিধিত্বকারী সংস্করণ নির্বাচন করার চেষ্টা করে।

এমন পরিস্থিতি তৈরি হতে পারে যখন:

• একই নিবন্ধ একাধিক ইউআরএলে প্রকাশিত হয়।
• ওয়েবসাইটের এইচটিটিপি ও এইচটিটিপিএস সংস্করণের মধ্যে অসংগতি থাকে।
• বিভাগ বা তথ্য বাছাইয়ের ব্যবস্থার কারণে প্রায় একই লেখার নতুন ইউআরএল তৈরি হয়।
• পুরোনো ও নতুন নিবন্ধ একই ধরনের অনুসন্ধানের উদ্দেশ্য পূরণ করে।

তবে নকল হিসেবে শনাক্ত হওয়া পেজ গুগল সার্চ কনসোলে ‘ব্যবহারকারীর নির্বাচিত মূল ইউআরএল ছাড়া নকল পেজ’ কিংবা ‘গুগল ব্যবহারকারীর নির্দেশিত ঠিকানা থেকে ভিন্ন মূল ইউআরএল নির্বাচন করেছে’ ধরনের পৃথক অবস্থাতেও থাকতে পারে। তাই ক্রল করার পরও ইনডেক্স না হওয়ার অবস্থা দেখলেই পুনরাবৃত্ত লেখাকে কারণ ধরে নেওয়া যাবে না।

একই বিষয় নিয়ে থাকা নিবন্ধগুলো পাশাপাশি পড়ুন। দুটি লেখার উদ্দেশ্য প্রায় অভিন্ন হলে প্রাসঙ্গিক তথ্য একত্র করে একটি পূর্ণাঙ্গ পেজ রাখা যেতে পারে। অন্য ইউআরএলটি সরিয়ে নেওয়ার সিদ্ধান্ত হলে উপযুক্ত ক্ষেত্রে স্থায়ীভাবে নতুন ঠিকানায় পাঠানোর ব্যবস্থা করুন। অবশ্য একই বিষয়ে লেখা দুটি নিবন্ধ সব সময় নকল নয়। তাদের উদ্দেশ্য, গভীরতা ও পাঠক আলাদা হলে উভয় পেজ রাখার যৌক্তিকতা থাকতে পারে।

৩. দুর্বল অভ্যন্তরীণ সংযোগ

গুগল ওয়েবসাইটের বিভিন্ন পেজের সংযোগ অনুসরণ করে লেখা খুঁজে পেতে পারে। এসব সংযোগ পেজের বিষয় ও অন্য লেখার সঙ্গে সম্পর্ক বুঝতেও সাহায্য করে। কোনো গুরুত্বপূর্ণ নিবন্ধে ওয়েবসাইটের অন্য পেজ থেকে সংযোগ না থাকলে সেটি সহজে খুঁজে পাওয়া বা ওয়েবসাইটের কাঠামোয় তার অবস্থান বোঝা কঠিন হতে পারে। এ ধরনের পেজকে সাধারণভাবে বিচ্ছিন্ন পেজ বলা হয়।

ধরা যাক, একটি ওয়েবসাইটে ‘গুগল সার্চ কনসোল ব্যবহার’ বিষয়ে বিস্তারিত নিবন্ধ রয়েছে। পরে ‘ইনডেক্সিং সমস্যা সমাধান’ নিয়ে নতুন লেখা প্রকাশিত হলো।

পুরোনো নিবন্ধের প্রাসঙ্গিক জায়গায় নতুন লেখাটির সংযোগ দেওয়া যেতে পারে। এতে পাঠক সম্পর্কিত তথ্য পাবেন এবং ওয়েবসাইটের বিষয়ভিত্তিক কাঠামোও পরিষ্কার হবে। তবে আলোচ্য অবস্থায় পেজটি ইতিমধ্যে ক্রল হয়েছে। তাই অভ্যন্তরীণ সংযোগ কম থাকাকে সরাসরি ইনডেক্স না হওয়ার নিশ্চিত কারণ বলা যাবে না।

কারিগরি এসইও যাচাইয়ে যে বিষয়গুলো পরীক্ষা করবেন

লেখার মান ভালো হলেও কারিগরি ত্রুটির কারণে গুগল তার সম্পূর্ণ অংশ ঠিকমতো পড়তে নাও পারে। এ কারণে গুগল সার্চ কনসোলের তথ্যের সঙ্গে পেজের বর্তমান অবস্থা মিলিয়ে দেখা দরকার।

এইচটিটিপি অবস্থা ও সার্ভারের প্রতিক্রিয়া

ইনডেক্স করার উদ্দেশ্যে তৈরি সাধারণ ওয়েবপেজের ক্ষেত্রে সার্ভার থেকে সফল প্রতিক্রিয়া পাওয়া জরুরি। পেজটি এইচটিটিপি ২০০ সংকেত দিচ্ছে কি না, পরীক্ষা করুন। পাশাপাশি ৪০৪, ৫০০, ৫০৩ কিংবা ৪২৯-এর মতো প্রতিক্রিয়া ঘটছে কি না দেখুন।

এই সংকেতগুলোর অর্থ আলাদা।

• এইচটিটিপি ২০০: সার্ভার সফলভাবে প্রতিক্রিয়া দিয়েছে। তবে পেজটি ইনডেক্স হবে, তার নিশ্চয়তা নেই।
• এইচটিটিপি ৪০৪: নির্দিষ্ট পেজ বা উপাদান পাওয়া যাচ্ছে না। কোনো পেজ স্থায়ীভাবে সরিয়ে দেওয়া হলে এই প্রতিক্রিয়া স্বাভাবিকও হতে পারে।
• এইচটিটিপি ৫০০ বা ৫০৩: সার্ভার অনুরোধ পূরণ করতে ব্যর্থ হয়েছে। সমস্যা দীর্ঘস্থায়ী হলে ক্রলিং ও ইনডেক্সিংয়ে প্রভাব পড়তে পারে।
• এইচটিটিপি ৪২৯: অতিরিক্ত অনুরোধের কারণে সার্ভার সীমাবদ্ধতার সংকেত দিচ্ছে। গুগলের ক্রলার এটিকে সার্ভারের অতিরিক্ত চাপের সংকেত হিসেবে বিবেচনা করে।

এসব ত্রুটি গুগল সার্চ কনসোলে পৃথক কারণের অধীনে দেখা যেতে পারে। ফলে ক্রল করার পরও ইনডেক্স না হওয়ার অবস্থার সরাসরি ব্যাখ্যা হিসেবে এগুলোকে ধরে নেওয়া ঠিক নয়। কখনো সাধারণ ব্রাউজারে পেজ ঠিকমতো দেখা গেলেও গুগলবটের অনুরোধে সার্ভার ভিন্ন প্রতিক্রিয়া দিতে পারে। সার্ভারের কার্যক্রমের নথিতে গুগলবটের অনুরোধ, প্রতিক্রিয়ার সংকেত ও সময় পরীক্ষা করলে বিষয়টি বোঝা সহজ হয়। আরেকটি সমস্যা হলো সফট ৪০৪। কোনো পেজ এইচটিটিপি ২০০ প্রতিক্রিয়া দিলেও মূল লেখায় পেজ না পাওয়ার বার্তা বা কার্যত ফাঁকা তথ্য থাকলে গুগল সেটিকে সফট ৪০৪ হিসেবে বিবেচনা করতে পারে।

ইনডেক্স না করার নির্দেশনা ও রোবটস ফাইল

পেজের এইচটিএমএলে ইনডেক্স না করার নির্দেশনা থাকলে গুগল সেটিকে ইনডেক্স করবে না, যদি ক্রল করার সময় নির্দেশনাটি শনাক্ত করতে পারে। ওয়েবসাইটের এসইও সম্প্রসারণ ব্যবস্থা, পেজের নকশা কিংবা সার্ভারের বিশেষ এইচটিটিপি নির্দেশনা থেকে এটি আসতে পারে।

অন্যদিকে, রোবটস ডট টিএক্সটি ফাইল মূলত ক্রলিং নিয়ন্ত্রণ করে। এটি ইনডেক্সিং বন্ধ করার নির্দেশনার বিকল্প নয়। কোনো পেজে ইনডেক্স না করার নির্দেশনা দেওয়ার পাশাপাশি রোবটস ফাইল দিয়ে ক্রলিং বন্ধ করা হলে গুগল সেই নির্দেশনাটি দেখতে নাও পারে।

সরাসরি ইনডেক্সিং নিষেধাজ্ঞা বা ক্রলিং বন্ধ থাকার কারণে বাদ পড়া পেজ সাধারণত গুগল সার্চ কনসোলে আলাদা কারণের অধীনে দেখা যায়। তবু আগে ক্রল হওয়া পেজের সেটিং পরবর্তী সময়ে বদলে গেলে সেটিও যাচাই করা প্রয়োজন।

মূল ইউআরএল সঠিক আছে কি না

একই লেখার একাধিক সংস্করণ থাকলে ক্যানোনিক্যাল নির্দেশনা দিয়ে পছন্দের মূল ইউআরএল জানানো যায়। কিন্তু ভুল করে একটি স্বতন্ত্র নিবন্ধের মূল ঠিকানা অন্য নিবন্ধে নির্দেশ করা হলে গুগলকে অসংগত সংকেত দেওয়া হতে পারে।

যাচাইয়ের সময় দেখুন, নির্দেশিত ইউআরএল সঠিক, কার্যকর ও প্রবেশযোগ্য কি না। সাইটম্যাপ এবং অভ্যন্তরীণ সংযোগেও পছন্দের একই ইউআরএল ব্যবহার হচ্ছে কি না, তা মিলিয়ে নিন। একাধিক কারিগরি নির্দেশনার মধ্যে বিরোধ থাকলে সেটিও সংশোধন করা দরকার।

ক্যানোনিক্যাল নির্দেশনা গুগলের জন্য শক্তিশালী সংকেত হলেও চূড়ান্ত নির্বাচন গুগল নিজেই করতে পারে। প্রয়োজন অনুযায়ী মূল পেজে নিজের ঠিকানাকে মূল সংস্করণ হিসেবে নির্দেশ করা ভালো চর্চা। তবে শুধু এটি যোগ করলেই নকল পেজ বা ইনডেক্সিং সমস্যা দূর হবে না।

জাভাস্ক্রিপ্ট ও পেজ প্রদর্শনের সমস্যা

জাভাস্ক্রিপ্টনির্ভর ওয়েবসাইটে মূল লেখা কখনো বিশেষ প্রোগ্রাম চালানোর পর প্রদর্শিত হয়। কোনো প্রোগ্রাম ব্যর্থ হলে অথবা প্রয়োজনীয় উপাদান লোড না হলে গুগল অসম্পূর্ণ পেজ দেখতে পারে।

ইউআরএলের সরাসরি পরীক্ষায় পেজের প্রদর্শিত সংস্করণ দেখুন। মূল লেখা, শিরোনাম ও প্রয়োজনীয় সংযোগ পাওয়া যাচ্ছে কি না, পরীক্ষা করুন।

পেজের ছবিতে শুধু লোড হওয়ার চিহ্ন, ফাঁকা জায়গা বা ত্রুটির বার্তা দেখা গেলে আরও অনুসন্ধান দরকার। প্রয়োজনে প্রক্রিয়াকরণের পর তৈরি এইচটিএমএল পরীক্ষা করুন, কারণ পেজের ছবি একা সব সমস্যা শনাক্ত করার জন্য যথেষ্ট নয়। এ ধরনের ত্রুটি পাওয়া গেলে লেখা সম্পাদনার আগে পেজ প্রদর্শনের সমস্যা সমাধান করতে হবে।

পেজের মান যাচাই করবেন যেভাবে

কারিগরি পরীক্ষায় উল্লেখযোগ্য সমস্যা না পাওয়া গেলে গুরুত্বপূর্ণ পেজগুলোর লেখা পর্যালোচনা করুন। এখানে সব পেজের জন্য একই সিদ্ধান্ত নেওয়া উচিত নয়।

যেসব পেজ উন্নত করা উচিত

কোনো নিবন্ধে তথ্যের ঘাটতি থাকলেও বিষয়টির পাঠকচাহিদা রয়েছে এবং সেটি ওয়েবসাইটের মূল বিষয়বস্তুর সঙ্গে সম্পর্কিত হলে উন্নত করা যৌক্তিক।

অসম্পূর্ণ ব্যাখ্যা পূরণ করুন। পুরোনো তথ্য সংশোধন করুন। পাঠকের বাস্তব সমস্যা সমাধানে প্রয়োজনীয় উদাহরণ বা নির্দেশনা যোগ করুন।

বিশেষজ্ঞের বক্তব্য, পরিসংখ্যান কিংবা ব্যক্তিগত অভিজ্ঞতা যোগ করলে তার ভিত্তি যাচাইযোগ্য হতে হবে।

যেসব পেজ একত্র করা ভালো

একই ধরনের অনুসন্ধানের উদ্দেশ্যে একাধিক দুর্বল নিবন্ধ তৈরি হলে সেগুলো একত্র করার কথা ভাবুন। ধরা যাক, একটি ওয়েবসাইটে ‘অভ্যন্তরীণ সংযোগ কী’, ‘অভ্যন্তরীণ সংযোগের সুবিধা’ এবং ‘অভ্যন্তরীণ সংযোগ তৈরির নিয়ম’ নিয়ে তিনটি ছোট নিবন্ধ আছে।

তিনটি আলাদা রাখার পরিবর্তে একটি পূর্ণাঙ্গ নির্দেশিকা পাঠকের জন্য বেশি কার্যকর হতে পারে। তবে প্রতিটি নিবন্ধ আলাদা অনুসন্ধানের উদ্দেশ্য পূরণ করলে সেগুলো পৃথক রাখারও যুক্তি রয়েছে।

লেখা একত্র করার সময় পুরোনো ইউআরএলের প্রয়োজন, অন্য ওয়েবসাইট থেকে আসা সংযোগ এবং স্থায়ীভাবে নতুন ঠিকানায় পাঠানোর বিষয় বিবেচনা করুন।

যেসব পেজ ইনডেক্স না হলেও সমস্যা নেই

সব ইউআরএলকে গুগল সার্চে আনার প্রয়োজন নেই। অপ্রয়োজনীয় তথ্য বাছাইয়ের পেজ, বিকল্প ইউআরএল কিংবা একই তথ্যের পুনরাবৃত্ত সংস্করণ অনেক সময় আলাদাভাবে ইনডেক্স করার উপযুক্ত নয়।

এসব পেজের জন্য সময় ব্যয় না করে গুরুত্বপূর্ণ নিবন্ধ, সেবা বা পণ্যের পেজকে অগ্রাধিকার দেওয়া বেশি বাস্তবসম্মত।

অভ্যন্তরীণ সংযোগ ও সাইটম্যাপ কীভাবে ঠিক করবেন?

ইনডেক্স করার উদ্দেশ্যে তৈরি গুরুত্বপূর্ণ পেজগুলো ওয়েবসাইটের স্বাভাবিক পথনির্দেশনা এবং প্রাসঙ্গিক লেখা থেকে পাওয়া যায় কি না, যাচাই করুন। পুরোনো জনপ্রিয় নিবন্ধ, বিষয়ভিত্তিক নির্দেশিকা এবং সংশ্লিষ্ট বিভাগের পেজ থেকে প্রয়োজনীয় সংযোগ যোগ করা যেতে পারে।

সংযোগগুলো সাধারণ এইচটিএমএলের উপযুক্ত সংযোগ উপাদান এবং কার্যকর গন্তব্য ঠিকানা ব্যবহার করে তৈরি হয়েছে কি না, সেটিও দেখুন। সংযোগের দৃশ্যমান লেখায় গন্তব্য পেজের বিষয় স্বাভাবিকভাবে বোঝানো উচিত। প্রতিটি সংযোগে একই মূল শব্দগুচ্ছ বসানোর প্রয়োজন নেই।

এরপর এক্সএমএল সাইটম্যাপ পরীক্ষা করুন। গুগল সার্চ কনসোলের ইনডেক্সিং বিভাগের সাইটম্যাপ অংশে সাইটম্যাপ জমা দেওয়া বা আগে জমা দেওয়া সাইটম্যাপের অবস্থা দেখা যায়। গুরুত্বপূর্ণ মূল ইউআরএলগুলো সাইটম্যাপে রয়েছে কি না, নিশ্চিত করুন। পেজে উল্লেখযোগ্য পরিবর্তন হলে সর্বশেষ পরিবর্তনের তারিখসংক্রান্ত তথ্যও হালনাগাদ করা যায়।

তবে এই তারিখ অবশ্যই প্রকৃত পরিবর্তনের সঙ্গে মিলতে হবে। উল্লেখযোগ্য পরিবর্তন ছাড়াই প্রতিদিন নতুন তারিখ বসানো ঠিক নয়। সাইটম্যাপ গুগলকে পেজ খুঁজে পেতে সাহায্য করে, কিন্তু সেখানে ইউআরএল রাখলেই পেজ ইনডেক্স হবে না।

ক্রল বাজেট কি এই সমস্যার জন্য দায়ী?

বড় ওয়েবসাইটে ক্রল বাজেট বিবেচনার প্রয়োজন হতে পারে। কিন্তু ক্রল করার পরও পেজ ইনডেক্স না হওয়ার অবস্থা দেখলেই ক্রল বাজেট কম, এমন সিদ্ধান্ত নেওয়া ভুল। কারণ আলোচ্য অবস্থায় গুগল পেজটি ইতিমধ্যে ক্রল করেছে। ক্রল বাজেটের সমস্যা বেশি প্রাসঙ্গিক, যখন বিপুলসংখ্যক গুরুত্বপূর্ণ ইউআরএল সময়মতো ক্রল হচ্ছে না।

বিশেষ করে বড় অনলাইন কেনাকাটার ওয়েবসাইট, ঘন ঘন পরিবর্তিত লেখাসমৃদ্ধ ওয়েবসাইট কিংবা অসংখ্য তথ্য বাছাইয়ের ইউআরএল তৈরি হওয়া সাইটে বিষয়টি খতিয়ে দেখার প্রয়োজন হতে পারে। গুগল সার্চ কনসোলের সেটিংস বিভাগের ক্রলিং পরিসংখ্যান অংশে ক্রলিংয়ের তথ্য, সার্ভারের প্রতিক্রিয়া ও প্রাপ্যতার সমস্যা দেখা যায়।

তবে এই প্রতিবেদন সব ধরনের প্রপার্টিতে পাওয়া যায় না। এটি ডোমেইন প্রপার্টি অথবা ওয়েবসাইটের মূল ঠিকানাভিত্তিক উপযুক্ত প্রপার্টির জন্য উপলব্ধ। প্রতিবেদনে বারবার সার্ভার ত্রুটি, দীর্ঘ প্রতিক্রিয়ার সময় কিংবা সার্ভারের সক্ষমতাসংক্রান্ত সমস্যা দেখা গেলে কারিগরি ব্যবস্থা নিন। ছোট ব্লগের কয়েকটি পেজ ইনডেক্স না হওয়ার জন্য প্রথমেই ক্রল বাজেট নিয়ে কাজ শুরু করা সাধারণত যুক্তিসংগত নয়।

সমস্যা সংশোধনের পর পুনরায় ইনডেক্সিংয়ের অনুরোধ

‘ক্রল করা হয়েছে, বর্তমানে ইনডেক্স করা হয়নি’ অবস্থায় থাকা ইউআরএল আবার জমা দেওয়ার প্রয়োজন নেই বলে গুগল সার্চ কনসোলের নির্দেশনায় উল্লেখ রয়েছে। সুতরাং এই অবস্থা দেখামাত্র ইনডেক্সিংয়ের অনুরোধ পাঠাবেন না। তবে গুরুত্বপূর্ণ পেজে উল্লেখযোগ্য পরিবর্তন করা হলে কিংবা শনাক্ত করা কারিগরি ত্রুটি সংশোধনের পর পুনরায় ক্রলিংয়ের অনুরোধ করা যেতে পারে।

প্রয়োজন হলে নিচের ধাপগুলো অনুসরণ করুন।

১. গুগল সার্চ কনসোলের ইউআরএল পরীক্ষার অংশে সংশোধিত পেজের ঠিকানা দিন।

২. লাইভ ইউআরএল পরীক্ষা চালিয়ে পেজে প্রবেশাধিকার ও শনাক্তযোগ্য সমস্যা পরীক্ষা করুন।

৩. পরীক্ষায় পেজটি ইনডেক্সিংয়ের উপযোগী দেখালে এবং প্রয়োজন থাকলে ইনডেক্সিংয়ের অনুরোধ করার সুবিধা নির্বাচন করুন।

৪. অনুরোধ জমা দেওয়ার পর পরবর্তী ক্রল এবং ইনডেক্সিংয়ের অবস্থা পর্যবেক্ষণ করুন।

এই সুবিধা ব্যবহারের জন্য সংশ্লিষ্ট গুগল সার্চ কনসোল প্রপার্টিতে প্রয়োজনীয় অনুমতি থাকতে হবে। অনুরোধ পাঠানোর সংখ্যারও সীমা রয়েছে। অনেক পেজ সংশোধন করা হলে সঠিকভাবে হালনাগাদ করা এক্সএমএল সাইটম্যাপ ব্যবহার করা বেশি সুবিধাজনক।

গুগল পুনরায় ক্রল করতে কয়েক দিন থেকে কয়েক সপ্তাহ সময় নিতে পারে। একই ইউআরএলের জন্য ঘন ঘন অনুরোধ পাঠালে প্রক্রিয়াটি দ্রুত হয় না। এখানে আরেকটি বিষয় মনে রাখা জরুরি। ইনডেক্সিংয়ের অনুরোধ গ্রহণ করা মানে পেজটি ইনডেক্সে যুক্ত হয়েছে, এমন নয়।

ইনডেক্সিং সমস্যার কারণে ওয়েবসাইটের পাঠকসংখ্যায় কী প্রভাব পড়ে?

গুগলের সার্চ ইনডেক্সে নেই এমন পেজ সাধারণ গুগল সার্চ ফলাফলের মাধ্যমে পাঠকের ক্লিক পেতে পারে না। ফলে গুরুত্বপূর্ণ নিবন্ধ, পণ্য বা সেবার পেজ ইনডেক্স না হলে সার্চ থেকে সম্ভাব্য পাঠক হারানোর ঝুঁকি থাকে। তবে ইনডেক্স না হওয়া পেজের সংখ্যা দেখে সরাসরি পাঠক হারানোর পরিমাণ নির্ধারণ করা যায় না।

উদাহরণ হিসেবে, দশটি গুরুত্বপূর্ণ নিবন্ধ ইনডেক্স না হওয়ার ব্যবসায়িক প্রভাব শতাধিক অপ্রয়োজনীয় তথ্য বাছাইয়ের ইউআরএল ইনডেক্স না হওয়ার চেয়ে বেশি হতে পারে।

যেসব পেজ আগে ইনডেক্সে ছিল, সেগুলোর ক্ষেত্রে গুগল সার্চ কনসোলের কার্যসম্পাদন প্রতিবেদনে সার্চ ফলাফলে প্রদর্শনের সংখ্যা ও ক্লিক কমেছে কি না, দেখুন। পাশাপাশি নিবন্ধ প্রকাশের তারিখ, লেখার পরিবর্তন এবং শেষ ক্রলের তথ্য মিলিয়ে নিন। পাঠক কমার অন্য কারণও থাকতে পারে। কোনো ওয়েবসাইটে সার্চ থেকে আসা পাঠক কমলেই তার জন্য ক্রল করার পরও ইনডেক্স না হওয়ার অবস্থাকে দায়ী করা ঠিক নয়।

সমস্যা সংশোধনের পরও পেজ ইনডেক্স না হলে কী করবেন?

প্রথমে নিশ্চিত করুন, গুগল সংশোধিত সংস্করণটি আবার ক্রল করেছে কি না। সর্বশেষ ক্রল যদি পরিবর্তনের আগের হয়, তাহলে পুরোনো অবস্থা দেখে সংশোধনের ফলাফল বোঝা যাবে না। নতুন ক্রল হওয়ার পরও একই অবস্থা থাকলে পেজটির উদ্দেশ্য আবার পর্যালোচনা করুন।

বিশেষভাবে দেখুন, একই ওয়েবসাইট বা সার্চ ফলাফলে থাকা অন্য লেখার তুলনায় পেজটি পাঠকের জন্য কী আলাদা মূল্য দিচ্ছে। কারিগরি ত্রুটি না পাওয়া গেলে বারবার সেটিং বদলানোর পরিবর্তে লেখার প্রকৃত উপযোগিতা নিয়ে কাজ করা বেশি যুক্তিসংগত হতে পারে।

গুগল সব উপযুক্ত পেজ ইনডেক্স করবে, এমন নিশ্চয়তা দেয় না। কোনো ইনডেক্সিং সরঞ্জাম, সফটওয়্যারের অতিরিক্ত সুবিধা কিংবা অর্থের বিনিময়ে দেওয়া সেবাও সাধারণ ওয়েবপেজ গুগলে ইনডেক্স হওয়ার নিশ্চয়তা দিতে পারে না।

কোন পেজ আগে ঠিক করবেন?

সব প্রভাবিত ইউআরএল একসঙ্গে সংশোধন করার প্রয়োজন নেই। প্রথমে সেই পেজগুলো বেছে নিন, যেগুলো ওয়েবসাইটের মূল বিষয়বস্তু, গুরুত্বপূর্ণ সেবা, পণ্য কিংবা পাঠকের নির্দিষ্ট প্রয়োজনের সঙ্গে সম্পর্কিত।

তারপর ইউআরএল পরীক্ষার তথ্য দেখে কাজের অগ্রাধিকার ঠিক করুন। পরিষ্কার কারিগরি ত্রুটি পাওয়া গেলে সেটি সংশোধন করুন। লেখা দুর্বল হলে উন্নত করুন। কাছাকাছি ধরনের একাধিক পেজ থাকলে সেগুলো আলাদা রাখার প্রয়োজন আছে কি না, যাচাই করুন।

অপ্রয়োজনীয় ইউআরএল ইনডেক্স করানোর চেষ্টা না করাই ভালো। ক্রল করার পরও পেজ ইনডেক্স না হওয়ার সমস্যার সমাধান মানে প্রতিটি ইউআরএলকে জোর করে ইনডেক্স করানো নয়। গুরুত্বপূর্ণ পেজগুলো যেন গুগলের কাছে প্রবেশযোগ্য, স্বতন্ত্র এবং পাঠকের জন্য যথেষ্ট উপযোগী হয়, সেটিই লক্ষ্য হওয়া উচিত।

সংশোধনের আগে ও পরে পেজের অবস্থা নথিভুক্ত রাখুন। এতে ভবিষ্যতে একই সমস্যা দেখা দিলে অনুমানের বদলে আগের ক্রল, পরিবর্তন এবং ইনডেক্সিংয়ের তথ্য মিলিয়ে সিদ্ধান্ত নেওয়া যাবে।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

১. গুগল ক্রল করার পরও পেজ ইনডেক্স না করলে কি ওয়েবসাইটকে শাস্তি দেওয়া হয়েছে?

না। ‘ক্রল করা হয়েছে, বর্তমানে ইনডেক্স করা হয়নি’ অবস্থা দেখানোর অর্থ এই নয় যে গুগল ওয়েবসাইটকে শাস্তি দিয়েছে। কোনো পেজ ক্রল করার পরও গুগল সেটিকে ইনডেক্সে না রাখার সিদ্ধান্ত নিতে পারে। ওয়েবসাইটে গুগলের কোনো ম্যানুয়াল ব্যবস্থা নেওয়া হয়েছে কি না, তা জানতে সার্চ কনসোলের ‘ম্যানুয়াল অ্যাকশনস’ প্রতিবেদন পরীক্ষা করতে হবে।

২. ইনডেক্স না হওয়া পেজ কি অন্য উৎস থেকে পাঠক পেতে পারে?

হ্যাঁ। গুগলের সার্চ ইনডেক্সে না থাকলেও পেজটি সামাজিক যোগাযোগমাধ্যম, অন্য ওয়েবসাইটের সংযোগ কিংবা সরাসরি ইউআরএল ব্যবহারের মাধ্যমে পাঠক পেতে পারে। তবে সাধারণ গুগল সার্চ ফলাফল থেকে ওই পেজে স্বাভাবিক অনুসন্ধানভিত্তিক ক্লিক আসবে না। তাই ইনডেক্স না হওয়া এবং পেজে কোনো পাঠক না আসা এক বিষয় নয়।

৩. একাধিক নিবন্ধ একত্র করলে পুরোনো ইউআরএলগুলোর কী করবেন?

প্রথমে নির্ধারণ করুন, কোন পেজটি পাঠকের জন্য সবচেয়ে পূর্ণাঙ্গ ও প্রাসঙ্গিক। অন্য নিবন্ধগুলোর প্রয়োজনীয় তথ্য সেই পেজে যুক্ত করা যেতে পারে। পুরোনো পেজগুলো স্থায়ীভাবে সরিয়ে দিলে এবং নতুন পেজটি উপযুক্ত বিকল্প হলে স্থায়ী রিডাইরেক্ট ব্যবহার করুন। এতে পুরোনো ঠিকানা অনুসরণকারী পাঠক প্রাসঙ্গিক নতুন পেজে পৌঁছাতে পারবেন। তবে ভিন্ন উদ্দেশ্যের নিবন্ধ অকারণে একত্র করা উচিত নয়।

৪. নিবন্ধের প্রকাশের তারিখ পরিবর্তন করলে কি গুগল দ্রুত ইনডেক্স করবে?

শুধু প্রকাশের তারিখ পরিবর্তন করলে দ্রুত ইনডেক্স হওয়ার নিশ্চয়তা নেই। একইভাবে সাইটম্যাপে সর্বশেষ পরিবর্তনের তারিখ বদলালেও ইনডেক্সিং নিশ্চিত হয় না। নিবন্ধে বাস্তব ও উল্লেখযোগ্য পরিবর্তন হলে সংশ্লিষ্ট তারিখ হালনাগাদ করা যেতে পারে। গুগলের কাছে পেজের প্রকৃত পরিবর্তন এবং তার উপযোগিতাই বিবেচনার বিষয়।