ইনডেক্স ব্লোট কমাতে ট্যাগ, সার্চ ও আর্কাইভ পেজ অডিট

একটি সাইটে ৫,০০০টি ভালো নিবন্ধ থাকলেই গুগলের সামনে ৫,০০০টি ইউআরএল থাকবে—বাস্তবে বিষয়টি এমন নয়। ওয়ার্ডপ্রেস বা অন্য কনটেন্ট ম্যানেজমেন্ট সিস্টেম একই কনটেন্টকে বিভাগ, ট্যাগ, লেখক আর্কাইভ, তারিখভিত্তিক আর্কাইভ, সার্চ ফলাফল, পৃষ্ঠা বিভাজন এবং নানা প্যারামিটারভিত্তিক ইউআরএলের মাধ্যমে আরও অনেক ঠিকানায় দেখাতে পারে।

সমস্যা ইউআরএল বেশি হওয়া নয়। সমস্যা শুরু হয় তখন, যখন সেই অতিরিক্ত ইউআরএলের বড় একটি অংশ সার্চে আলাদা কোনো কাজ করছে না।

এই জায়গাতেই ইনডেক্স ব্লোট ক্লিনআপ দরকার। তবে ক্লিনআপ মানে সব ট্যাগ বা আর্কাইভ পেজে একসঙ্গে noindex বসিয়ে দেওয়া নয়। কোন ইউআরএল রাখা উচিত, কোনটি সার্চের বাইরে রাখা ভালো, আর কোনটি একেবারেই সরিয়ে দেওয়া যায়—এই তিনটি সিদ্ধান্ত আলাদা করে নিতে হয়।

“ইনডেক্স ব্লোট” নামে গুগলের কোনো আলাদা র‍্যাঙ্কিং শাস্তি নেই। তাই ইনডেক্স হওয়া ইউআরএলের সংখ্যা কমানোকে লক্ষ্য বানালে অডিট ভুল দিকে যেতে পারে। বরং দেখতে হবে গুগল এমন ইউআরএল ক্রল বা ইনডেক্স করছে কি না, যেগুলো ব্যবহারকারী ও সার্চ—কোনোটির জন্যই খুব একটা মূল্য তৈরি করছে না।

প্রথমে সংখ্যার বদলে ইউআরএলের ধরন দেখুন

সার্চ কনসোল খুলে যদি দেখেন আপনার প্রকাশিত কনটেন্টের তুলনায় গুগল অনেক বেশি ইউআরএল চিনছে, তখন সরাসরি উদ্বিগ্ন হওয়ার দরকার নেই।

আগে দেখুন অতিরিক্ত ইউআরএল আসছে কোথা থেকে।

একই সাইটে এমন ইউআরএল থাকা খুব স্বাভাবিক:

/tag/seo/

/category/seo/

/author/name/

/2026/09/

/?s=technical+seo

?orderby=date

এর সঙ্গে পৃষ্ঠা বিভাজন, ফিল্টার, সাজানোর অপশন এবং অন্য প্যারামিটারভিত্তিক ইউআরএল যোগ হলে মোট সংখ্যা দ্রুত বাড়তে পারে।

সার্চ কনসোলের পেজ ইনডেক্সিং প্রতিবেদন এখানে শুরু করার ভালো জায়গা। তবে একটি সীমাবদ্ধতা মনে রাখা দরকার: সেখানে দেখানো উদাহরণ ইউআরএলকে পূর্ণ তালিকা ধরে নেওয়া যাবে না। বড় সাইটে সাইটম্যাপ, কনটেন্ট ম্যানেজমেন্ট সিস্টেমের তথ্য, ক্রলার এবং সার্ভার লগও দেখতে হয়।

এখানে আসল প্রশ্ন খুব সাধারণ:

এই ইউআরএলটি গুগল সার্চ থেকে কেউ খুঁজে পেলে তার জন্য আলাদা কোনো মূল্য আছে কি?

অনেক সিদ্ধান্ত এই এক প্রশ্নেই পরিষ্কার হয়ে যায়।

ছোট সাইটে ক্রল বাজেট নিয়ে অতিরিক্ত চিন্তা না করাই ভালো

ইনডেক্স ব্লোট নিয়ে লেখা পড়তে গিয়ে ক্রল বাজেটকে অনেক সময় এমনভাবে উপস্থাপন করা হয় যেন কয়েক হাজার ইউআরএল হলেই গুগল গুরুত্বপূর্ণ পেজ ক্রল করা বন্ধ করে দেবে।

বাস্তবে গুগলের ক্রল বাজেট নির্দেশনা মূলত বড় বা দ্রুত পরিবর্তনশীল সাইটের জন্য বেশি প্রাসঙ্গিক। লাখ লাখ ইউআরএল, প্রতিদিন দ্রুত বদলানো হাজার হাজার পেজ, অথবা বিপুল “আবিষ্কৃত—বর্তমানে ইনডেক্স করা হয়নি” ইউআরএল থাকলে ক্রল দক্ষতা বড় বিষয় হয়ে ওঠে।

ছোট ব্লগ বা মাঝারি কনটেন্ট সাইটের ক্ষেত্রে আগে অন্য জিনিস দেখা বেশি জরুরি: গুরুত্বপূর্ণ নিবন্ধ ইনডেক্স হচ্ছে কি না, শ্রেণিবিন্যাস অযথা ছড়িয়ে পড়েছে কি না, এবং একই ধরনের পেজ বারবার তৈরি হচ্ছে কি না।

অন্যদিকে বড় প্রকাশনা বা ই-কমার্স সাইটে পরিস্থিতি ভিন্ন। ফিল্টার, সাজানোর অপশন এবং বহু-মাত্রিক নেভিগেশন থেকে অসংখ্য ইউআরএল তৈরি হলে বিষয়টি হালকাভাবে নেওয়া যায় না। সেখানে গুগলবট একই ধরনের ইউআরএল ঘুরে ঘুরে ক্রল করলে সার্ভারের সম্পদ ব্যবহার বাড়তে পারে এবং নতুন গুরুত্বপূর্ণ ইউআরএল খুঁজে পেতে দেরি হতে পারে।

ট্যাগ পেজে সবচেয়ে বেশি অপ্রয়োজনীয় ইউআরএল জমে

অনেক সাইটে ইনডেক্স ক্লিনআপ শুরু করার সবচেয়ে বাস্তব জায়গা ট্যাগ আর্কাইভ। কারণ ট্যাগ তৈরি করা সহজ। মুছে ফেলা বা একীভূত করার কাজটি পরে আর করা হয় না।

ধরুন একই পোস্টে “এসইও”, “এসইও টিপস”, “গুগল এসইও” এবং “সার্চ ইঞ্জিন অপ্টিমাইজেশন” ব্যবহার করা হলো। সম্পাদকীয় দৃষ্টিতে এগুলো আলাদা শ্রেণিবিন্যাস না-ও হতে পারে, কিন্তু কনটেন্ট ম্যানেজমেন্ট সিস্টেম চারটি আলাদা আর্কাইভ তৈরি করবে।

একটি ভালো ট্যাগ পেজের পেছনে কিছু যুক্তি থাকা উচিত। সেটি একটি নির্দিষ্ট বিষয়কে ধরবে, নিয়মিত কনটেন্ট পাবে এবং বিভাগের প্রায় হুবহু নকল হবে না।

কিন্তু কোনো ট্যাগে যদি একটি বা দুটি পোস্ট থাকে, আরেকটি ট্যাগের সঙ্গে প্রায় একই অর্থ হয়, কিংবা কয়েক বছর ধরে আর ব্যবহারই না হয়—তাহলে সার্চে সেটিকে আলাদা গন্তব্য পেজ হিসেবে রাখার কারণ খুব দুর্বল।

সেখানে noindex একমাত্র সমাধান নয়।

পেজটি নেভিগেশনের জন্য দরকার হলে noindex করা যায়। একই ধরনের দুটি শ্রেণিবিন্যাস থাকলে একীভূত করা বা পুনর্নির্দেশ বেশি যুক্তিযুক্ত হতে পারে। আর ইউআরএলটির আর কোনো কাজই না থাকলে সেটি সরিয়েও দেওয়া যায়।

প্রাসঙ্গিক বিকল্প না থাকলে 404 বা 410 হওয়াও ভুল নয়।

বিভাগ নিয়ে একটু বেশি সাবধান হওয়া দরকার

ট্যাগ এবং বিভাগ দেখতে কাছাকাছি হলেও সাইটে তাদের ভূমিকা এক নয়। ভালোভাবে সাজানো বিভাগ সাধারণত সাইটের তথ্য কাঠামোর অংশ। একটি প্রযুক্তি প্রকাশনায় এসইও, কৃত্রিম বুদ্ধিমত্তা এবং সাইবার নিরাপত্তা আলাদা সম্পাদকীয় বিভাগ হতে পারে। ব্যবহারকারীও এগুলো ধরে কনটেন্ট খুঁজতে পারেন।

তাই ট্যাগ পরিষ্কারের একই নিয়ম বিভাগে চালানো ঠিক হবে না।

তবে একটি পরিচিত সমস্যা আছে:

/category/seo/

এবং

/tag/seo/

দুটোই যদি প্রায় একই পোস্টের তালিকা দেখায়, তাহলে প্রশ্ন উঠবে—দুটি গন্তব্য পেজ সত্যিই দরকার কি?

এখানে canonical দিয়ে সমস্যা লুকিয়ে ফেলাও ভালো পদ্ধতি নয়। canonical মূলত একই বা খুব কাছাকাছি পেজের মধ্যে পছন্দের ইউআরএল বোঝাতে ব্যবহৃত হয়। শুধু ইনডেক্স সংখ্যা কমানোর জন্য আলাদা উদ্দেশ্যের পেজকে একে অপরের canonical বানানো উচিত নয়।

অভ্যন্তরীণ সার্চ ইউআরএল আলাদা করে দেখুন

সাইটের সার্চ বক্স পাঠকের জন্য উপকারী। সার্চ ফলাফলের ইউআরএল গুগলের জন্যও সমান উপকারী—এমন ধরে নেওয়ার কারণ নেই।

ওয়ার্ডপ্রেসে যেমন:

/?s=iphone

অথবা

/?s=best+phone

প্রতিটি নতুন অনুসন্ধান নতুন ইউআরএল তৈরি করতে পারে। কোনো সাইটে সার্চ সুবিধা খুব খোলা থাকলে এমন ইউআরএলের সংখ্যা অনেক বড় হয়ে যেতে পারে।

সাধারণ কনটেন্ট সাইটে এসব অভ্যন্তরীণ সার্চ ফলাফলের আলাদা সার্চ মূল্য না থাকলে noindex রাখা যৌক্তিক।

তবে এখানে একটি প্রযুক্তিগত ভুল প্রায়ই দেখা যায়।

আগে robots.txt দিয়ে বন্ধ করলে noindex কাজ নাও করতে পারে

গুগলকে noindex দেখতে হলে পেজ ক্রল করতে দিতে হবে। অর্থাৎ আপনি যদি আগে থেকেই ইউআরএলটি robots.txt দিয়ে বন্ধ করেন, গুগলবট পেজে ঢুকে noindex নির্দেশ পড়তে পারবে না।

তাই ইতিমধ্যে ইনডেক্স হওয়া সার্চ ইউআরএল সরানোর ক্ষেত্রে সাধারণত আগে noindex কার্যকর হতে দেওয়া নিরাপদ। ইউআরএল ইনস্পেকশন বা পেজ ইনডেক্সিং প্রতিবেদন দিয়ে অবস্থা দেখা যায়।

দ্রুত সাময়িকভাবে কোনো ইউআরএল সার্চ থেকে আড়াল করতে হলে সার্চ কনসোলের রিমুভালস টুল কাজে আসতে পারে, কিন্তু সেটিকে স্থায়ী সমাধান ভাবা যাবে না। আরেকটি বিষয়ও আলাদা করে রাখা দরকার: noindex ইনডেক্স নিয়ন্ত্রণের ব্যবস্থা, ক্রল বাজেট নিয়ন্ত্রণের নয়।

আরও পড়ুন: Technical SEO Audit কোথা থেকে শুরু করবেন: ধাপে ধাপে পূর্ণ গাইড

তারিখভিত্তিক আর্কাইভ সব সাইটে একইভাবে বিচার করবেন না

একটি চিরসবুজ টিউটোরিয়াল সাইটে “২০২৫ সালের মার্চের সব পোস্ট” সার্চ ব্যবহারকারীর জন্য খুব শক্তিশালী গন্তব্য পেজ নাও হতে পারে।

সংবাদমাধ্যমে একই সিদ্ধান্ত সব সময় ঠিক হবে না।

সংবাদ আর্কাইভ, জার্নাল বা সময়ক্রম গুরুত্বপূর্ণ এমন সাইটে মাস বা বছরের আর্কাইভ নেভিগেশনের বাস্তব কাজ করতে পারে। তাই তারিখভিত্তিক আর্কাইভ দেখেই noindex করার বদলে দেখুন পেজটি ব্যবহার হচ্ছে কি না, সার্চ থেকে ভিজিট পাচ্ছে কি না এবং অন্য আর্কাইভের সঙ্গে কতটা মিল আছে।

মূল পার্থক্যটি এখানেই: কোনো পেজ দুর্বল দেখাচ্ছে, নাকি সত্যিই অপ্রয়োজনীয়?

দুটি এক বিষয় নয়।

লেখক আর্কাইভও সাইটের ধরন অনুযায়ী বিচার করুন

একজন লেখকের ব্লগে লেখক আর্কাইভ অনেক সময় হোমপেজ বা ব্লগ তালিকার আরেকটি সংস্করণ হয়ে দাঁড়ায়।

একটি বড় প্রকাশনায় আবার লেখক পেজের কাজ একেবারে আলাদা হতে পারে। সেখানে লেখকের পরিচিতি, তাঁর কাজের ক্ষেত্র এবং প্রকাশিত লেখার তালিকা এক জায়গায় পাওয়া যায়।

তাই শুধু “লেখক আর্কাইভ” নাম দেখে সিদ্ধান্ত নেওয়া ঠিক হবে না।

পেজটির নিজস্ব উদ্দেশ্য আছে কি না, সেটিই মূল বিচার।

পৃষ্ঠা বিভাজনকে নকল পেজ ধরে noindex করবেন না

/page/2/ বা /page/3/ দেখেই এগুলোকে নকল পেজ ধরে noindex করা ঠিক নয়।

গুগল পৃষ্ঠা বিভাজিত ধারার প্রতিটি পেজের জন্য আলাদা ইউআরএল এবং নিজস্ব canonical ব্যবহারের পরামর্শ দেয়। পুরো ধারার সব পেজ প্রথম পেজের canonical হওয়া উচিত—এমনও নয়।

এই পেজগুলোর ক্রলযোগ্য লিংক অনুসরণ করেই ক্রলার অনেক সময় পুরোনো নিবন্ধ বা পণ্য খুঁজে পায়। সুতরাং পৃষ্ঠা বিভাজনকে ফিল্টার ইউআরএলের সঙ্গে এক কাতারে ফেলা যাবে না।

সাইটম্যাপ অডিটে খুব সাধারণ কিছু ভুল ধরা পড়ে

ইনডেক্স ক্লিনআপ করার পর এক্সএমএল সাইটম্যাপ একবার না দেখলে কাজ অসম্পূর্ণ থেকে যেতে পারে।

বিশেষ করে খুঁজুন:

• noindex ইউআরএল সাইটম্যাপে রয়ে গেছে কি না
• পুনর্নির্দেশ হওয়া পুরোনো ইউআরএল আছে কি না
• 404 বা 410 ইউআরএল জমা আছে কি না
• প্যারামিটারভিত্তিক ইউআরএল ঢুকে পড়েছে কি না
• পছন্দের canonical-এর বদলে বিকল্প ইউআরএল পাঠানো হচ্ছে কি না

সাইটম্যাপের কাজ গুগলকে সব ইউআরএল দেখানো নয়। কোন ইউআরএলগুলোকে আপনি গুরুত্বপূর্ণ ও মূল সংস্করণ হিসেবে দেখছেন, সেটি পরিষ্কার করাই বেশি গুরুত্বপূর্ণ।

ইনডেক্স হওয়া ইউআরএল কমলেই কাজ সফল হয়েছে ধরে নেবেন না

এখানেই ইনডেক্স ব্লোট ক্লিনআপের একটি বড় ভুল ধারণা আছে। ধরুন আগে গুগলে ৫০,০০০ ইউআরএল ইনডেক্স ছিল। ক্লিনআপের পরে ৩০,০০০ হলো।

২০,০০০ ইউআরএল কমে গেছে—শুনতে ভালো ফল মনে হতে পারে। কিন্তু কী হারিয়েছে, সেটিই আসল প্রশ্ন।

যদি বাদ পড়া ইউআরএলের বেশির ভাগ হয় পুরোনো ট্যাগ, অভ্যন্তরীণ সার্চ ফলাফল, নকল ফিল্টার এবং অপ্রয়োজনীয় আর্কাইভ, তাহলে পরিবর্তনটি পরিকল্পনা অনুযায়ী হয়েছে।

কিন্তু একই সঙ্গে গুরুত্বপূর্ণ নিবন্ধ বা বিভাগ ইনডেক্স থেকে হারালে সংখ্যাটি আর ইতিবাচক নয়। তাই ক্লিনআপের পরে শুধু ইনডেক্স হওয়া ইউআরএলের সংখ্যা দেখবেন না। গুরুত্বপূর্ণ ইউআরএলের ইনডেক্স অবস্থা, গুগল-নির্বাচিত canonical, স্বাভাবিক সার্চ থেকে পাওয়া প্রদর্শন, ক্লিক এবং ক্রল ধরন পাশাপাশি দেখুন।

সার্ভার লগ থাকলে আরও পরিষ্কার বোঝা যায় গুগলবট কোন ধরনের ইউআরএলে সময় ব্যয় করছে।

কয়েকটি ভুল এড়িয়ে চললেই বড় ঝুঁকি কমে

সবচেয়ে ঝুঁকিপূর্ণ ক্লিনআপ হলো যেখানে লক্ষ্য থাকে শুধু ইউআরএল কমানো।

সব ট্যাগ একসঙ্গে noindex করা, সব আর্কাইভকে নকল ধরে নেওয়া, পৃষ্ঠা বিভাজিত পেজগুলো প্রথম পেজে canonical করা বা noindex দেওয়ার আগেই robots.txt দিয়ে বন্ধ করে দেওয়া—এসব সিদ্ধান্ত একসঙ্গে নিলে প্রয়োজনীয় পেজও ক্ষতিগ্রস্ত হতে পারে।

একইভাবে কম শব্দ দেখেই কোনো আর্কাইভকে দুর্বল কনটেন্ট বলা ঠিক নয়। পেজ ছোট হতে পারে, কিন্তু ব্যবহারকারীর জন্য তার কাজ স্পষ্ট হতে পারে। টেকনিক্যাল এসইও অডিটে “কম” সব সময় “ভালো” নয়।

শুরুটা কোথা থেকে করবেন

পুরো সাইট একবারে পরিষ্কার করার দরকার নেই। প্রথমে এমন ইউআরএল ধরন বেছে নিন যেখানে সিদ্ধান্ত তুলনামূলকভাবে সহজ: অপ্রয়োজনীয় অভ্যন্তরীণ সার্চ ফলাফল, বহুদিনের পরিত্যক্ত ট্যাগ, খালি আর্কাইভ, নকল ফিল্টার এবং প্যারামিটারভিত্তিক ইউআরএল।

এরপর মূল বিভাগ ও গুরুত্বপূর্ণ শ্রেণিবিন্যাস দেখুন। সার্চ থেকে আসা ব্যবহারকারীর জন্য যেসব পেজ সত্যিই উপকারী গন্তব্য পেজ, সেগুলো রেখে উন্নত করা বেশি যুক্তিযুক্ত। নেভিগেশনের জন্য প্রয়োজন, কিন্তু সার্চে আলাদা মূল্য নেই—এমন পেজে noindex বিবেচনা করা যায়। আর যেসব ইউআরএলের আর কোনো কাজ নেই, তাদের ক্ষেত্রে একীভূত করা, পুনর্নির্দেশ, 404 বা 410—যেটি বাস্তব অবস্থার সঙ্গে মেলে সেটি বেছে নিন।

ইনডেক্স ব্লোট ক্লিনআপের কাজ গুগলের ইনডেক্স ছোট করা নয়। কাজ হলো সাইটের কোন ইউআরএল সার্চে থাকার যোগ্য, সেটি পরিষ্কার করা।

এই পার্থক্য ধরে অডিট করলে সিদ্ধান্ত অনেক কম যান্ত্রিক হয়—এবং প্রয়োজনীয় পেজ ভুল করে সরিয়ে দেওয়ার ঝুঁকিও কমে।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

ইনডেক্স ব্লোট আছে কি না দ্রুত কীভাবে বুঝব?

শুধু Google-এ ইনডেক্স হওয়া পেজের সংখ্যা দেখে সিদ্ধান্ত নেওয়া ঠিক নয়। আগে Search Console-এর Page Indexing প্রতিবেদন, XML sitemap এবং সাইটে তৈরি হওয়া URL-এর ধরন মিলিয়ে দেখুন। প্রকাশিত মূল কনটেন্টের তুলনায় অপ্রয়োজনীয় tag, internal search, filter বা archive URL অস্বাভাবিকভাবে বেশি হলে বিস্তারিত অডিট করা দরকার।

noindex দেওয়ার পর একটি পেজ Google থেকে সরতে কত সময় লাগে?

এর নির্দিষ্ট সময়সীমা নেই। Googlebot-কে পেজটি আবার crawl করে noindex নির্দেশ দেখতে হবে। ঘন ঘন crawl হওয়া URL দ্রুত বদলাতে পারে, আর কম crawl হওয়া URL-এর ক্ষেত্রে বেশি সময় লাগতে পারে। তাই পরিবর্তনের পর URL Inspection এবং Page Indexing প্রতিবেদন দিয়ে অবস্থা পর্যবেক্ষণ করা ভালো।

noindex করা পেজ কি XML sitemap-এ রাখা উচিত?

সাধারণভাবে না। XML sitemap-এ এমন URL রাখাই পরিষ্কার পদ্ধতি, যেগুলো আপনি Google Search-এ ইনডেক্স করাতে চান এবং পছন্দের মূল URL হিসেবে দেখছেন। একই URL-এ noindex দিয়ে আবার sitemap-এ পাঠালে পরস্পরবিরোধী সংকেত তৈরি হয়।

পুরোনো tag page সরালে কি সব ক্ষেত্রে redirect দিতে হবে?

না। কাছাকাছি অর্থের কোনো প্রাসঙ্গিক page থাকলে redirect যুক্তিযুক্ত হতে পারে। কিন্তু শুধু 404 এড়ানোর জন্য অপ্রাসঙ্গিক category বা homepage-এ redirect করা উচিত নয়। যথাযথ replacement না থাকলে 404 বা 410 response স্বাভাবিক হতে পারে।

কত ঘন ঘন tag ও archive page audit করা উচিত?

এর জন্য সবার ক্ষেত্রে প্রযোজ্য নির্দিষ্ট সময়সূচি নেই। যেসব প্রকাশনা নিয়মিত নতুন tag, category বা filter তৈরি করে, সেখানে পর্যায়ক্রমিক taxonomy audit বেশি দরকার। ছোট বা খুব কম পরিবর্তনশীল সাইটে নতুন URL pattern তৈরি হয়েছে কি না এবং Search Console-এ অস্বাভাবিক বৃদ্ধি দেখা যাচ্ছে কি না—সেটি দেখে audit-এর প্রয়োজন নির্ধারণ করা যায়।