What are meta robots?

Meta Robots Nedir ve Neden Önemlidir?

Meta robots etiketleri, web sitelerinin arama motorları tarafından nasıl taranıp dizine ekleneceğini kontrol etmeni sağlayan küçük ama güçlü kod parçacıklarıdır. Yani, arama motoru botlarına ("robotlar") sitenin hangi sayfalarını görmezden gelmesi gerektiğini veya hangi sayfaların ne şekilde davranması gerektiğini söylemenin bir yoludur. Bu, özellikle sitenin belirli bölümlerinin herkese açık olmasını istemediğin durumlarda veya SEO (Arama Motoru Optimizasyonu) stratejini daha iyi yönetmek istediğinde hayat kurtarıcı olabilir.

Temel Meta Robots Direktifleri ve Kullanım Alanları

Meta robots etiketlerinde kullanabileceğin iki ana direktif vardır: "index" ve "nofollow".

  • index: Bir sayfayı dizine ekle anlamına gelir. Varsayılan olarak sayfalar indekslenir. Yani, bu etiketi kullanmıyorsan, arama motorları o sayfayı bulup kendi veritabanlarına ekleyecektir. Eğer bir sayfayı arama sonuçlarında görmek istemiyorsan, bu direktifi kullanmamalısın.
  • nofollow: Bu direktif, arama motorlarına bir sayfadaki bağlantıları takip etmemelerini söyler. Bu genellikle reklam veya sponsorlu içerik içeren sayfalar için kullanılır. Deneyimlerime göre, sitendeki sayfa sıralamasını etkileyebilecek veya botların gereksiz yere dolaşmasını önlemek istediğin durumlarda da işe yarar.

Bu iki direktifi bir arada veya ayrı ayrı kullanabilirsin. Örneğin:

  • <meta name="robots" content="noindex, nofollow" />: Bu sayfanın ne dizine eklenmesini ne de içerdiği bağlantıların takip edilmesini istediğini belirtir.
  • <meta name="robots" content="index, follow" />: Bu sayfanın dizine eklenmesini ve içerdiği bağlantıların takip edilmesini söyler. (Bu zaten varsayılan olduğu için genellikle yazılmasına gerek yoktur.)
  • <meta name="robots" content="noindex" />: Sayfanın dizine eklenmemesini, ancak içerdiği bağlantıların takip edilmesini söyler.
  • <meta name="robots" content="nofollow" />: Sayfanın dizine eklenmesini, ancak içerdiği bağlantıların takip edilmemesini söyler.

Bunların dışında, spesifik arama motorlarına yönelik direktifler de kullanabilirsin. Örneğin, sadece Google için: <meta name="googlebot" content="noindex" /> gibi.

Meta Robots Etiketlerini Nereye Eklemeli?

Meta robots etiketleri, web sayfasının HTML kodunun <head> bölümüne eklenir. Basit bir örnek şöyle görünür:

<!DOCTYPE html>

<html>

<head>

<title>Örnek Sayfa</title>

<meta name="robots" content="noindex, follow" />

</head>

<body>

<p>Bu sayfa arama motorları tarafından dizine eklenmeyecek.</p>

</body>

</html>

Eğer sitenin tamamı için aynı meta robots kuralını uygulamak istiyorsan, bunu robots.txt dosyasında da belirleyebilirsin. Ancak, meta robots etiketleri sayfa bazında daha detaylı kontrol sağlar. Örneğin, sitenin genelinde indekslemeye izin verip sadece belirli bir sayfayı veya klasörü hariç tutmak istersen, meta etiketleri daha pratik olacaktır.

Hangi Durumlarda Meta Robots Kullanmalısın?

Deneyimlerime göre, meta robots etiketlerini kullanmak için birkaç yaygın ve etkili senaryo var:

  • Yönetici Panelleri veya Giriş Sayfaları: Kullanıcıların giriş yaptığı veya sitenin yönetici paneli gibi alanların arama sonuçlarında görünmesini istemezsin. Bu sayfalar genellikle kişisel bilgi içerir ve herkese açık olmamalıdır. Bu tür sayfalar için noindex direktifini kullanmak önemlidir.
  • Kopyala-Yapıştır İçerik: Aynı içeriğin farklı URL'lerde bulunduğu durumlarda (örneğin, bazı e-ticaret sitelerinde ürün varyasyonları için), arama motorları bunları kopya içerik olarak algılayabilir. Bu da sitenin genel sıralamasını olumsuz etkileyebilir. Bu gibi durumlarda, kopya içeriğin bulunduğu sayfaları noindex ile işaretlemek iyi bir stratejidir.
  • Test veya Geliştirme Sayfaları: Sitenin üzerinde çalıştığın, henüz yayınlanmamış veya eksik sayfalarını arama motorlarının bulmasını istemezsin. Bu sayfaları noindex ile işaretleyerek gereksiz dizine eklemeyi önlersin.
  • Yüksek Kaliteye Sahip Olmayan veya Değersiz Sayfalar: Örneğin, bir blog sitesinde "hakkımda" veya "iletişim" gibi, içeriği sınırlı olan ve arama sonuçlarında yüksek bir değer sunmayacak sayfalar için de noindex kullanabilirsin. Bu, arama motorlarının bot bütçesini daha değerli içeriklere yönlendirmesine yardımcı olabilir.
  • Etkileşimli veya Özel Bilgi İçeren Sayfalar: Örneğin, bir kullanıcı profili sayfası veya sipariş geçmişi gibi, sadece o kullanıcıya özel bilgileri içeren sayfaların arama sonuçlarında görünmesini istemezsin. Bu tür sayfalar için de noindex kullanmak gerekir.

Unutma ki, nofollow direktifi, sayfanın kendisinin dizine eklenmesini engellemez, sadece sayfadaki linklerin takip edilmemesini sağlar. Eğer hem sayfayı dizine eklemeyip hem de linklerini takip ettirmemek istiyorsan, noindex, nofollow kombinasyonunu kullanmalısın.