SEO İçin Tarama Bütçesini Optimize Etmek

Google’ın tarama işlemini gerçekleştirmek için çalışan tarayıcıları bulunuyor. Bu tarayıcılar gün içerisinde milyarlarca web sayfasını ziyaret ediyor. Bu ziyaretin aslında bir maliyeti var. Çünkü bu tarayıcılar enerji/elektrik harcıyor.

Sitelerin amacı Google dizininde daha üst konumlarda yer almak olduğu için Google’da en kaliteli içerikler ile yer almak oldukça önemlidir. Böylelikle alakalı organik trafiğin sayısı ve dönüşüm oranları iyileşicektir.

Tarama bütçesinin SEO için önemini tartışmadan önce “tarama bütçesi nedir?” sorusunu cevaplamak gerekir.

Tarama Bütçesi Nedir?

Tarama bütçesi, arama motoru botlarının web sitenizi taramak ve sayfalarını dizine eklemek için ayırdığı zaman ve kaynak miktarıdır.

Çoğu SEO uzmanından veya blog içeriğinden “tarama bütçesi” terimini duymuşsunuzdur.

Ancak bu terimi kullanların da %90’ı tarama bütçesini anlamadan anlatıyor. Bir Google tarayıcısı olduğunuzu hayal edin…

İşte size bir soru: Yeni ve güncel içerik bulmak için tüm interneti dolaşma görevi size verilse ne olurdu?

İşiniz bir gün içinde tüm web sitelerinin ve ilgili sayfalarının bir listesini yapmaktır.

Peki nasıl yapacaksın?

1. Seçenek
Bir sonraki web sitesine geçmeden önce web sitesinin her sayfasını tararsınız.

2. Seçenek
Bir sonrakine geçmeden önce bir web sitesini taramak için bir zaman dilimi ayırırsınız.

İlk seçeneği tercih ettiğiniz zaman, internetin tamamını tarayamayabilirsiniz. 2. seçenek ile tüm web sitelerini tarayabilirsiniz ancak her web sitesinin tüm sayfalarını tarayabilmek pek de mümkün gözükmüyor.

Sanırım 2. seçeneğini seçmeniz daha mantıklı olacaktır. Google da tam olarak bunu yapıyor!

Tarama Bütçesi Optimizasyonu Neden Önemlidir?

Tarama, Google’da görünür olmanın ilk aşamasıdır. Arama motorlarının 3 temel işlevde çalıştığını heryerde belirtiyorum. Bu işlevleri özetlemek gerekirse;

1. Aşama: Tarama (Crawling)
2. Aşama: Dizine Ekleme (Indexing)
3. Aşama: Sıralama (Ranking)

Bu süreçlerden yola çıkarsak…

Taranamayan bir web sayfası dizine eklenemez. Dizine eklenemeyen web sayfası sıralama alamaz. Sıralama alamayan web sayfası da organik trafik getiremez.

Tarama Bütçesini Nasıl Optimize Edebiliriz?

Peki tarama bütçesini nasıl optimize edebiliriz? İlk öncelikle kaliteli, faydalı ve özgün içerikler üretip, düzenli paylaşmaya özen göstermeliyiz. Süreci bu şekilde yönettiğimiz zaman aslında tekrar tekrar tarama bütçesini optimize etmek için fazladan zaman harcamamış oluruz.

1. Robots.txt’de Eylem URL’lerinin taranmasına izin vermeyin!

Google, URL’leri reddetmenin tarama bütçenizi etkilemeyeceğini doğruladı. Bu, Google’ın  web sitenizi aynı oranda tarayacağı anlamına gelir.

Önemli olmayan URL’leri engellerseniz, Google’a web sitenizin yararlı bölümlerini daha yüksek bir oranda taramasını söylersiniz.

E-ticaret sitelerinde SEO çalışması yapıyorsanız, engellemeniz gereken birçok sayfa bulunuyor. Bu sayfalar genellikle zayıf içeriğe sahip ve internet üzerinde araması yapılmayan sayfaları kapsıyor.

E-Ticaret Sitelerinde Dizine Eklenmesini Engellemeniz Gereken Sayfalar:

• Sepetim
• Hesabım
• Kargo Takibi
• Sipariş Takibi
• Şifremi Unuttum
• Giriş
• Admin
• Ödeme
• Favorilerim
• Siparişlerim
• Kayıt Ol
• İndirim Sayfaları
• Arama

Bu sayfalardan en önemlisi aslında “arama” sayfasıdır. Web sitenizin /?q=google gibi sorgu parametrelerine sahip dahili bir arama özelliği varsa, Google bu URL’lere bir yerden bağlantı veriliyorsa bunları tarayacaktır.

Aslında bu parametreli URL’ler birer web sayfası değildir. Ancak bir web sayfası gibi sitemizin ziyaretçileri tarafından yapılmış arama sorgularıdır. Google bu arama sorgularını bir web sayfası olarak görür ve tarama işlemi uygular.

Aynı şekilde, bir e-ticaret sitesinde /?color=red&size=s gibi URL’ler üreten filtreleriniz de olabilir. Bu filtrelemeler kullanıcılar için oluşturulmuş da olsa bilinçsiz kullanımda Google dizinine eklenir. Bu parametreli URL’ler de Google tarafından bir sayfa gibi tarama işlemine tabi tutulur.

Robots.txt aracılığıyla dahili aramayı veya sorgu dizeleri içeren herhangi bir URL’yi nasıl engelleyeceğiniz aşağıda açıklanmıştır:

Disallow: *?*search=*
Disallow: *?*color=*
Disallow: *?*size=*

Bu robots.txt engellemeleri ingilizce olarak verilmiştir. Her web sitesinin parametreleri farklı olabilmektedir. Bu yüzden bu işlemi yapmadan önce URL parametrelerinizi öğrenmenizi tavsiye ediyorum.

2. Sayfa Hızını İyileştirin

Google Page Speed Insights gibi araçlardan doğru bir veriye ulaşmanız pek de mümkün değil. Çünkü genellikle bu araçlar hem ortalama metrikleri size vermektedir hem de sadece anasayfa URL’ini esas almaktadır. Ayrıca bir sitenin anlık 10.000 trafik aldığı hızla aylık 1.000 trafik alan web sitesinin hız değerleri birbirine eşit olmayabilir. Bu anlık yüksek trafikler de sayfa açılış hızınızı yavaşlatıcaktır.

İhtiyaçlarınıza uygun, profesyonel bir sunucu veya hosting kullanmanız da bu noktada oldukça önemlidir.

Googlebot sayfaları JavaScript ile tarar ve oluşturur; bu da web sayfalarını oluşturmak için daha az kaynak harcadığında, taramasının daha kolay olacağı anlamına gelir; bu da web sitenizin hızının ne kadar iyi optimize edildiğine bağlıdır.

Google der ki :

Google’ın taraması bant genişliği, zaman ve Googlebot örneklerinin kullanılabilirliği ile sınırlıdır. Sunucunuz isteklere daha hızlı yanıt verirse, sitenizdeki daha fazla sayfayı tarayabiliriz.

3. Dahili Bağlantılarınıza Dikkat Edin

İyi bir link inşaası SEO stratejinizin en önemli parçasıdır. Çünkü Google ve diğer arama motoru botları internetteki bağlantıları takip ederek çalışıyor!

Eğer ‘www’ versiyonuna sahip bir web siteniz varsa, özellikle gezinme kısmında dahili URL’lerinizin kanonik versiyona, yani ‘www’ versiyonuna işaret ettiğinden emin olmalısınız.

Bu durum Türkiye’deki hazır e-ticaret altyapılarında karşılaştığımız en büyük sorunların arasında yer alıyor. Maalesef ki, Google sitenizin 2 farklı versiyonunun olduğunu düşünüyor. 2 farklı versiyonu ziyaret ettiğinde de sonuçların birbiriyle kopya olduğunu düşünüyor ve bu durum sıralama konusunda ciddi sorunlara neden oluyor.

4. Site Haritanızı Güncelleyin

XML site haritanıza iyi bakmanız gerekiyor. Googlebot sitenizdeki ilk ziyaret ettiği içeriklerden birisi de XML site haritanızdır. Büyük bir siteye sahip değilseniz bir site haritanızın olması zorundalık değildir. Ancak yine de Google’ın işini kolaylaştırmak için iyi tasarlanmış, doğru kategorilendirilmiş site haritasına sahip olmalısınız.

Arama motoru botları, bu iç bağlantıların (dahili bağlantıların) nereye gittiğini çok daha iyi ve kolay bir şekilde anlayacaktır. Site haritanız için yalnızca kanonik olan URL’leri kullanın.