GoogleBot Neden Bazı Sitelerde Yeterli Sayfayı Taramıyor?
Googlebot, görevi çeşitli web sitelerinin sayfalarından bilgi toplamak ve Google dizinini güncellemek için bunu Google sunucularına göndermek olan bir web tarama robotudur. Bu robotun web sayfalarında bulunması, üretilen içeriğin kalitesinin belirlenmesi açısından oldukça önemlidir. Profesyonel ve temel SEO için Google Bot’un nasıl çalıştığını bilmeniz gerekir.
Google robotunun rolü nedir?
Google robotu durumunda, kendinizi tanımanız gereken farklı isimlerle karşılaşabilirsiniz. Bu robot aynı zamanda paletli veya örümcek gibi isimlerle de anılmaktadır. Bir web tarayıcısı, World Wide Web’i sistematik olarak tarayan ve genellikle web indeksleme amacıyla arama motorları tarafından çalıştırılan bir İnternet robotudur . Buna indeksleme veya listeleme de denir.
Google Bot’un en önemli görevlerinden ikisi şunlardır:
Web arama motorları ve diğer bazı web siteleri, web içeriğini güncellemek için web tarayıcı yazılımı kullanır.
Tarayıcılar web sayfalarını işler ve sayfanın kalitesini uygun bulurlarsa kopyalayıp yüklerler. Daha sonra indirilen bu sayfalar, kullanıcılar arama yaptığında sayfanın görüntülenmesi için arama motoruna sunulur. Bu sayede kullanıcılar daha verimli arama yapabilir, uygun ve kaliteli içeriğe kolaylıkla erişebilirler.
Google botu web sayfasını sürekli ve kesintisiz olarak tarar, sayfaları yeni bağlantılar açısından kontrol eder ve elde ettiği bilgileri kaydeder. Google, her biri farklı konumlardan ve sunuculardan gelen web sayfalarını dizine eklemek için farklı tarayıcılar kullanır.
Tarayıcıların nasıl çalıştığını Google analistlerinin dilinde açıklamak
Bir etkinlik sırasında dünyanın her yerinden meraklılar Google’ın yeni özellikleri hakkında bilgi edinmek için bir araya geldi. Bu kursun eğitmenliğini yapan analist ve Google iletişim ve destek ekibi üyesi John Muller, Google robotunun davranışını etkileyen faktörleri anlattı. Neden Google bot bazen bir sitenin çok sayıda sayfasını tarar ve bazen başka bir site söz konusu olduğunda bunu hiç yapmaz?
Öncelikle Google’ın tarama bütçesini öğreneceğiz, ardından bu etkinlikle ilgili konuşulanları ve Mueller’in kursiyerlere verdiği yanıtları aktaracağız.
Google’ın tarama bütçesi nedir?
GoogleBot, web sayfalarını arayan ve bunları sıralama amacıyla dizine ekleyen Google tarayıcısının adıdır. Ancak web çok geniş olduğundan Google’ın stratejisi, yalnızca yüksek kaliteli web sayfalarını tarama gücüne sahip olması ve düşük kaliteli web sayfalarını tarayamamasıdır.
Büyük web siteleri için (milyonlarca web sayfası cinsinden) Google geliştirici sayfasına göre tarama bütçesinin tanımı:
Google’ın bir siteyi taramak için ayırdığı süre ve kaynak miktarına sitenin tarama bütçesi denir. Sitenize yönlendirilen her şeyin mutlaka dizine eklenmesi gerekmediğini unutmayın. Her sayfanın tarandıktan sonra dizine eklenmeyi hak edip etmediğini belirlemek için değerlendirilmesi, birleştirilmesi ve incelenmesi gerekir.
Tarama bütçesini iki ana unsur belirler:
Tarama talebi: Google’ın sitenizi taramak istediği adres sayısı.
Tarama kapasitesi sınırı: Sunucunuzun adresleri sorunsuz tarama kapasitesi nedir?
Google bot tarama bütçesini ne belirler?
Google’ın eğitim etkinliğinde bir geliştirici John Mueller’e şunları söyledi:
“Yüzbinlerce sayfadan oluşan bir sitemiz var ve her gün yaklaşık 2000 sayfamızın Google botu tarafından tarandığını gözlemledik. Bu tarama hızı bu kadar büyük bir site için çok yavaş olsa da. Hatta 60.000’den fazla sayfamızın ya taranmadığını ya da henüz dizine eklenmediğini fark ettik. Her ne kadar gerçekten iyileştirmeler yapmaya çalışsak da sayfalarımızda günlük bir sıçrama görmüyoruz. Mevcut sürünme bütçesinin nasıl artırılacağına dair herhangi bir tavsiyeniz var mı?
John Mueller yanıtladı:
“Açıklamanıza göre, bunu etkileyen iki ana faktör görüyorum:
Bunun bir nedeni, tarayıcı istatistik raporlarında mutlaka göreceğiniz sunucunun yavaşlığı olabilir.
Bu nedenle aramanız gereken ilk önemli konu site sayfalarının Google’a sunulma hızıdır. Bu, Google botunun tarama bütçesini etkileyebilir ve tarayıcının web sitenizi taramamasına neden olabilir.”
Google botunun pek çok web sitesini taramamasının ikinci en önemli nedeni ise genel olarak kaliteleri konusunda ikna olmamasıdır. Benim gözlemlediğim bu. “Özellikle yeni ve start-up siteler bu sorunla mücadele ediyor.”
John Mueller ayrıca şunları açıkladı:
“Web’e her gün o kadar çok sayfa ekleniyor ki tarayıcılar bunları buluyor. Ancak kalitenin yeterince iyi olduğundan emin olana kadar bunları tarama ve dizine ekleme konusunda dikkatli davranırlar. »
Google’ın teşviki
Mueller, konuşmasının devamında önemli bir noktaya daha dikkat çekerek şunları söyledi:
“Site iyi bir şekilde taranıyorsa bahsetmek istediğim bir sonraki şey, web sitenizi geliştirmek için neler yapabileceğinizdir. Bu yöntem, kullanıcıları siteyi ziyaret etmeye teşvik etmek, reklam yapmak veya site ziyaretlerini artırmak için başka biriyle geçici işbirliği yapmak gibi bir şey olabilir.
Ayrıca, bir işletme siteniz, özellikle de küçük bir yerel işletme siteniz olduğunu varsayalım. Bu durumda, yerel ticaret odaları size biraz daha fazla bilgi vermek için web sitenize bağlantı vermek isteyebilir. Bu yöntem aynı zamanda sitenizin ziyaretçi sayısını arttırmak ve sitenizi tarayıcılar için değerli kılmak açısından da faydalıdır. Böylece Google robotları web sitenize baktığında bunun geçerli ve kabul edilebilir bir küçük işletme sitesi olduğunu ve her şeyi dizine eklemeye çalışmamız gerektiğini söyleyeceklerdir.
Kahraman anahtar kelimeler
Metindeki gerçek anahtar kelimeleri doğru şekilde bulun ve değiştirin. Daha sonra Google Analytics’teki performans değişikliklerini inceleyin. Bu teknik aynı zamanda sitenin SEO’sunun iyileştirilmesinde ve içeriğin tarayıcılar için değerli hale getirilmesinde de önemli ölçüde etkilidir.
Taranan sayfa sayısını etkileyen faktörler
Google’ın taradığı sayfa sayısını etkileyebilecek başka faktörler de vardır.
Örneğin, paylaşılan bir sunucuda barındırılan bir web sitesi, sayfaları Google’a yeterince hızlı sunamayabilir. Bunun nedeni, sunucuda çok fazla kaynak kullanan ve sunucunun üzerindeki diğer binlerce site için yavaşlamasına neden olan başka sitelerin bulunabilmesidir.
John Mueller’in web sayfalarına sunucu sağlayıcı hızını hatırlatmak için bazı iyi tavsiyeleri var:
Saatler sonra ve gece mutlaka kontrol edin çünkü birçok sürüngen sabahın erken saatlerinde sürünür. Çünkü o saatlerde sitelerde daha az ziyaretçi oluyor.”
Google botunun öneminin nedeni
Google robotu, siteleri kontrol etmek ve anlamak için Google’ın ana aracı olarak düşünülebilir. Dünyanın en popüler arama motoru olan Google tek başına web sitelerinin başarısını büyük ölçüde etkilemektedir. Google büyük miktarda site trafiği sağladığı için site SEO faaliyetlerinin her zaman Google arama motoruna odaklanılması önerilir.
Kullanıcıları içeriğinize yönlendiren Google’dır ve bunun için iki şeye ihtiyacı vardır:
Öncelikle içeriğinizin varlığından haberdar olmalıdır.
İkincisi, içeriğiniz hakkında yeterli bilgiye sahip olmalıdır.
Bu görevlerden Google Bot tarayıcısı sorumludur. Öncelikle sitenizin sayfalarını bulmalı ve Google’a bilgi vermelidir. Daha sonra doğru bilgileri toplayarak Google’ın içeriğini hedef kitlesine bağlamasına yardımcı olur.
Google Bot için site optimizasyonu
Google botu yine de içeriğinizi bulacaktır. Belki bu artık hiçbir şey yapmanıza gerek olmadığını düşünmenize neden olur. Ancak şunu bilmelisiniz ki bu ne kadar erken gerçekleşirse içerik yayınınızın durumunu iyileştirmeniz o kadar faydalı olur. Bu süreci hızlandırmak SEO şeklinde adımlar atmayı gerektirir. SEO çok çeşitli teknikleri içerir; Google robotunun çalışmasını kolaylaştıracak en önemli tekniklerden bazılarını size tanıtacağız:
WordPress kontrol panelinde gerekli ayarları yapın: içeriğinizin ve sitenizin arama motorları tarafından görünür olduğundan emin olun.
Takip etmeyen bağlantıları kullanmamak veya en aza indirmek: Bu bağlantıların asla sitenizde dahili bağlantı olarak kullanılmaması gerektiğini unutmayın.
Web siteniz için bir site haritası oluşturun: Bu, tarayıcıların sitenizdeki tüm içeriği bulmasını kolaylaştırabilir. Bunun için Yoast SEO gibi eklentileri kullanabilirsiniz.
Google Search Console’un çeşitli araçlarını kullanma: Araçların yardımıyla site haritanızı kaydedin. Bu araçlar aynı zamanda sitenizdeki olası hataları düzeltmede de faydalıdır ve bir sorun bulunması durumunda, sorunu düzeltmeniz için size gerekli önerileri sağlayacaktır.
Sitenin ana sayfasına yeni bir içerik bağlantısı yerleştirmek: John Muller’e göre Google robotları, siteyi her ziyaret ettiklerinde sitenin önemli ve ana sayfalarını inceliyor. Bu sayfalara yeni bir içerik bağlantısı yerleştirmek tarayıcıları o içeriğe yönlendirecek ve onu dizine ekleyecektir.
İçeriği düzenli olarak yayınlayın: Web’deki site ve sayfa sayısının çok fazla olması nedeniyle, Google robotlarının web sayfalarını kontrol etme konusunda kesinlikle sınırları ve öncelikleri vardır. Tarayıcıların bir siteyi kontrol etmek için dikkate aldığı aralığın, sitenin boyutundan ve içeriğin yayınlanma zaman aralıklarından etkilendiğini bilmekte fayda var. Dolayısıyla içeriğin düzenli olarak yayınlanmasının tarayıcıların sitemize olan ziyaretlerini artırdığı ve bu sayede içeriğin indekslenme hızının da arttığı sonucunu çıkarabiliriz.
Elbette SEO’nun sabit ve spesifik bir yöntem takip etmek ya da saygın bir sitenin ya da kişinin yöntemine güvenmek anlamına gelmediğini unutmayın. SEO, sorununuza bağlı olarak farklı yanıtlara yol açabilecek mantıksal bir süreçtir. Farklı yöntemleri deneyebilir ve sonunda en iyilerini kullanabilirsiniz.
Google botunun sitenizdeki davranışını kontrol edin
Tarayıcıların sitenizi kaç kez taradığını kontrol etmek için günlük dosyalarını kullanabilir veya bunu Google Search Console’daki Tarama Bölümünü ziyaret ederek yapabilirsiniz. Ayrıca Kibana gibi araçlar, sitenizdeki tarayıcı performansını artırmak için daha gelişmiş özellikler elde etmek açısından yararlı olabilir.
Çözüm
Elbette tüm sitelerin sahipleri, yeni içeriklerinin arama motorları tarafından hızlı bir şekilde indekslenmesini ve kullanıcıların varlığı ve sitelerine yapılan ziyaretlerin artmasıyla birlikte içeriklerin geri dönüşlerini de görmek isterler. Tarayıcıların ne olduğunu ve nasıl çalıştıklarını inceleyerek içeriğimizin ve sitemizin sıralamasını yükseltmede ne kadar etkili olduklarını öğreniyoruz. Dolayısıyla içeriğin yüksek oranda ziyaret edilmesini istiyorsanız Google robotunun sitenizdeki performansını artırmak için gereken ilkelere dikkat etmelisiniz. Sitede yeni içerik oluşturmak ve teknik değişiklikler yapmak, bu algılanamayan robotun sitenizdeki varlığını artıracak ve Google’da arama yaparken daha iyi sonuçlar alacaksınız.
