Google arama motorunda kullanılan arama dizini oluşturmaya yarayan web’den link doküman gibi belgeler toplayan ve Google tarafından aktif olarak kullanılmakta olan tarayıcı yazılımına verilen isimdir. Google botları aslında Google’a ait sanal robotlar gibi düşünebiliriz. Bu robotlar web siteniz kurulduğunda gelir ve sitenizi ziyaret eder. Ancak botların sitenizde aradığı şeylerle müşterilerinizin aradığı şeyler aynı olmayacaktır. Müşteriler sitenizi ziyaret ettiğinde içerikler aracılığıyla hizmet ya da ürününüzün güvenilir olup olmadığına, aradıkları şeyin sizin web sitenizde yer alıp almadığına ya da sadece gezinmek için gelip bakarlar. Ancak Googlebotlar sayfanıza geldiğinde web sitesinin hızına, yazılı ve görsel içeriklere bakar. Bu içeriklere bakarken web sitenizin kaliteli olup olmadığına, açılırken yavaş olup olmadığına bakar. Aynı zamanda web sitelerinde üretilen içerikler aracılığıyla internet kullanıcılarına sitede daha fazla vakit geçirmelerini sağlamalarını ister. Bunun için üretilen içerikleri de inceleyen Googlebotlar topladıkları bilgileri Google’a iletir. İletilen bilgiler aracılığıyla Google bir arama dizini (index) sunar.

• Index (Dizin) Nedir?

Google index, bazı kriterleri göz önünde bulundurarak web sitelerinin sıralanmasıdır. Günümüzde sıralanacak çok fazla web sitesi bulunmaktadır. Rekabetin fazla olduğu, her şeyi üretmenin mümkün olduğu, ulaşımın günden güne kolaylaştığı ve dijital teknolojilerin her geçen gün daha da geliştiği bu evrende web site sıralamalarının üstünde yer almak için pek çok kriter bulunur. İşte bu kriterlerden biri de index alabilmektir. Ne yazık ki index alamayan bir sayfanın arama motorlarında üst sıralarda yer alması mümkün değildir.

• Index Nasıl Alınır?

Index almak için arama motorları sistemini çok iyi anlamak gerekir. Öncelikle web sitelerinin taranabilir olması gerekir. Google botlar sayfayı tarayabilirse web sitemizle ilgili bilgiler toplayabilir. Bu taramayı sağlamak içinse farklı yöntemler bulunur. Search Console’da bulunan URL Denetimi üzerinden günde 10 kere olmak üzere Google botunun sitenizi taramasına dair taleplerde bulunabilirsiniz.

Bu noktada dikkat etmeniz gereken şeyler bulunur. Bunlar;

1. Sitenin taranabilir olması,
2. Kaliteli bir web sayfası olması,
3. Özgün ve kaliteli içeriklerden oluşmuş olması şeklinde sıralanabilir.

Googlebot Nasıl Çalışır?

Web sitenize başarılı bir SEO çalışması yönetmek için Googlebotun nasıl çalıştığını gerçekten güzel kavramak gerekir. Googlebot çalışma sistemi, bilinen bir web sitesinin taranmasının ardından sayfada yer alan linklerin Googlebot tarafından keşfedilerek takip edilmesine ve keşfedilen linkte yer alan sayfanın taranılarak ilgi düzeyine göre dizine eklenmesine dayanır. Googlebot, arama dizininde kayıtlı olan sayfaya bağlı diğer sayfaları da ziyaret eder ve arka arkaya bağlı tüm sayfaları inceler. Buna bağlı olarak webde yer alan sayfaları keşfeder ve dizine ekler.

Googlebot tarafından ziyaret edilen sitenin tüm içerik kaynakları ilgili bot tarafından indirilir ve sonrasında siteye gelecek diğer bot çeşitlerinin kullanımına sunulmak üzere sıkıca cachelenir.

• Cache Nedir?

Bu kavramın Türkçe karşılığı ön belleklemedir. Cachelenme sayesinde herhangi bir dosyaya, dokümana, içeriğe erişim süresi kısalır. Bu işlemin yapılmasının amacı siteyi ziyaret eden botların siteyle ilgili bilgi ve içeriklerin her seferinde tekrar tekrar istek göndererek indirilmesini beklemek yerine hızlı erişim istenilen dokümanlara kolayca ulaşım sağlanmasıdır. Daha basit bir şekilde anlatmak gerekirse iş yerinde sıklıkla kullandığınız bazı eşyaları daha sonra rahatlıkla bulabilmeniz için bir kutuda topladığınızı düşünün. Cacheleme işlemi de tıpkı buna benzer. Googlebotların sıklıkla ziyaret ettiği sayfaları bir yerde toplamasıdır.

Googlebot Web Sayfalarını Ne Sıklıkla Ziyaret Eder?

Googlebotlar özellikle kullanıcılar tarafından çok ziyaret edilen ve trafiği fazla olan siteleri güncelliğini korumak için tekrarlı olarak ziyaret ederler. Burada asıl amaç web sitesinde gerçekleşmiş herhangi bir yeniliği kaçırmamak ve kullanıcıların arama yaptıkları konuları alaka durumuna göre kullanıcıya sunmaktır.

Trafiği fazla olan bir sayfada gerçekleşmiş olan güncelleme ilgili sayfanın trafiğini artırdığı arama konusundaki alaka seviyesini ya da daha farklı konulardaki yaptığı yeniliklerle bağlantılarında değişiklik sağlayabilir. Bu nedenle Googlebotlar sayfaları tekrarlı olarak ziyaret eder ve bu ziyaretler esnasında güncellemeleri kaydeder. Kaydettiği güncellemeleri de kullanıcıların yaptığı aramalarla alaka seviyesine göre web sitesini kullanıcılara sunar.

Googlebot Türleri (Crawlers)

Googlebotları, Google için çalışan, çeşitli görevler için özel taramalar gerçekleştiren ultra mini robotlar gibi hayal edebiliriz. Bu tarama faaliyetlerini sürdüren tüm botlara görev ayırmaksızın Googlebot denir. Ancak bu botların bazı spesifik görevleri yerine getirmek için özel olarak geliştirilmiş türleri de mevcuttur.

Bunlar;

• Google Haber Botu (Googlebot News)
• Google Resimler Botu (Googlebot Images)
• Google Video Botu (Googlebot Videos)
• Google Feedfetcher (Site feedlerini taramakta kullanılan bot)
• Google Favicon Botu (Googlebot Favicon)
• Google Ads Botu (Adsbot)
• Adsense şeklinde sıralanabilir.

Yukarıda yer alan botlar özel olarak verilen tarama görevlerini yerine getirir.

Sitenizi Googlebot İçin Nasıl Optimize Edebilirsiniz?

Googlebotların sayfanızı ziyaretini sıklaştırmak site trafiğinizin artışıyla mümkündür. Trafiği artırmak için de SEO çalışmaları yapılır. Googlebot ziyaretlerini olumlu yönde etkileyebilecek en önemli SEO stratejilerinden bazılarını inceleyelim.

• Web sitenizin arama motorlarında görünür olmasını sağlayın. Bunu, robots.txt dosyasındaki

“Allow: /” komutu ile sağlayabilirsiniz.

• Web sitesinde bulunan iç bağlatılarda “nofollow” etiketini mümkünse hiç kullanmayın ya da kullanımını minimumda tutun. Bu bağlantılar, Googlebotlara onları kaynaklarına kadar takip etmemelerini söyler.
• Bir site haritası oluşturmakta fayda var çünkü site haritanız olduğunda Googlebot siteniz hakkında bilgi edinmek ve tüm içeriğinizi bulmak için bu kaynağa başvuracaktır.
• Google Search Console kullanmalısınız. Bu araç sayesinde sitenizde var olan sorunları saptayabilir ve bunların çözümlerine dair size yol gösterecektir.

Sitenizi Googlebot gibi bir tarayıcı için ne kadar anlaşılır ve ziyarete değer kılarsanız bu sizin web site trafiğiniz ve satışlarınız için olumlu olacaktır.