Googlede zirveye oynamak -2-

Google'de zirveye çıkmanın yollarını yazmaya ikinci bölümde devam ediyoruz.
İnternet sitenizi indeksleme işini yapan robot yazılımlar ilk olarak sitenizin kök dizininde bulunması gereken Robots.TXT dosyasına bakarlar. Bu dosya, sitenize gelen robotun doğru yerde olduğunu anlamasına ve sonrasında da sitenin hangi bölümlerinin indekslenip indekslenmeyeceğini anlamasına yarar. Kök dizininizde bir Robots.TXT dosyası bulunmuyorsa, sitenizin hata istatistiklerini 404 kodlu hataların içerisinde hata mesajlarını görebilirsiniz.

Doğru şekilde hazırlanan Robots.TXT dosyası ile sitenin indekslenmesini istemediğiniz bölümlerini arama motorlarının robotlarına iletebilirsiniz. Fakat dosyayı hazırlarken yapılacak bir hata sitenizin bazı bölümlerinin veya tümünün indekslenmesine engel olabilir.

Neler İndekslenmeyebilir? Siteniz yayına hazır olsa bile, henüz yapım aşamasında bulunan bölümleri kalabilir. Bitmeyen bölümlerin arama motoru tarafından indekslenmesini engellemek genelde iyi olur. Sayfalar tamamlandığında Robots.TXT dosyası üzerinden engellemeyi tekrar kaldırabilirsiniz. Ziyaretçilerin sitede yaptıkları işlemler, teşekkür ve hata mesajlarını içeren sayfalar ile geçici bilgilerin bulunduğu sayfaların da indekse girmesini engellemek sizin elinizde. Bazı site sahipleri çok sayıda e-posta adresini yayınladıkları "iletişim" sayfalarının indekslenmesini de istemeyebiliyor.
Robots.TXT Nasıl Hazırlanır? Robots.TXT, herhangi bir metin editöründe (örneğin Windows'un Not Defteri) hazırlayabileceğiniz basit bir dosya. Hangi robotun hangi kısımları indekslememesi gerektiğini aşağıdaki gibi belirtebilirsiniz:
User-agent: [Robot İsmi]
Disallow: [Klasör ya da Dosya İsmi]
Yukarıda belirtilen girişi değişik robotlar ve değişik klasör ve dosyalar için de tekrarlayabilirsiniz. Örneğin kök dizininizde "beyler_beyi" adında bir klasör olduğunu ve Google'ın bu klasörü indekslemesini istemiyorum. Bunun için Robots.TXT dosyasına aşağıdaki satırları eklemek gerekir.
User-agent: Googlebot
Disallow: /beyler_beyi/
Bu yasağın tüm robotlar için geçerli olmasını istiyorsak, "Googlebot" yazdığımız yere * (yıldız işareti) koymak gerekir. Bütün robotların sitenin tamamını indekslemesini istiyorsak, Robot.TXT dosyası aşağıdaki şekilde yazılmalıdır:
User-agent: *
Disallow:
Robots.TXT dosyasını hazırlamak birkaç saniyenizi alacak kadar basit bir iş olsa bile dikkatli davranmak çok önemli. Çünkü yukarıdaki gibi bir dosyada "Disallow:" ifadesinin karşısına "/" işaretini koyarsanız (Disallow: /) robotlar sitenin hiçbir yerini indekslemezler.

Google Webmaster Tools
Sitenizin Google'daki performansını artırmak için yapılabileceklerin en önemlisi bir Sitemap dosyası hazırlayarak Google'ı içeriğinizden tam anlamıyla bilgilendirmek olacak. Bu yüzden Google Webmaster Central'a göz atmanızda fayda var.

Google Webmaster Central, site sahiplerinin daha başarılı arama sonuçları elde etmelerini sağlayan değişik araçlar içeriyor. Hizmeti kullanabilmek için bir Google hesabına sahip olmak şart. Sayfaya girdiğinizde karşınıza çıkan "Site status wizard" sitenizin Google indeksinde olup olmadığını ve varsa Googlebot'un en son ne zaman sitenize eriştiğini görmenize yardımcı olur. Sayfada bulunan forma internet sitenizin adresini girmek durumu görmeniz için yeterli olacaktır.

Google Webmaster Central'da ikinci önemli başlık Webmaster Tools. Burada sahibi olduğunuz bir internet sitesini "Add Site" seçeneği sayesinde hesabınıza ekledikten sonra Google'la olan ilişkilerinizi kendi isteğinize göre düzenleyebilirsiniz. Sitenizle ilgili ayrıntılı bilgileri görmek ve ayarları değiştirebilmek için siteyi hesabınıza ekledikten sonra size ait olduğunu da kanıtlamak (verify) durumundasınız. Bunun için en kolay yol, Google'ın size onaylama prosedürü sırasında verdiği isimle bir HTML dosyası oluşturmak ve bu dosyayı sitenizin kök dizinine yüklemek. Webmaster Tools'a geri dönüp "Verify Now" ifadesine tıkladığınızda Google, dosyanın sitenizde olup olmadığını kontrol ediyor ve sitenin size ait olduğu kanıtlanmış oluyor..

GSiteCrawler ile Google Sitemap
Bu işlemi yaptıktan sonra işin en önemli kısmı, yani Sitemap'e geliyoruz. Sitemap sayesinde sitenizin içerdiği tüm sayfaları Google'a tanıtabiliyor, önem derecesini, güncellenme ve indekslenme sıklığına etkide bulunabiliyorsunuz. Bu yöntemi kullanmak için, Robots.TXT dosyasına benzer bir mantıkla Sitemap.XML isimli bir site haritası dosyası oluşturmak ve sitenizin kök dizinine yerleştirmek gerekiyor. Sitemap.XML dosyanız kök dizininizde hazır olduğunda tekrar Webmaster Tools'a dönüp Sitemap'inizi Google'a tanıtıyorsunuz. Siteye yeni bir sayfa eklediğinizde Google'ı bu sayfadan haberdar edebilmek için Sitemap dosyanızı da güncellemeniz çok önemli. Sitemap'te sitenin içerdiği her sayfa için ayrı bir giriş yapma zorunluluğu olduğundan çok sayıda sayfa içeren web sitelerinin Sitemap'lerini elle yazmak oldukça uzun zaman alır. Bu sebeple internetten ücretsiz olarak indirilebilen ve Sitemap'inizi kolayca hazırlayabilmenizi sağlayan GSiteCrawler'ı kullanabilirsiniz. Bu yazının üçüncü bölümü hafta sonu yayınlanacak. Birçok kişi için faydalı bir yazı olacağını düşünüyorum. Bu yazıda pcworld.com.tr kaynak olarak kullanılmıştır.