Robots.txt Dosyası Hakkında Bilmeniz Gerekenler

robots.txt-dosyası-nasıl-oluşturulur

Robots.txt Nedir?

  Robots.txt dosyası, site sahiplerinin, genellikle arama motorlarına ait robotların (örümcekler), sitelerini nasıl tarayacaklarını bilgilendirmek için oluşturdukları bir metin dosyasıdır.

  Google dahil birçok websitesinde, robots.txt dosyası ile, çeşitli kullanıcı aracılarına (user agent) özel, direktifler belirtilmektedir. Bu direktifler ile, bu kullanıcı aracılarının websitelerinin hangi kısımlarını tarayabilecekleri veya tarayamayacakları ile, hangi kısımları indeksleyip, hangi kısımları indekslememeleri gerektiği gibi şeyler belirtilir.

  En basit hali ile, robots.txt dosyası alttaki gibidir. Alttaki örnek robots.txt ile belirtilen, tüm kullanıcı aracıları için (User-agent) için hiçbir şey yasaklanmamıştır şeklinde algılanabilir.

User-agent: *
Disallow:

Robots.txt Dosyası Nasıl Çalışır?

  Arama motorlarının temel olarak iki ana işlevi vardır. Bu işlevler, tüm interneti gezerek internet sitelerini ve içerikleri keşfetmek ile bu siteleri ve içerikleri dizinlerine eklemektir. Arama motorları, internet sitelerindeki bağlantıları takip ederek, bir siteden diğer siteye ulaşır ve bu şekilde sonsuza yakın bir gezintiye çıkarak, internette yer alan tüm içeriği dizinine eklemeye çalışırlar.

  Arama motorlarına ait örümcekler ise her bir yeni siteye ulaştığında, genellikle, öncelikli olarak robots.txt dosyasını arar ve eğer bu dosya mevcut ise, örümcekler, bu dosyayı ve bu dosyadaki direktifler incelerler. Robotlar, veya örümcekler, bu dosyadaki Allow ve Disallow komutlarına uyarak, bu sitedeki gezinme eylemlerini tamamlar ve bu sitedeki işlerini genellikle bu direktiflere uyarak bitirirler.

Robots.txt Dosyası Nasıl Olmalıdır?

  Robots.txt dosyası, internet sitelerinin en üst dizininde (root) bulunması gerekmektedir, ve tamamı küçük harflerden oluşan, robots.txt adı ile kaydedilmelidir. Ayrıca bu dosyanın herkes tarafından okunabilir olduğuna da dikkat edilmelidir. Her bir subdomain için de farklı bir robots.txt olması gerektiği gibi, robots.txt dosyasında, genellikle sitemap dosyasının konumu da belirtilmelidir.

Robots.txt Dosyasına Ait Terimler

  Robots.txt dosyasındaki terimler alttaki gibi listelenebilir. Genellikle, birçok robots.txt dosyasında gözlemlenen 5 farklı terim mevcuttur.

User-agent: Robots.txt dosyasında verilecek olan direktiflerin hedeflediği özel kullanıcı aracılarının belirtildiği terimdir. * ile belirtilmesi durumunda, tüm kullanıcı aracılarının kapsandığı anlamına gelmektedir.

Disallow: Kullanıcı aracılarına özellikle incelememesi için belirtilen kısımları belirten terimdir. Bir adres olabileceği gibi, bir klasör de olabilir.

Allow: Bu terimi sadece Googlebot’u algılayabilmektedir. Googlebot’un hangi sayfalara ya da hangi klasörlere erişebileceğini belirtir.

Crawl-delay: Bu terim ile robotların sayfayı yüklemeden önce kaç milisaniye beklemesi gerektiğini belirtmeye yarar.

Sitemap: Bu terim ile internet sitelerindeki sitemap’lerin hangi konumda yer aldığı belirtilir.


robots.txt-dosyası-nedir

Örnek Robots.txt Dosyaları

  Sitenizin, ana (root) dizininde bulunması gereken robots.txt dosyasının birçok farklı kullanımı vardır. Genellikle, birçok websitesi, kimi klasörlerin, arama motorlarına ait robotlar tarafından dizinlerine eklenmesini istemezler.

  Örneğin sitenizin hiçbir kısmının robotlar tarafından ziyaret edilmesini istiyorsanız, alttaki gibi bir robots.txt dosyasını kullanabilirsiniz.

User-agent: *
Disallow: /

  Sitenizi robotlara açmak, ancak belirli klasörleri kapatmak isterseniz, üstteki direktifi değiştirmeniz gerekmektedir. Örneğin sitenize ait wp-admin klasörünün olduğunu düşünün, bu kısmın robotlar tarafından ziyaret edilmesini istemiyorsanız alttaki gibi bir robots.txt dosyası oluşturabilirsiniz.

User-agent: *
Disallow: /wp-admin

  Sitenizin tamamını robotlara açmak ve sitemap konumunu da robotlara belirtmek isterseniz, alttaki gibi robots.txt dosyası oluşturabilirsiniz.

User-agent: *
Disallow:
Sitemap: https://alanadim.com/sitemap.xml

  Eğer sitenizi YandexNews haricindeki tüm robotlara açmak isterseniz alttaki gibi bir robots.txt dosyası oluşturabilirsiniz.

User-agent: YandexNews
Disallow: /

  Üstteki formatlardaki gibi tüm kullanıcı aracılarına özel direktiflerin belirtilebileceği robots.txt dosyasında aynı zamanda birçok kullanıcı aracısına özel, farklı direktifler de belirtilebilir. Bu direktifler, birer boşluk ile alttaki örnekteki gibi belirtilebilir.

  Alttaki robots.txt dosyasında, Twitterbot ile facebookexternalhit kullanıcı aracılarına Allow direktifi ile imgres klasörüne erişim izni verilmektedir, ancak bu kullanıcı aracıları haricindekilere bu klasöre erişim izni Disallow direktifi ile verilmemektedir.

User-agent: *
Disallow: /imgres

User-agent: Twitterbot
Allow: /imgres

User-agent: facebookexternalhit
Allow: /imgres
Misafir Yazar: Burak Özdemir uzun yıllardır web geliştiriciliği ile uğraşmaktadır. Genellikle tarih ve PHP üzerine yazılar yazdığı internet sitesini incelemek için https://ozdemirburak.com adresini ziyaret edebilirsiniz.
Not: Sizde misafir yazar olarak sesinizi duyurmak isterseniz https://dogushakanyilmaz.blogspot.com/p/yazar-ol_30.html bağlantısına tıklayarak başlayabilirsiniz.

Bu yazı Burak Özdemir tarafından yazılmıştır.
✔ Bu içeriği beğendiyseniz lütfen paylaşın ⤵

Eski Blog Yazılarını Güncellemenin Önemi

eski-içeriklerin-güncel-kalması

 İnternet bilginin depolandığı çok büyük bir alan. Her gün milyonlarca veri akışı sağlanarak her şey güncellenir ve yeni bilgiler eklenir. Saatlerce emek verdiğiniz ve tüm detayları ile hazırladığınız çok önemli bir yazı yayımladınız. Bu bilgi internete düştüğü anda eski olmaya mahkum olur. Zaman içinde yaşanan gelişmelere göre güncellenmez ve kaderine terk ederseniz geriye sadece birbirini kovalayan cümleler kalır. Öyle yazılarımız vardır ki bizi bir adım ileri götürür ve iyi istatistikler getirir. Hatta bu türden bir kaç yazı sayesinde tanınır bir sayfa olmaya başlarız. Yazınız eski önemini kaybettiğinde sizinde o yazıya olan ilginiz kaybolmaya başlar. Eğer aldığınız verimi sürekli kılmak istiyorsanız ve güncellemek konusunda fikir almak istiyorsanız okumaya devam edin.

Yazılarınızın Kıymetini Bilmelisiniz

 Eski yazılarınız ile yeni yazılarınızı kıyasladığınızda hangisi daha önemlidir sizce..Büyük ihtimalle büyük bir heyecanla hazırlıyor olduğunuz yani yazılar dersiniz. Aslında işler hiç sanıldığı gibi değildir. Düşünsenize size ne kadar trafik getireceği belli olmayan bir yazıyı uzun zamandır ne kadar trafik getirdiği belli olan bir yazıya tercih ediyorsunuz.

 Tüm blog yazarları şöyle geçmişe baksalar gelen ziyaretçilerin çoğunun eski yazılardan kaynaklandığını görürler. Eski yazılarınız kıymetlidir. Arşivinizi bir kumbaraya benzetecek olursak biriken para eski yazılar o gün attığınız para yeni yazıları temsil eder. Sizce hangisi daha kıymetli?

 Eski yazılarınızı değerlendirirken dikkat etmeniz gereken ve kendinize sormanız gereken bir kaç soru olabilir. Öncelikle en başarılı olduğunuz yazılar hangileri onu tespit etmelisiniz. Daha sonra google search console veya başka araçlarla insanların neleri aradığını ve hangi kelimelere yoğunluk verdiğini incelemelisiniz. Ziyaretçilerin nasıl geldiğini öğrendiğinizde içeriğinizin ne kadar doyurucu olduğunu şimdiye kadar ki istatistiğinden tespit edebilirsiniz. Daha önce popüler olan veya şimdilerde popüler olabileceğini düşündüğünüz yazılarınız için çalışmalara başlayabilirsiniz. Böylece olası trafik kaybının önüne geçebilirsiniz.

Arama Motorları Nankördür

 Özellikle Google gibi sıralama yaparken çok önemli algoritmalar kullanan bir sistem için geçerlidir. Kullanıcı deneyimine odaklanan Google en iyi içeriklere ulaşmak için süzgecinden geçirir ve sizi üst sıralara taşır. Yaşadığınız bu gurur bir anda yok olabilir. İçeriğiniz güncel değil ve içindeki bilgiler geçerli değilse google da bunu dikkate alarak sizi alt sıralara gönderecektir. Sıralamada üstlerde kalmak için yeni yazılar daha şanslı olsa da eski yazılarınızı güncel tutarak rekabet etmeye devam edebilirsiniz.

Eski İçerikleriniz Nasıl Güncel Kalır?

 Eski yazılarınız için her gün yarım saat veya 1 saat vakit ayırarak eski popülaritesini kazandırabilirsiniz. Yapacağınız bir kaç hamle ile sıralamadaki yerinizde iyileştirmeler yapabilirsiniz. Öncelikle değişiklikten korkmayın.
  • Yazınızı paylaşırken verdiğiniz başlık hala dikkat çekiyor mu? Başlığınız güncel değil ve yeterince ilgi uyandırmıyorsa değiştirmelisiniz. Hit kaybı yaşamamak için eski yazı başlığı ile paylaştığınız yazı linkini yenisine yönlendirmeniz gerekir.
  • İçeriğinizi hazırlarken odaklandığınız anahtar kelimeler hala geçerli mi? Değişen konuya göre anahtar kelimelerde farklılıklar olabilir.
  • Her yazıyı güncelledikten sonra yazının sonunda "bu yazı .../.../.... tarihinde güncellenmiştir" gibi ibareler ekleyebilirsiniz. 
  • Özellikle yazı içindeki kırık linkleri kontrol edin. Hala geçerli değilse verdiğiniz bağlantıları değiştirin veya silin. 
  • Her gün yeni şeyler öğrendiğimizden kaynaklanan değişiklikler olabilir. Örneğin; Hazırladığınız görsel o zamanlar için gözünüze hoş gelse de zamanla edindiğiniz tecrübe ile daha iyisini hazırlar hale geldiğinizden yenisi ile değiştirin. 
  • Ben başlık veya yazı içinde bilgi değiştirdiğimde bunun arama sonuçlarına hızlı yansıması için "Google Gibi Getir" yapıyorum. Böylece robotların gelmesini ve yazımı yeni hali ile indekslemesini beklemiyorum. 
  • Devamlı yeni içerikler üreterek diğerlerini eski olarak görmek yerine belli bir kapasiteye ulaştıktan sonra eski yazıların yerini korumasını sağlayın. Yukarıdaki bölümde de söylediğim gibi yeni içerikle ne kazanacağınız belirsizdir ancak daha yararlandığınız yazınız daha kıymetlidir. Uzun vadeli düşündüğünüzde eski yazıları güncel tutmak sizi daha az yoracaktır. 
 İçerik hazırlıyor olmak iyi bir strateji yapmaktan geçer. Eski yazıları ve yeni yazıları değerlendirirken hangi stratejileri uyguladığınız önemlidir. Yazılarınızdan maksimum seviyede yararlanmak istiyorsanız eski yazılarınızı güncel tutmak ve her zaman yakın takipte tutmak zorundasınız. Başarılı bir sayfaya sahip olmak istiyorsak ürettiklerimizi en iyi şekilde sunmalı ve her zaman arkasında olmalıyız.

Bu yazı Seo Teknikleri ve Blog İpuçları | DHY tarafından yazılmıştır.
✔ Bu içeriği beğendiyseniz lütfen paylaşın ⤵

Yeni Google Search Console Beta Sürümü

google-search-console-beta

 Yeni google search console beta sürümü - Blog yazarlarının ve site sahiplerinin yakından tanıdığı Google Search Console yeni sürümü ile tazeleniyor. Arama motorundaki varlığınız ve gerçek istatistikleriniz için kullandığınız web yöneticisi artık daha kolay ve etkili kullanılabilecek. Tamamen değişen yapısı ve kolay erişilebilir analizleri ile her bilgiye kolayca ulaşacaksınız. Seo ayarları için search console istatistikleri önemli bir rehberdir. Bu rehberin güncellenmesi ve kullanıcıları için daha aktif hale getirilmesi önemli bir adımdır. Bu sürümün en önemli özelliklerinden biri de 16 ay boyunca tüm verilerinizi analiz edebilmenizdir.

En Yeni Özellikleri ile Google Search Console

 Öncelikle yeni sürümü incelemek için giriş yapın. Karşınıza aşağıdaki gibi bir görüntü çıkacak. Sağ üst köşeden "Arama Özelliği" bölümünden ekli olan bir mülkünüzü seçebilir veya yeni bir mülk oluşturabilirsiniz.

google-search-console-giriş

  Daha önceden eklenmiş bir mülkü seçtiğinizde sizi durum sayfasına yönlendirir. Bu sayfada Performans raporu, dizin raporu ve oluşturduğunuz geliştirmeleri görebilirsiniz. Daha detaylı bilgi için "Raporu Aç" butonuna tıklıyoruz ve hemen aşağıdaki görsel'deki gibi incelemelerde bulunabiliyoruz.

1) Performans:

performans-raporları

 Görselin üst taraındaki "Arama Türü: Web" sekmesine tıkladığınızda web yerine görsel veya video aramalarını seçebilirsiniz. Aynı zamanda tıkladığınız sekmede sol tarafta "karşılaştır" bölümüne tıklayarak web, görsel ve video aramalarını karşılaştırabilirsiniz.

 Görselin üst tarafındaki "Tarih: Son 3 ay" sekmesine tıklayarak son 7 günden tüm zamanlara kadar çeşitli tarihler arası arama yapabilirsiniz. Hatta isterseniz özel olarak kendiniz tarih belirleyerek merak ettiğiniz dönemin arama raporlarına ulaşabilirsiniz. Aynı zamanda tıkladığınız sekmede "karşılaştır" bölümüne tıklayarak seçtiğiniz tarihi önceki dönemle kıyaslayabilirsiniz.

 Görselin üst tarafındaki "+YENİ" sekmesine tıklayarak kendiniz manuel sonuçlar elde edebilirsiniz. Örneğin; +YENİ sekmesine tıklayarak arama türünü sorgu olarak seçtiğimizde anahtar kelime bölümüne merak ettiğiniz bir kelime girin. Böylece toplam tıklanma sayısını ve nasıl arandığını görebiliyorsunuz.

 Görselin alt tarafındaki "SORGULAR" "SAYFA SAYISI" "ÜLKELER" "CİHAZLAR" bölümleri size ipuçları verecek şekilde tek bir yerde toplanmış. Böylece hangi ülkeden ve hangi cihazlar kullanılarak sayfanıza ulaşılmış görebileceksiniz.

2) Dizin Kapsamı

dizin-kapsamı-raporları

 Bu raporda uyarılarla geçerli, geçerli ve hariç bırakılan dizinler gösterilir. Benim sorgulama da 22 uyarılarla geçerli dizin çıktı. Sebebi yakın zamanda blog başlığımı değiştirmemdir. Dizine eklenmiş ama bir sıkıntı var gibi demek istiyor. Hariç bırakılanlar da dizine eklenmesi istenmeyenlerdir. Bunlar dizine eklenmesini istemediğimiz arama sorguları, arşiv sayfaları gibi bağlantılar olabilir.

Yeni Sürümde Site Haritası Nasıl Eklenir?

 Mülkünüzü seçerek durum sayfasına ulaştığınızda sol alanda "Site Haritaları" sekmesine tıklayın. "Yeni bir site haritası ekleyin." bölümündeki boşluğa sitemap.xml yazarak yazılarınızı, sitemap-pages.xml yazarak iletişim, hakkımda vb. gibi sabit sayfalarınızı dizine ekleyebilirsiniz. Hemen altındaki alanda gönderilen site haritalarını ve dizine eklenen sayıyı görebilirsiniz. Blog sayfanızda 250 yazı yayınladığınız halde site haritalarında 220 görünüyorsa 30 yayın dizine eklenmemiştir demektir. Her yeni yazı yayınladığınızda Google Gibi Getir yaparak dizine eklenme işlemini hızlandırabilirsiniz. Eski sürüm google search console ayarları için yazımı okuyabilirsiniz.

site-haritası-nasıl-eklenir

 Beta sürümde Google gibi getir özelliğini göremedim. Eğer yoksa büyük bir eksiklik olabilir ama varsa ben görmediysem problem yok. Eski sürümdeki tüm işlevlerin yenisine aktarılması zaman alacaktır. Şimdiki hali ile hoşuma gitti ileride yeni özellikler eklendiğinde daha iyi olacaktır. Siz yeni sürümü denedikten sonra eski sürümle devam edeyim derseniz sol alt köşede Eski Sürüme Git butonunu kullanabilirsiniz. Ücretsiz bir şekilde bize sunduğu araçlar için Google arama motoruna teşekkürü borç biliriz.

✔ Bu içeriği beğendiyseniz lütfen paylaşın ⤵

Blogger İçin Site Haritası Ekleme Nasıl Yapılır? Sınırı Var Mıdır?

blogger-blogspot-için-site-haritası
Site Haritası Ekleme Sınırı
Sınırsız site haritası ekleme mümkün mü?, Blogger için site haritası ekleme sınırı ne kadar? Blogger sitemap oluşturma yöntemi
  Ne kadar biliniyor emin değilim ama Blogger altyapılı blogspot bloglar için site haritası işlemi 20 sayfa ve 3000 url ile sınırlı. Yani bu sınırı aştığınızda yazılar dizine eklenemiyor. Her sayfa da 150 url barındırdığından toplamda 20 sayfa yani 20x150=3000 url sınırı ile karşılaşıyorsunuz. Google Search Console ile gönderdiğimiz url'ler 3000 ile sınırlı ve bu aşamaya kadar başarılı ve sıralı şekilde site haritalarınız eklenmeye devam eder. Buraya kadar her şey normal ama bu sınırı aşmak için neler yapılabilir? Öncelikle Google Search Console ayarları yazımı okuyarak site haritası ekleme gibi detayları incelemenizi tavsiye ederim. Yeni başlayanlar ve 3000 url hedefine uzak olanlar için şimdilik sorun yok gibi görünüyor ama işin mantığını bilmek search console ayarlarını iyi kullanmak gerekiyor.

  Google yazıları dizine eklerken vermiş olduğunuz bağlantıları 150'şer olarak sayfalara ayırır. Sistemli şekilde otomatik olarak kendisi sayfa oluşturur. Yani 150 url için /sitemap.xml?page=1 sayfasını ve 151. bağlantı gönderildiğinde /sitemap.xml?page=2 sayfasını oluşturmaya devam eder. Bu şekilde oluşturulan sayfalar /sitemap.xml?page=20'de son bulur.

  Aynı şekilde başka bir örnek vermek gerekirse 1000 adet url gönderdiniz ve oluşturulan sayfa sayısı şu şekilde olacak. Her sayfada 150 url barındırıldığından toplam 7 sayfanız eklenmiş görünür. (1000/150=7 sayfa) Blogger servisinin basit ve kolay kullanımı olduğundan yapmanız gereken tek şey aslında aşağıdaki resimdeki gibi site haritanızı göndermek.
  3000 url sayısını yakalamak bloglar için uzun yıllar demektir. Bu aşamaya kadar her şey otomatik ilerlerken bir şekilde url sayısı 3000'i geçen bloglar veya siteler için google 20 sayfadan sonrasını dizine eklemez. Fazladan sayfaları dizine eklemek için manuel işlem yapılarak web yöneticisine eklenmelidir. Varsayalım ki 3300 yazıya ulaştınız ve google web yöneticisine gönderdiniz. İlk 20 sayfa zaten otomatik eklenmişti şimdi manuel olarak kendimiz eklemeye devam ediyoruz. (3300/150=22 sayfa)
http://dogushakanyilmaz.blogspot.com/sitemap.xml?page1
http://dogushakanyilmaz.blogspot.com/sitemap.xml?page2
http://dogushakanyilmaz.blogspot.com/sitemap.xml?page3
.
.
.
http://dogushakanyilmaz.blogspot.com/sitemap.xml?page21
http://dogushakanyilmaz.blogspot.com/sitemap.xml?page22
http://dogushakanyilmaz.blogspot.com/sitemap.xml?page23
Bu şekilde elle kendiniz site haritası sayfası oluşturarak gönderdiğiniz url'lerin
dizine eklenmesini sağlayabilirsiniz. Bu seviye de blog adresine sahip olan birisi var
mı bilmiyorum ama umarım bir gün bizler de bu seviyede url sayısına ulaşırız. Yapılması
gereken bu kadar basit olmasına rağmen blogger site haritası sınırsız değildir. Aynı şekilde blogger
için oluşturduğunuz sabit sayfaları da dizine ekleyebiliyorsunuz. Sabit sayfalarınızı dizine eklemek
için buradaki yazımı okuyabilirsiniz.

✔ Bu içeriği beğendiyseniz lütfen paylaşın ⤵

Blogger Sayfalarını Site Haritası ile Dizine Ekleme

blogger sabit sayfalar için site haritası

 Blogger sabit sayfalarını site haritası ile dizine ekleme işlemi büyük önem taşımaktadır. Yazıların dizine eklenmesi için sitemap.xml nasıl oluşturulur ve diğer google search console ayarları için Google Search Console Ayarları yazımı okuyabilirsiniz. Yazılarınızı dizine eklemek için yaptığınız işlemleri hakkımda, iletişim, site haritası gibi sabit sayfalar içinde yapmanız gerekiyor.

  Arama motorlarının doğru taraması ve dizine eklemesi için sitemap-pages.xml site haritasından faydalanmamız gerekiyor. Bu işleme başlamak için Google search console sayfasına giriş yapmanız gerekiyor. Blogunuzdaki sayfaların site haritasını görüntülemek için aşağıdaki linki kendinize göre uyarlayarak tarayıcınıza yapıştırın.
http://blog adi.blogspot.com/sitemap-pages.xml 

  • Blogunuz için oluşturduğunuz sayfalarınızı Google'a göndemek için aşağıdaki yönergeleri takip edin. 
  • Google search console'da ayarlarını yapmak istediğiniz blogunuzu seçin. Açılan sayfada sol tarafta tarama-site haritaları seçeneğini tıklayın. 


  Açılan bölümde sağ üst tarafta Site Haritası Ekleme/ Test Etme butonuna aşağıdaki resimde gördüğünüz gibi site haritasını ekleyin ve dizine eklenmesini bekleyin. 48 saat içinde dizine eklenecektir. Sayfayı yenilediğinizde yazıların ve sayfaların dizine eklenmesi için site haritalarını göreceksiniz.



Önemli: Eğer blog ayarlarınızda sayfalar "noindex" olarak işaretlendiyse dizine eklenmez. Dizine eklenmesi için bu işareti kaldırmanız gerekiyor. Ayarlar-Arama tercihleri sekmelerinden aşağıdaki resimdeki gibi ayarlarınızı yapabilirsiniz. Bu ayarları yanlış yaparak olumsuz etkilenmemek için hiçbir şey işaretlemeden boş bırakabilirsiniz.


✔ Bu içeriği beğendiyseniz lütfen paylaşın ⤵