Robots.txt nedir?
Robots.txt arama motorlarının bir adrese uğramadan önce göz attığı ilk yerdir. Mantığını şu örnek ile kavrayabilirsiniz; bir arkadaşınızın evine gideceksiniz, bu evde yaklaşık bir saat kadar kalacaksınız. Bu ziyaretiniz öncesinde arkadaşınıza geliyorum ama evde yemek var mı, terliklerini kullanabilir miyim gibi evde bulunacağınızdan ötürü sorun yaşamamak adına sorularınız olacaktır. Robots.txt bu görevi görür. Siteyi inceleyip sizin verilerinizi yedekleyip başka kullanıcılara sunacak olan arama motorları ilk önce robots.txt dosyasına uğrar ve bu sitede başkalarıyla paylaşmamam gereken bir veri var mı, bu site sahibi şu şekilde olan robotları sitesinde görmek istiyor mu, site sahibi benim nasıl bir yol izlememi istiyor gibi temel sorularını bu txt dosyası aracılığıyla gidermek ister. Bu txt ona nasıl bir yol haritası çizer ise o yol haritasına göre siteye muamele eder.
Robots.txt Oluşturma, Robots.Txt Nasıl Oluşturulur?
Online hizmet sunan robots.txt oluşturma adresleri mevcuttur fakat biz size Google 'u önereceğiz. Eğer blogger kullanıyor iseniz Google otomatik olarak size normal şartlarda oluşturulması gereken robots.txt 'yi sunuyor. Başka bir altyapı kullanıyor iseniz online oluşturucu siteler ile oluşturabilirsiniz ancak bu yazıdan sonra bu sitelere pek gerek duymayacaksınız. İlk olarak bilgisayarınızda bir txt (metin belgesi) oluşturun ve açın. Daha sonrasında aşağıdaki kodlardan size uygun olanını kopyalayıp bu txt 'nin içerisine yapıştırın. Blogger tarzı hazır bir sistem kullanıyorsanız otomatik olarak var olur ancak kendinize özel bir hosting sahibiyseniz sitenizin kök dizinine bu txt dosyasını atmanız gerekiyor. Chmod kaç olmalı falan diye soranlarda var, buna karışmayın 665 veya 777 her neyse fark etmiyor.
Olasılıkları ele alarak şimdi robots.txt oluşturalım.
1.Olasılık: Bir websiteniz var ve bu sitenin arama motorlarında görünmemesini istiyorsanız, yani sadece size özel olsun istiyorsanız kullanmanız gereken kod;
User-agent: * Disallow: /
2.Olasılık: Bir websiteniz var ve bu sitenin arama motorlarında görünmesini istiyorsanız, yani evet insanlar arama motoru aracılığıyla siteme ulaşsın diyorsanız kullanmanız gereken kod;
User-agent: * Allow: /
3.Olasılık: Bir websiteniz var ve evet arama motorları verilerimi yedeklesin ancak benim bazı klasörlerim (kod içerisinde kırmızı renkle özeldosya, özelresim şeklinde geçiyor, siz engellemek istediğiniz kısmı bunun yerine yazın) bana özel ve bu klasörlerde var olan verileri almasın diyorsanız aşağıdaki kodu kullanabilirsiniz;
User-agent: *
Disallow: /özeldosya
Disallow: /özelresim
Buradan sonra ise sizin kendinize göre şekillendirebileceğiniz özel kodlardan bahsedelim. Buraya kadar mantık engel var(disallow), engel yok(allow) idi. Engel yok ise zaten herhangi bir ek uygulamaya gerek yok ancak engel var ise bunu nasıl şekillendiririz ona bakalım. Mesela benim alanıma ait verilerden sadece admin panelimin yer aldığı adminpanelim.php sayfasını veri olarak alma dersem şu konu kullanmam gerekecek:
User-agent: *
Disallow: /adminpanelim.php
Robots.txt oluştururken es geçmemeniz gereken konulardan birisi de sitemap adresinizi bu txt dosyası içerisine yerleştirmektir. Arama motoruna yardımcı olursanız, sizi sevecektir. Bunun için kullanmanız gereken kod:
Sitemap: adresi-yaz.xml
Peki benim kafam karıştı, ben amatörüm, olması gereken robots.txt kodunu önerir misiniz diyenler için, gizli saklı bir şeyimizin olmaması nedeniyle kullandığımız basit kodumuz şöyledir;
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.sefbeyz.com/sitemap.xml
Şimdi genel bir tekrar yapıp anlayalım, biz bu robots.txt dosyası ile ne dedik?
User-agent ile bütün botlara izin verdik, Disallow: /serach ile bu siteye saçma sapan kişiliğe sahip insanlarda uğruyor ve saçma aramalar yapıyor, bu aramaları gösterip de diğer insanların bilincini kirletme dedik. Allow: / ile search harici her şeyi alabilirsin, eti senin falan dedik. Sitemap adresimizi yazarak da bak bot kardeş fazla yorulmana gerek yok, sitemap ile hızlıca sayfaları bulabilirsin, ben sana yardımcı oldum sen de beni şöyle ön sıralara itele ödeşelim dedik.
Robots.txt oluşturdum ama hata var mıdır? Bu soru Robots.txt Test Aracı ile çözülebilir. Bunun içinde yine Google size yardımcı oluyor, bu test aracına aşağıdaki bağlantı ile ulaşabilirsiniz.
https://www.google.com/webmasters/tools/robots-testing-toolGenel hatlarıyla robots.txt konusuna değindik, umuyorum ki faydalı olmuştur. Robots.txt oluştururken dikkatli olun zira yanlış yaparsanız arama motorları sitenize hiç uğramaz. Sorularınızı ise yorum kısmından sorabilirsiniz, yanlış bir şey yapın istemem. Google'da Ara
Yorum Gönder