robots.txt

Robots Dosyasının Oluşturulması

Bu kısımda, robots.txt dosyasının önemini ve bunun nasıl yapılacağını anlatmaya çalıştım.

Bu dosyanın temel görevi, arama motoru botlarına hangi sayfalarınızı tarayabileceklerini ve hangi sayfalarınızı taramamaları gerektiğini bildirmektir. Her arama motoru için bu talimatlar ayrı ayrı özelleştirilebilir.

Nasıl Oluşturulur?

Next JS, robots.txt dosyasını oluşturmak için özel bir dosya adı belirlemiştir. Projenizin app klasörünün en üst dizinine bir robots.tsdosyası oluşturarak siteniz için gerekli olan robots.txt dosyasını oluşturabilirsiniz.

Dosyanın Yapılandırılması

Aşağıdaki fonksiyon, Next JS özelindedir. Nasıl sayfalarımızın dosya adını page.tsx olarak isimlendiriyorsak, bu fonksiyon isimlendirmesi de ayrıcalıklı ve özeldir.

İzin Ayarlamaları

userAgent: Bu kısım hedeflediğiniz arama motorunun ismini barındırır.

allow: Bu kısım hangi sayfalarınızın taranabileceğini belirtir.

disallow: Bu kısım hangi sayfalarınızın taranamayacağını belirtir.

sitemap: Bu kısım arama motorlarına sitemap.xml dosyanızı bulabilmeleri için yol gösterir.

Next JS, robots.txt dosyasını bizim için artık oluşturdu. Bu dosyayı görmek için /robots.txt adresine gidelim. Aşağıdaki çıktıyı görüceksiniz.

Arama Motoru Özelinde Ayarlamalar

Arama motorlarına özel olarak tek tek özelleştirme yapmak istediğiniz zaman, kurallarınızı bir dizi içine almanız yeterlidir.

Eğer sayfamızı yenilersek aşağıdaki çıktıyı aldığımızı görüceksiniz.

Sonuç

Robots.txt dosyaları, arama motoru tarayıcılarına web sitenizin yapısı hakkında bilgi vererek, arama motorlarının web sitenizi daha verimli bir şekilde taramasını ve sitenizi sıralamasına katkı sağlayabilir. Ayrıca, web sitenizdeki bazı sayfaların veya klasörlerin arama motorları tarafından indekslenmesini engellemek için de kullanılabilirler.