Merhaba arkadaşlar,

Uzum zamandır sunucu loglarında bir user-agent dikkatimi çekiyor; web sitemi, Yandex botlarından bile daha agresif bir şekilde crawl ediyor, gün boyu site içerisinde tarama yapıyordu.

Ufak bir araştırmayla PetalBot isimli örümceklerin, Çin menşeli Huawei markasına (Aspiegel Limited) ait olduğunu ve arama motoru / tarayıcıları için veri topladığını öğrendim.

5 Farklı Yöntemle PetalBot Engellemek

Bu tarz işe yaramayan zararlı botları, WordPress sitelerde engellemenin 3 yolu bulunuyor;

Bu amaçla geliştirilmiş Blackhole for Bad Bots eklentisini kullanabilirsiniz.
All in One SEO Pack isimli seo eklentisini kullanıyorsanız “Kötü bot engelleyici” özelliğini aktifleştirebilirsiniz.
Robots.txt ile engelleme yapabilirsiniz ancak tarayıcılar, botlar bu kuralı dikkate almayabilir. (User-agent: PetalBol Disallow: /)

CloudFlare kullananlar hesabına giriş yaptıktan sonra Firewall > Rules bölümünden “Know Bots >> Off” ile bloklama kuralı oluşturabilir.

Ama en etkili yöntemin .htaccess üzerinden yapılacak sunucu taraflı engelleme olacağını belirtmekte fayda var. Bunun için .htaccess dosyasının sonuna şu kodları eklemeniz kâfidir.

<IfModule mod_rewrite.c>
RewriteCond %{HTTP_USER_AGENT} (PetalBot|httrack) [NC]
RewriteRule .* – [F,L]
</IfModule>

Zararlı Botları Neden Engellemeliyiz?

Bu tarz botlar (PetalBot;+https://aspiegel.com/petalbot) saniyeler içerisinde web sitenize birçok istek göndererek sunucu / hosting bazlı kaynak tüketir. Web sitenizin yavaşlamasına ve sağlıklı çalışmamasına neden olabilir. Bu tarz durumlarda hosting firmanız size bazı uyarılarda bulunabilir. Kısıtlı bandwidth’e sahip hosting paketlerinde trafik genişliğinin hemen dolmasına ayrıca yüksek hemen çıkma oranlarına işaret edebilir. Web siteniz temiz ve organik trafiğe sahip olsun!

Dilerseniz Robots.txt dosyasına Crawl-delay: 10 komutunu ekleyerek tarama geciktirmesi isteyebilirsiniz. Bu parametreyle beraber arama motoru botları, belirtilen maksimum aralıklarla (10 sn.) web sitenizi derinlemesine tarar.

Ekstra: Diğer Bilinen Botlar Nelerdir?

Aşağıda bazı zararlı / zararsız botlar listelenmiştir.

DotBot : Moz.com Backlink Analiz & SEO şirketinin web crawler eden botu. DA & PA skoru ile tanıyoruz onu.
Rogerbot : Diğer bir moz.com bot.
MJ12bot : Dünyanın önde gelen SEO firmalarından Majestic.com sitesinin botu. TF & CF değerleri ile tanıyoruz kendilerini.
AhrefsBot : Backlink denetleyicisi meşhur Ahrefs.com botu, DR & UR metrikleri ile bilinir.
SEOkicks : SEOkicks.de backlink aracı botu.
ia_archiver : Alexa.com web sitesi botu
SemrushBot : Dijital pazarlama araçları servisi SEMrush.com botu.
Exabot : Exalead.com meta arama sitesine ait bot.
IndeedBot 1.1 : Çeşitli platformlardaki iş ilanlarını bir araya getiren iş arama sitesine (indeed.com) ait bot.
Coccocbot-web/1.0 : Vietnam menşeli (coccoc.com) tarayıcısı ve arama motoruna ait bot.
Pinterestbot/1.0 : Pinterest.com bot & spider.
Mail.Ru : Rusya’nın en çok ziyaret edilen web portalı / meta arama motoruna ait bot.
YandexBot/3.0 : Rus menşeli Yandex.com arama motoru botu.
Slurp : Yahoo arama motoru örümcek.
Baiduspider : Baidu.com Çin’den en sık kullanılan arama motoru.
Sogou spider : Sogou.com, Çin’de erişim engelleriyle nedeniyle sık kullanılan yeni nesil bir arama motoru.
SeznamBot : Çek Cumhuriyeti’nde en çok kullanılan (seznam.cz) web portalı ve arama motorudur.
BLEXBot : İçeriğinizi incelemek ve analiz etmek için (webmeup-crawler.com) sayfalarınızı ziyaret eden otomatik bir robot.
Serpstatbot/1.0 : Web sitenizin anahtar kelime sıralamasını izlemenize olanak sağlayan (Serpstat.com) bir bot.
Aranhabot : Bir diğer Amazon örümceği.
Tracemyfile/1.0 : Yüklediğiniz görselin geçtiği web sitelerini gösteren (tracemyfile.com) bot.
Yeti/1.1 : Güney Kore merkezli ülkenin en çok tıklanan arama motoru sitesine (naver.com) ait bot.
Daum : Kore merkezli web portal / arama motoru (daum.net.)
MojeekBot: Mojeek.com arama motoruna ait bot.
yoozBot-2.2 : İran merkezli (Yooz.ir) arama motoru.
Uptimebot : Web sitenizin erişebilirliğini denetleyen ve raporlayan sisteme (uptimerobot.com) ait bot.
GrapeshotCrawler : Oracle firmasına ait (grapeshot.co.uk/crawler.php) bir tarayıcı botu.
Seekport Crawler : Sosyal medya sinyallerine göre sıralama yapan Almanca arama motoru (seekport.com) web sitesi crawler botu.
Zoominfobot : Gelişmiş doğal dil işleme algoritmalarına sahip işletmeleri ve kurumsal firmaları, çevrimiçi kaynakları sürekli olarak tarayan zoominfo.com b2b veritabanı sitesine ait bot.
Barkrowler/0.7 : Exansa & Bubing bot. (https://www.exensa.com/crawl)
Barkrowler/0.9 : Seo ajansı bot. (https://babbar.tech/crawler)
Datanyze : Datanyze tarayıcısı, teknolojik verilerini güçlendirmek için anahtar kelime bazlı her gün milyonlarca web sitesini tarar.
YisouSpider : Çince (yisou.com) arama botu.
Adscanner : Adscanner.tv sitesi tarafından üretilen örümcek.
Genieo/1.0 : Kötü amaçlı yazılım ve reklamlarını engelleyen İsrail merkezli bir şirket.
Blekkobot : Blekko / Blekkobot / ScoutJet. IBM firması bünyesindeki Watson ürünü doğal dille sorulan sorulara yanıt vermek için tasarlanmış yapay zekâ yazılımıdır.
Seobility : Seobility.com online seo tool sitesi.
istellabot/t.1.13 : İtalyan (https://tiscali.it) internet sitesine ait bot.
GroupHigh/1.0 : Influencer & Blogger keşif sitesine (grouphigh.com) ait bot. // GroupHigh LLC
Linkdexbot : Mobil ve web arama için (seo & pazarlama web sitesi: linkdex.com) tarama yapan bot.
Livelap : Web sayfalarını (site.livelap.com) tarayan başka bir internet robotu.
Arquivo-web-crawler : Web sitelerini arşive alan (arquivo.pt) dijital kütüphane.
oBot/2.3.1 : IBM bünyesinde bulunan bu örümceğe ait detaylı bilgiyi (filterdb.iss.net/crawler/) adresinden alabilirsiniz.
SurdotlyBot : Web analiz toplayan ve bunu kullanıcılara sunan (sur.ly) internet botu.
panscient.com : Kişi & şirket arama sitesine ait bot.
Mediatoolkit : Sosyal medya ve web siteleri üzerinde firmanızdan bahseden etkileşimleri haberdar eder. Hırvatistan’da bir yazılım şirketidir.
DotBot/1.1 : Moz.com backlink denetleme aracına ait (Link Explorer & opensiteexplorer.org) bot.
JobboerseBot : Alman kariyer sosyal paylaşım sitesine (Xing.com) ait bot.
MetaJobBot : İş bulma amaçlı kurulmuş meta arama motoruna (http://www.metajob.de/crawler) ait bot.
AiHitBot/2.9 : Şirketleri listeyen bir veritabanı. (https://www.aihitdata.com/about)
Gigabot/1.1.1.2 : Gigablast.com arama motoru botu.
DomainStatsBot : Alan adı analiz (domainstats.com) botu.
VelenPublicWebCrawler/1.0 : Web sitelerinin iletişim e-mail adresini bulan (hunter.io) ait bot.
KomodiaBot/1.0 : Site kategorisini çıkartan (komodia.com) web sitesi.
Proximic : Comscore şirketine ait (proximic.com) bot.
Qwantify/Bleriot/1.1 : Gizliliğe önem veren arama motoru sitesi (qwant.com) bot.
MagiBot : Peak Labs ait (magi.com) arama sitesi.
Applebot : Apple için geliştirilmiş web gezginidir. Siri ve Spotlight önerileri gibi ürünler Applebot’u kullanır.
A6-Indexer : A6 Corporation – http://www.a6corp.com

Bazı Kaynaklar ::

https://www.yatasbedding.com.tr/robots.txt
https://www.avansas.com/robots.txt
http://sil.org/robots.txt
https://www.rocketrental.co.nz/robots.txt
https://support.acquia.com/hc/en-us/articles/360042181273-Block-Access-to-Bad-Bots-coming-from-the-Huawei-Cloud