Bot Trafiği Nedir?

 

Bot trafiği, esasen bir web sitesine yönelik insan dışı trafiktir. Botlar, internetten veri toplamak ve kullanıcı deneyimimizi geliştirmek için çevrimiçi hizmetler tarafından yoğun bir şekilde kullanılmaktadır. Botlar olmasaydı, Google'daki arama sonuçlarınız daha çok Alta-Vista veya AOL gibi olurdu (bu referansları alacak kadar yaşlıysanız, Google öncesi arama sonuçlarının oldukça saçma olduğunu hatırlayacaksınız).

 

Tekrarlayan görevler veya büyük miktarlarda veri toplama gibi şeyler için, botlar insanlardan çok daha iyi performans gösterir.

 

Bu tekrarlayan görevleri hızlı bir şekilde gerçekleştirme becerisiyle, botlar hem iyi hem de kötü için kullanılabilir.

 

"İyi" botlar, örneğin, tüm bağlantıların çalıştığından emin olmak için web sitelerini kontrol edebilir. "Kötü" botlardiğer yandan yoğun trafiğe sahip web sitelerini hedeflemek için serbest bırakılabilir, bu da siteyi boğup kaldırmaya yetecek kadar (DDoS saldırıları).

 

Botlar sadece programlanmış komut dosyaları olduğundan, herhangi bir sayıda işlevi yerine getirebilirler. Botlar, örneğin Google gibi arama motorları tarafından bilgileri almak ve analiz etmek için web'i taramak için kullanılır, bu da bu şirketlerin arama sonuçlarını güncel ve alakalı tutmasına olanak tanır.

 

Web sitelerinin tarayıcıları gibi son kullanıcılar için bot trafiği gerçekten bir sorun değildir.

 

Ancak site sahipleri için bot trafiği kritiktir; Google'ın sitenizi doğru bir şekilde taramasını sağlamak, analiz sonuçlarınızın doğruluğunu artırmak, web sitenizin sağlığını ve performansını sağlamak veya web sitenizde ve reklamlarınızda kötü niyetli davranışları önlemek için olsun.

 

Gerçek şu ki, tüm web trafiğinin yarısından fazlası bot trafiğidir. Ancak rahatsız edici olan, tüm trafiğin % 28,9'unun otomatik ve kötü niyetli kaynaklardan geldiğinin düşünülmesidir.

 

Farklı Bot Trafiği Türleri

Bot trafiğinin ne olduğunu tam olarak anlamak için, Google gibi arama motorları için web tarayıcıları veya web sitelerine saldırmak için kullanılan kötü amaçlı botlar dahil olmak üzere çeşitli bot trafiğine bakmak gerekir.

 

"İyi Botlar"

 

Tüm botlar kötü değil

SEO : Arama motoru tarayıcı botları web sayfalarını tarar, kataloglar ve dizine ekler ve sonuçlar, hizmetlerini sağlamak için Google gibi arama sağlayıcıları tarafından kullanılır.

Web Sitesi İzleme : Bu botlar, yükleme süreleri, aksama süreleri vb. Gibi sorunlar için web sitelerini ve web sitesinin sağlığını izler.

Toplama : Bu botlar, çeşitli web sitelerinden veya bir web sitesinin bölümlerinden bilgi toplar ve bunları tek bir yerde toplar.

Kazıma : Bu kategori içinde hem "iyi" hem de "kötü" botlar vardır. Bu botlar, örneğin telefon numaraları ve e-posta adresleri gibi web sitelerinden bilgi "alır" veya "kaldırır". Kazıma (tabii ki yasal olduğunda) örneğin araştırma için kullanılabilir, ancak bilgileri yasa dışı olarak kopyalamak için de kullanılabilir

"Kötü Botlar"

kötü bot trafiği çok zararlı olabilir

Spam : Burada botlar, genellikle web sitelerinin "yorumlar" bölümünde spam amaçlı olarak veya Nijeryalı Prenslerden gelen kimlik avı e-postalarını size göndermek için kullanılır.

DDoS : Botlar, sitenizi hizmet reddi saldırısıyla (genellikle koordineli bir saldırı) yıkmak için kullanılabilir

Reklam Sahtekarlığı : Botlar, reklamlarınıza otomatik olarak tıklamak için kullanılabilir ve genellikle reklam tıklamaları için ödemeyi artırmak için sahte web siteleriyle birlikte kullanılır.

Fidye yazılımı ve diğer kötü niyetli saldırılar : Botlar, cihazları şifrelemek için kullanılan fidye yazılımı saldırıları da dahil olmak üzere her türlü hasarı serbest bırakmak için kullanılabilir - genellikle bunların 'kilidini açmak' için bir ödeme karşılığında

Farklı siber suç türleri hakkında daha fazlasını buradan okuyun.

 

Bot Trafiği Nasıl Tespit Edilir?

Bot trafiğini tespit etmek, kötü botların size maliyetini önlerken iyi botların tüm avantajlarından (Google'ın arama sonuçlarında görünmek gibi) yararlanmanızı sağlamak için harika bir ilk adımdır.

Bot trafiğini nasıl tespit edeceğinizi anlarken, başlamak için en iyi yer Google Analytics'tir.

 

Kendi kendinize, "Analiz hesabımda bot trafiğini görebilir miyim?" Diye merak ettiyseniz, cevap şudur: kesinlikle bunun bir göstergesini alabilirsiniz. Neye dikkat etmeniz gerektiğini bilmelisiniz ve bot trafiğinin bir göstergesini alabileceksiniz, ancak bir sigara tüfek bulamayabilirsiniz.

 

Burada izlenecek temel oranlar şunlardır:

 

Çıkma Oranı

Sayfa Görünümleri

Sayfa Yükleme Metrikleri

Ort. Oturum Süresi

Hemen çıkma oranı şu şekilde ifade edilir:yüzde,ve yalnızca bir sayfayı görüntüledikten sonra siteden ayrılan web sitenizin ziyaretçilerini gösterir. İnsanların sitenize (örneğin bir arama motoru sonucundan) ulaşması ve ardından teklifinizi keşfetmek için tıklaması olasılığı yüksektir. Bir bot sitenizi keşfetmekle ilgilenmez, bu yüzden bir sayfaya "çarpar" ve ayrılır. Yüksek bir hemen çıkma oranı, tespit edilen bot trafiğinin harika bir göstergesidir.

 

 

Yüksek Hemen Çıkma Oranı, bot trafiğinin bir göstergesidir

Sayfa Görünümleri bunun neredeyse tam tersidir. Ortalama bir ziyaretçi sitenizdeki birkaç sayfayı ziyaret edebilir ve sonra yoluna devam edebilir. Birdenbire 50 veya 60 sayfanın görüntülendiği bir trafik görürseniz, bu büyük olasılıkla insan trafiği değildir.

 

Yavaş site yükleme metrikleri . Bunun izlenmesi de gerçekten önemlidir. Yükleme süreleri aniden yavaşlarsa ve siteniz durgun hissediyorsa, bu bot trafiğinde bir sıçrama veya hatta botları kullanan bir DDoS (Dağıtılmış Hizmet Reddi) saldırısı olabilir. Bazı durumlarda teknik bir çözüm gerekebilir (bununla ilgili daha fazla bilgi aşağıdadır), ancak bu, botların nasıl tespit edileceğine dair iyi bir ilk adımdır.

 

Ort. Oturum süresi , farklı kaynaklardan kullanıcıların siteyle nasıl etkileşim kurduğu hakkında size çok şey söyleyecektir. Aşağıdaki resimde, Microsoft Corp Ağı büyük olasılıkla insan dışı trafik getiriyor. Bot tıklamaları için iki saniye klasiktir.

 

 

Botların Sitemi Taramasını Nasıl Durdurabilirim?

Botların sitemi taramasını nasıl engelleyeceğimi anlarken, bazı botların iyi olduğunu, yani onların sitenizi taramasını istediğinizi akılda tutmak önemlidir . Örneğin, tüm botların web sitenizle etkileşime girmesini engellemek mümkündür,bu ayrıca, örneğin, Google arama sonuçlarının dışında kalacağınız anlamına da gelir.

 

İlk durağınız robots.txt dosyanızdır. Bu, sayfanızı ziyaret eden botlara yapabilecekleri ve yapamayacakları konusunda yönergeler veren basit bir metin dosyasıdır. Robots.txt dosyası olmadan, herhangi bir bot sayfanızı ziyaret edebilir. Dosyanızı hiçbir botun sayfanızı ziyaret edemeyeceği şekilde de ayarlayabilirsiniz (yine de yukarıdaki uyarıya bakın).

 

"Orta yol" kurallar koymaktır ve iyi haber şu ki "iyi" botlar bunlara uyacak. Ancak kötü haber şu ki, "kötü" botlar bu kuralları tamamen göz ardı edecekler.

 

"Kötü" botlar söz konusu olduğunda, bir teknoloji çözümü kullanmanız gerekecek. Burası bir CDN (İçerik Dağıtım Ağı) hizmetinin devreye girdiği yerdir. İyi bir CDN'nin avantajlarından biri, kötü niyetli botlara ve DDoS saldırılarına karşı sağlayabilecekleri korumadır. En yaygın olanlardan bazıları, bazı botların siteyi taramasını engelleyebilen Cloudflare ve Akamai'dir . Cloudflare'un kendilerinin de dediği gibi, "Cloudflare'nın veri kaynakları, sitenize otomatik olarak (tümü değil) giren kötü botların ve tarayıcıların sayısını azaltmaya yardımcı olacaktır".

 

Ayrıca kurulabilen, amaca yönelik oluşturulmuş anti-bot çözümleri de vardır, ancak bunların çoğunun web sitenizi nispeten iyi koruyabildiğini, ancak sizi bunun dışında koruyamayacağını - örneğin, arama motorlarındaki ve diğer mülklerdeki reklamlarınızı - unutmamak önemlidir.

 

Daha sıkıcı (ve daha az etkili) bir başka seçenek, trafiğin botla ilgili olduğunu bildiğiniz IP'leri manuel olarak engellemektir. Kullanabileceğin bir numaradır-dir Kontroltrafiğin coğrafi kökeni. Trafiğiniz genellikle ABD ve Avrupa'dan geliyorsa ve aniden Filipinler'den çok sayıda IP görüyorsanız, bu bir bot veya tıklama çiftliği olabilir.

 

Reklamlarınızı Korumak Neden Önemlidir?

Reklam kampanyalarınız için ve dolayısıyla işinizin geleceği için en büyük tehditlerden biri bot trafiğidir. CHEQ ve Baltimore Üniversitesi ekonomi departmanı, fırsatçı botların bile 2021'de işletmelere 35 milyar dolara mal olacağını gösterdi .

 

Botlar, reklamlarınızı tıklayıp arkalarında kaos bırakacak şekilde programlanabilir: örneğin, Adwords hesabınızı boşaltarak, Google'ın reklamınızın performansını düşük olarak değerlendirmesine neden olarak, rakiplerin reklamları belirgin bir şekilde öne çıkarılırken reklamınızın görüntülenmesini durdurarak, ve dönüşüm oranlarını etkileyerek ve analizlerinizi anlamsız hale getirerek.

 

Günümüzün dijital reklamcılık endüstrisinde, botlar hem çok büyük bir yardım hem de çok zararlı olma potansiyeline sahip. PPC korumasına proaktif bir yaklaşım benimsemek, reklam kampanyalarınızın güvenli olmasını sağlamanın tek yoludur. Tüm reklam yöneticileri, trafiğinin bot etkinliğinden nasıl etkilendiğini belirlemek için üçüncü taraf yazılımlara danışmalıdır.

 

Üçüncü taraf bir uzman, kötü adamları ve boş tıklamaları izleyerek ve engelleyerek bu sorunu azaltmanıza yardımcı olacaktır.