Nieuwe software detecteert bots Schrapen Websitegegevens

Websites zoals vacaturesites hebben te maken met een hardnekkig probleem: hun gegevens worden voortdurend gestolen door geautomatiseerde bots.

De gegevens komen terecht op andere concurrerende vacaturesites die de inhoud hebben gestolen. Het is een probleem dat elke website plaagt waarvan de intellectuele eigendom gratis openbaar moet worden gepost, of zelfs die met abonnementsmodellen.

Maar een in Atlanta gevestigd beveiligingsbedrijf dat gespecialiseerd is in het detecteren van bots heeft software ontwikkeld die die schermschrapers kan detecteren en datamining bots.

[Meer informatie: Hoe malware van uw Windows-pc te verwijderen]

Pramana's hoofdproduct, HumanPresent, detecteert automatische bots die bijvoorbeeld spam invoeren in webformulieren of zich gratis registreren e-mailaccounts die moeten worden gebruikt voor spam.

Pramana heeft nu een module ontwikkeld met de naam "Datamining en schermschrapen voorkomen" voor HumanPresent. Het werkt op veel van dezelfde principes als het hoofdproduct, maar is aangepast voor datamining-scenario's, zegt David Crowder, CEO van Pramana.

HumanPresent kan bots detecteren door verschillen op te merken in de manier waarop een mens normaal zou omgaan met een web pagina en contrasterende die met hoe bots gedragen. Er wordt gekeken naar meer dan 30 statistieken, zoals toetsenbordslagen, muisklikken en de timing van die acties.

HumanPresent kijkt naar afzonderlijke transacties, maar de datamijnmodule is aangepast om te kijken naar een getimede periode waarin een bot of mens is op de site, Crowder gezegd.

Datamining-bots hebben de neiging om de gebruikersinterface van een browser volledig te omzeilen. Een bot kan bijvoorbeeld een webpagina aanvragen met heel veel gegevens, maar nooit scrollen of klikken op een pagina. Als een reeks pagina's op die manier wordt geopend en bekeken, kan dit betekenen dat er een datamining-bot is aangekomen.

Pramana kent een unieke ID toe aan de bezoeker en kan na analyse van het bezoekersgedrag een beslissing nemen om te labelen de bezoeker een bot of niet. Er zijn verschillende manieren waarop een websitebeheerder ervoor kan kiezen om met de situatie om te gaan.

Het IP-adres (Internet Protocol) van de computer van de bot kan permanent worden geblokkeerd. Een website voor autoveilingen die de datamodule van Pramana test, heeft besloten om verdachte bots naar een 'sandbox' te verplaatsen, waar volledig valse gegevens worden weergegeven.

'Ze zijn inderdaad data mining - het is gewoon dood verkeerd', zei Crowder..

Andere opties zijn het vragen van de websitebezoeker met een uitdaging of taak, die sommige bots niet kunnen voltooien.

Datamining kost bedrijven veel geld. Bedrijven die premiumgegevens verkopen, zullen merken dat hun concurrenten een abonnement zullen kopen en vervolgens geautomatiseerde bots zullen gebruiken om de gegevens voor hun eigen sites te stelen. In een voorbeeld ontdekte een website met gigabytes aan gegevens over prijzen van gebruikte auto's dat hun gegevens waren geschraapt en te koop waren op eBay.

"Ze concurreren eigenlijk met hun eigen inhoud", zei Crowder.

Websites hebben een slecht ontwerp dat het opschrapen van gegevens veel eenvoudiger maakt. De site van de gebruikte auto had URL's (Uniform Resource Locators) kon achtereenvolgens worden aangepast om meer gegevens te onthullen, zei Crowder.

De datamining-module zal nu worden ingepakt in het HumanPresent-product, maar begin volgend jaar is Pramana van plan het te verkopen afzonderlijk, zei Crowder. Pramana biedt HumanPresent aan als een on-premise appliance of als een software-als-als-service configuratie.

Voor de SaaS-software (software als een service) is de technologie van Pramana geïntegreerd in een webtoepassing en wordt sessie-informatie teruggestuurd naar Pramana voor analyse. Crowder zei dat Pramana in staat was om de latentietijd in de laatste versie aanzienlijk te verkorten. Voor klanten die meer snelheid nodig hebben, is het apparaat beschikbaar.