Tweakblogs.net

PHP: Spam weren, maar dan zonder CAPTCHA

basvd — Tue, 16 Jun 2009 08:20:15 GMT

Ik gebruik altijd dezelfde methode als ZpAz, en dit werkt altijd perfect. Daar waar ik eerst 50 berichten per dag kreeg zijn er dit nu 0. Een andere simpele oplossing is om via JavaScript een hidden field toe te voegen aan het formulier. De meeste spambots ondersteunen geen javascript, dus 'geen veld in $_POST=spam'

PHP: Spam weren, maar dan zonder CAPTCHA

StefSybo — Tue, 16 Jun 2009 07:50:11 GMT

Ik gebruik zelf ook altijd wat filters van het type zoals jij ze beschrijft om te kijken of er bijvoorbeeld niet te snel wordt gepost (binnen 3 seconden het formulier invullen is waarschijnlijk spam), maar daarnaast gebruik ik Linksleeve. Dat is een webservice waar je je bericht naartoe stuurt en die controleert dan of er verdachte links in staan en die geeft direct een antwoord terug (dus geen queue). Verdachte links zijn links naar domeinen die Linksleeve te vaak tegenkomt. Mijn ervaring is dat spam hiermee goed gedetecteerd wordt en hoe meer mensen meedoen, hoe beter het wordt, omdat nieuwe spamdomeinen sneller gevonden worden.

PHP: Spam weren, maar dan zonder CAPTCHA

Punkie — Tue, 16 Jun 2009 07:41:52 GMT

Het verbaast me dat met een dergelijk eenvoudige opzet een grote succesratio kent voor spam. Tenminste, een hoge successratio is ik wat ik denk dat je claimt want je informatie hierrond is nogal vaag. Voor iemand (inclusief jezelf) kan besluiten dat het weldegelijk goed werkt met er een evaluatie methode worden bepaald en cijfermateriaal worden verzameld. Enkele vragen die belangrijk kunnen zijn: Hoeveel "goede" berichten zijn er? Hoeveel spam berichten zijn er? Hoeveel goede berichten worden als spam geclassificeerd? Hoeveel spam berichten worden doorgelaten? Hoe meet je deze waarden? Hoeveel berichten worden herzonden (als in, submitted, failed spamtest, aangepast en resubmit)? En hoe verhoud zich dat tot andere oplossingen?

PHP: Spam weren, maar dan zonder CAPTCHA

crisp — Tue, 16 Jun 2009 06:00:44 GMT

AndriesLouw: IE heeft zo wel eens z'n nukken, maar ook andere browsers zullen een name-value pair van een submit-button niet meesturen als het geen activated element is (bijvoorbeeld als een submit getriggered wordt dmv een in een tekstveld ipv een klik op de button).

PHP: Spam weren, maar dan zonder CAPTCHA

AndriesLouw — Mon, 15 Jun 2009 21:41:38 GMT

@crisp: Oh, my bad, ik geef altijd alle input's een name-attribuut mee. En ik heb in het verleden vreemde dingen gezien met IE, die soms wel, soms niet submit's meestuurt. Daarbij, better safe, than sorry

PHP: Spam weren, maar dan zonder CAPTCHA

crisp — Mon, 15 Jun 2009 21:37:39 GMT

want ook een Verzenden-knop telt mee in $_POSTAlleen als je die een name-attribuut geeft, wat geen vereiste is

PHP: Spam weren, maar dan zonder CAPTCHA

AndriesLouw — Mon, 15 Jun 2009 21:31:02 GMT

@ZpAz: Ook een mooie oplossing ja, lijkt ook wel op die van TeeDee en mithras. Zoals gezegd: mijn oplossing qua tellen van $_POST variabelen is heel simpel. De kracht zit hem juist in het combineren van verschillende technieken, en het punten bijhouden. Als iedereen zelf iets verzint, wordt het voor een spammer enorm moeilijk om 1 tactiek te kiezen.

PHP: Spam weren, maar dan zonder CAPTCHA

TeeDee — Mon, 15 Jun 2009 21:30:12 GMT

@ZpAz: dat zeggen mithras en ik ook al Een van de betere anti-spam oplossingen: een registratie, maar dat is natuurlijk een vrij grote drempel.

PHP: Spam weren, maar dan zonder CAPTCHA

AndriesLouw — Mon, 15 Jun 2009 21:26:36 GMT

@doeterniettoe: Je hebt met alle punten gelijk, en ik moedig het dan ook aan om uitbreidingen te schrijven, je MX-check is zeker niet slecht, en er kunnen eenvoudig een paar punten aan worden gehangen! De reden dat proxy-servers toch een paar puntjes krijgen is om ze zo net over die drempel heen te pushen in geval van twijfel. Het zijn ook maar ideeën, en je bent vrij om een set regels wel of niet de implementeren. Het doel van deze blogpost was mensen te inspireren het eens anders te doen dan met CAPTCHA's, want die worden tegenwoordig ook gewoon ge-outsourced naar India, alwaar ze de hele dag ingetikt worden voor een hongerloontje. Spam-filters zul je ook continu moeten aanpassen, maar bieden wel een, vooral voor de gebruiker, minder vervelende oplossing. 1 ding nog: De vertraging, ik heb er serieus over nagedacht, maar het heeft geen zin, zodra een spammer gaat multithreaden, dan vervalt mijn vertraging al. (Immers kan hij dan 100 verschillende versies submitten, 10 sec. totaal wachten, en dan is hij even ver als 100 verspreid over 10 seconden indienen in normale situatie.) En ik ga met 30 pageviews/seconde niet elk IP bijhouden in een database om te kijken of ze op dit moment niet al een poging doen om een reactie toe te voegen, dat wordt té complex.

PHP: Spam weren, maar dan zonder CAPTCHA

ZpAz — Mon, 15 Jun 2009 21:21:02 GMT

Wat ook wel eens wil werken. Een normaal input veld 'hiden' dmv css (of zelfs evt JS) met als naam 'firstName' oid. Een botje weet niet dat hij niet zichtbaar is, en zal hem dus invullen. (Verstoppen kan via display: none, evt, position: absolute en dan uit het beeld ofzo (mocht je denken dat botjes slim genoeg zijn voor display: none). Een niet botje ziet hem niet (mens) en vult hem niet in. Serverside controleren of hij is ingevult, en je hebt een spammer te pakken. Zo houd je de algemene spammers buiten de deur, alleen spammers die zich echt op jou site richten zouden er doorheen komen.

PHP: Spam weren, maar dan zonder CAPTCHA

doeternietoe — Mon, 15 Jun 2009 21:14:38 GMT

Voor de meeste webmasters is het antwoord al snel: Een CAPTCHA implementeren. Het grootste nadeel is bekend; een goede dient moeilijk te zijn voor computers, maar is dit helaas ook steeds vaker voor een mens.Dit laatste punt vereist wat meer uitleg, het is zo dat elk formulier bestaat uit -velden, deze hebben allemaal een name-attribuut waarop je ze in je code kunt aanspreken. Een spammer heeft echter vaak geen tijd/zin om uit te vogelen welke name-attributen je hebt meegegeven.Vanuit het perspectief van spammers gezien: Het is vele malen gemakkelijker om de html de parsen en alleen iets te sturen naar bestaande input-velden dan om een catchpa te lezen. Het kan nu best werken, maar zodra meer sites het implementeren is het zo afgelopen. Je controle op een geldig e-mailadres kan nog worden uitgebreid met een controle of het mx-record bestaat. Zie hiervoor http://us2.php.net/manual/en/function.getmxrr.php . Ik zou zelf controleren of voor het domein een mx-record bestaat en vervolgens het gedeelte voor de @ controleren op geldige tekens, dat maakt de regular expression ook een stuk minder complexer.Proxy-servers Dan nu over op intercity-tempo, het controleren op proxy servers kan in PHP onder andere door:En bosjes normale internetters hebben deze header ook, simpelweg omdat ze via een bedrijfsnetwerk je site bezoeken of omdat hun ISP deze meestuurt. Ik zou bijvoorbeeld alvast een paar "spampunten" krijgen omdat mijn ISP een HTTP_X_FORWARDED_FOR mee stuurt.Bij het plaatsen moet voor de gebruiker direct bekend zijn of een bericht goed-, of afgekeurd wordt.Bouw dan wel een kleine (10 seconde oid) vertraging in, anders kan de spammer gewoon gaan uitproberen.Om te voorkomen dat onze geliefde "Jan" ineens wordt uitgesloten van reageren (immers, zijn naam kent een ratio van 0.33), controleren we ook of we voldoende naam hebben om te beoordelen.Again, zodra spammers doorhebben dat je ze op die manier beoordeelt heet iedereen Jan, Piet of Henk. (of een willekeurige tekenreeks van 4-5 karakters lang). Zolang jij de enige bent is er niks aan de hand, maar zodra deze beoordeling overal plaatsvindt werkt het niet meer. Verder erg nice hoor

PHP: Spam weren, maar dan zonder CAPTCHA

AndriesLouw — Mon, 15 Jun 2009 21:14:33 GMT

@Johnny: En in dat geval is de ratio 0, en dus lager dan 0.3, prima toch? Mensen die met CAPS-LOCK aan typen, die komen op 1, en die heb ik liever ook niet Maar gelukkig worden er niet zo veel strafpunten voor toegekent. JavaScript enzo heb ik ook aan gedacht, maar ik wil niemand buiten sluiten, en check het liefst alles server-side. Daarnaast zijn de reactie-formulieren niet dynamisch, maar "gewoon" HTML, i.v.m. het hoge aantal pageviews erop, en de load die het anders veroorzaakt. Pas bij het plaatsen van een comment wordt PHP aangesproken, en daarvoor kan alles gecached HTML zijn. Dynamische velden vielen dus in mijn project ook al af. @Nick_S: Ik ben ondertussen druk aan het zoeken naar een verbeterde regexp, en probeer hem werkend te krijgen en goed te testen. Ik neem je "inzending" mee, bedankt!

PHP: Spam weren, maar dan zonder CAPTCHA

Nick_S — Mon, 15 Jun 2009 21:09:54 GMT

Je regexp voor mail voldoet niet aan RFC-822. Zie hier voor eentje die er wel aan schijnt te voldoen. Ik ga hem hier niet posten en heb hem ook niet gecontroleerd.

PHP: Spam weren, maar dan zonder CAPTCHA

Johnny — Mon, 15 Jun 2009 21:06:25 GMT

Ik denk dat de conrole op hoofdletters in de naam veel echte reacties buitensluit. In de praktijk ervaar ik dat een enorme hoeveelheid mensen niet de moeite neemt om hun eigen naam met eenhoodletter te schrijven, zelfs niet als afzender bij hun emailadres of in gebruikersnamen terwijl het daar maar een eenmalige moeite is. Zelf heb ik als oplossing voor dit probleem een aantal verborgen velden aan reactieformulieren toegevoegd die doormiddel met JavaScript automatisch worden gevuld, en bij ontvangst wordt gekeken of deze velden de juiste waarde hebben. In theorie zou iedere spam-bot met een JavaScript-parser het zo kunnen misbruiken maar in de praktijk blijkt het vooralsnog toch 100% van de spam tegen te houden. Gebruikers zonder JavaScript (en spam-bots) krijgen wanneer het plaatsen niet lukt de melding dat ze moeten inloggen, waarmee deze groep ook niet wordt buitengesloten.

PHP: Spam weren, maar dan zonder CAPTCHA

AndriesLouw — Mon, 15 Jun 2009 20:31:25 GMT

@veldmuis: Zal ik doen, reactie veld is overgenomen uit bestaande WP-template, gezien ik het niet echt als belangrijk zag. Maar het is storend, en ik zal het oplossen. Edit: Solved ondertussen, bleek een CSS "conflict" te zijn met mijn contact formulier

PHP: Spam weren, maar dan zonder CAPTCHA

veldmuis — Mon, 15 Jun 2009 20:23:37 GMT

Kijk dan ook gelijk maar naar IE. Ergens behoorlijk gaar dat je eerst de input en dan het label hebt?

PHP: Spam weren, maar dan zonder CAPTCHA

AndriesLouw — Mon, 15 Jun 2009 20:03:02 GMT

@HyperBart: Bedankt voor de melding, ikzelf draai enkel Opera en Chrome, dus heb het niet opgemerkt, ik ga er naar kijken

PHP: Spam weren, maar dan zonder CAPTCHA

HyperBart — Mon, 15 Jun 2009 19:53:49 GMT

Best wel nice, maar je antwoordformulier bij je blog is bij mij in FF3 vernaggeld ?

PHP: Spam weren, maar dan zonder CAPTCHA

AndriesLouw — Mon, 15 Jun 2009 19:49:34 GMT

@EdwinG: Ik moet eerlijk bekennen dat die regexp overgenomen is uit één of ander boekje of website. Ik ga hem vervangen door jouw oplossing. Wederom, ook bedankt voor jouw stem (en motivatie). Wellicht zet ik het hier vanavond nog volledig neer (moet alleen een hoop code omzetten naar T.net tags). @TeeDee: Editten ga ik aanzetten! (Als dat kan ) Edit: Het werkt! Succes

PHP: Spam weren, maar dan zonder CAPTCHA

AndriesLouw — Mon, 15 Jun 2009 19:44:37 GMT

@mithras & TeeDee: Jullie oplossingen zijn identiek, maar zeker interessant! Mijn oplossing met velden tellen is dus echt heel simpel, jullie uitbreiding stukken beter! @Vold: Ik ken die spam-bots niet precies, dus ik ga er eventjes naar kijken, bedankt voor de tip in ieder geval! @TeeDee: Ja, het is, ik geef toe, ook wel een beetje spam. Ik verzamel de berichten echter graag op mijn site, maar mijn publiek zit hier. En ook dat speelt mee. Toch denk ik dat het niet onverstandig is dat ik voortaan alles hier ook volledig plaats, eventueel met een linkje naar mijn eigen site terug. (Ondersteund T.net trouwens track/pingbacks op één of andere manier?)

PHP: Spam weren, maar dan zonder CAPTCHA

EdwinG — Mon, 15 Jun 2009 19:43:40 GMT

Ik stem ook voor volledig. Al is het maar omdat ik niet graag op veel verschillende websites reageer (en een e-mail adres achterlaat) en het erg vervelend is om commentaar niet bij het bericht te hebben. Over e-mail gesproken: code:1 2 3 4 5 Is wel een erg ingewikkelde manier om de controle fout te doen Zo mag in jouw voorbeeld een tld bestaan uit de volgende karakters: code:1 -!#$%&\'*+\\./0-9=?A-Z^_`a-z{|}~ Bijna elk printbaar ascii-teken dus. Ik zou graag willen weten waar het tld '!$' bij hoort. Een strakkere controle voor het tld zou het volgende zijn: code:1 [a-z]{2,6} (totdat de vele andere tekens in een top level domein worden toegelaten, maar dan staat jouw voorbeeld ook niet genoeg toe) Overigens zijn er veel meer mensen die met dergelijke validatie zitten, dus waarom het wiel opnieuw uitvinden?

PHP: Spam weren, maar dan zonder CAPTCHA

TeeDee — Mon, 15 Jun 2009 19:40:27 GMT

@mithras: O en Andries, ik kan niet editten

PHP: Spam weren, maar dan zonder CAPTCHA

TeeDee — Mon, 15 Jun 2009 19:39:13 GMT

* TeeDee vind het doorlinken naar hele verhalen maar vervelend. Zo zijn er op de tweakblogs wel meer. Ook dat vind ik een (irritante) vorm van spam. Inhoudelijk op je oplossing/idee: Her en der heb ik wel wat forms gemaakt voor diverse sites en mijn simpele (en favoriete) oplossing is het verbergen (middels css) van een veld met een, voor de spammer, aantrekkelijke naam. Denk aan (email, e-mail etc. etc.) en het echte email adres veld een andere naam geven. Is in de post het verborgen veld gevuld: rücksichtslos de reactie afkappen en een melding geven. Is het dan alsnog een echt persoon: tough shit.

PHP: Spam weren, maar dan zonder CAPTCHA

Vold — Mon, 15 Jun 2009 19:36:32 GMT

Interessant stukje! Je manier van aanpak doet me erg denken aan de "spam-bots" die op wikipedia.org draaien. Deze hebben een vergelijkbare manier van aanpak.

PHP: Spam weren, maar dan zonder CAPTCHA

mithras — Mon, 15 Jun 2009 19:34:20 GMT

Het CSRF element van Zend werkt prima om in php al veel tegen te houden. Daarnaast heb ik meestal twee input velden in mijn formulier staan met random namen. De ene is voor een verplicht veld (bijvoorbeeld naam), de andere verberg je dmv css. De namen zijn elke keer weer random en dus anders. Vervolgens check je na de post of de ene leeg is en de andere gevuld. Dat werkt al tijden echt perfect. Als je vervolgens de twee methodes combineert ben je helemaal safe

PHP: Spam weren, maar dan zonder CAPTCHA

AndriesLouw — Mon, 15 Jun 2009 19:32:19 GMT

@JoWannes: Dat maakt 2 stemmen voor hier volledig, 0 tegen. Als de resultaten zo blijven dan gaat de volgende sowieso volledig!

PHP: Spam weren, maar dan zonder CAPTCHA

TheOneAndOnly — Mon, 15 Jun 2009 19:28:38 GMT

Wat zien jullie tweakers het liefst? Dat ik in het vervolg artikelen ook hier in zijn geheel plaats? Of bevalt dit linken wel?Enerzijds lezen we graag hier het hele verhaal, anderzijds is dit wel vrij lang, en dus minder prettig als je het artikel al gelezen hebt en een volgende keer enkel de comments leest... Maar ik denk dat het eerste het meest mag doorwegen.

PHP: Spam weren, maar dan zonder CAPTCHA

AndriesLouw — Mon, 15 Jun 2009 19:26:34 GMT

@Erkens: Oké, ik zit even met het duplicate content verhaal op Google, en dat ik graag alles centraal houd. Maar ik ga even goed nadenken over hoe we dit oplossen! Bedankt voor je commentaar.

PHP: Spam weren, maar dan zonder CAPTCHA

Erkens — Mon, 15 Jun 2009 19:20:42 GMT

Wat zien jullie tweakers het liefst? Dat ik in het vervolg artikelen ook hier in zijn geheel plaats? Of bevalt dit linken wel?Ik vind het best irritant dat ik moet doorklikken om alles te kunnen lezen, dat is dan vaak ook het punt waar ik dan afhaak