Domaingrabber Script - Prüfung auf freie Domains

[mgutt]

Hallo,

ich biete hier ein Domaingrabber-Script an, dass eine Liste von vorgegebenen Domains täglich prüft.

Es wird in die eigene Seite eingebunden. Das kann auf zwei Arten passieren:
1.) per include() in einer bestehenden PHP-Seite
Hier werden die Domains im Script hinterlegt.

2.) Als Bild in einer HTML-Seite (der Server muss aber PHP unterstützen)
Hier werden entweder die hinterlegten Domains im Script geprüft oder optional kann man auch eine Domain übergeben z.B.

<img src="dc.php?img=1&dom=example.org" width="1" height="1" alt="" border="0" />

So kann man bei Bedarf auch selber noch weitere Domains dynamisch übergeben.

Informationen zum Script:
- Sobald das Script eine freie Domain gefunden hat, erhält man eine Emailbenachrichtigung.
- Es gibt scriptseitig keinerlei Beschränkung bei der Anzahl der zu prüfenden Domains.
- Eine Domain wird pro Tag nur einmal geprüft. Damit der Besucher nicht beim Surfen gestört wird, erfolgt nur eine Prüfung pro Seitenaufruf.
- Optional kann das Script auch per Cronjob ausgeführt werden (dann werden alle Domains in einem Durchlauf geprüft).
- Das Script unterstützt so ziemlich alle Domainendungen, die einen Whois-Server zulassen. Einzig bei .org gibt es Probleme. Der Registrar lässt kaum Anfragen zu, so dass man diese Endung außen vor lassen sollte.

Preis des Scripts:
49,- EUR zzgl. MwSt.

Kontakt:
marc(at)gutt.it
oder per privater Nachricht hier im Forum

 

[tippy]

<img src="dc.php?img=1&dom=example.org" width="1" height="1" alt="" border="0" />

Schlechtes Beispiel

Einzig bei .org gibt es Probleme. Der Registrar lässt kaum Anfragen zu, so dass man diese Endung außen vor lassen sollte.

Wie hoch ist der Durchsatz bei .de Domains -> Performace de.domains/s

Danke

Gruesse
Holger

 

[r3LaXeD]

Guten Abend.

Wohl viel interessanter ist die Quote für com sowie net domains.

Wie ist diese denn ??

lg sven

 

[stain]

wieso sollte es da eine quote geben bei normalen bis guten domains? das die nur bei den drei grossen snapdiensten landen, ist doch bekannt.

 

[mgutt]

<img src="dc.php?img=1&dom=example.org" width="1" height="1" alt="" border="0" />

Schlechtes Beispiel

Stimmt :rofl:

So ist das, wenn man sich versucht an die Normen zu halten

Wie hoch ist der Durchsatz bei .de Domains -> Performace de.domains/s

Danke

Gruesse
Holger

Hi,

beim Cronjob wird sicherheitshalber eine Pause zwischen jeder Abfrage gesetzt. Diese ist per Zufall zwischen einer und drei Sekunden lang. Ansonsten besteht die Gefahr, dass die IP wg. Massenabfragen gesperrt wird. Und die Gefahr steigt natürlich, umso mehr man abfragt.

Wenn also im Schnitt die Pause 2 Sekunden lang ist und das Script selber ca. 0,5 Sekunden benötigt (ich habe jetzt kein Benchmark gemacht), so könnte man an einem Tag theoretisch 34.560 Domains abfragen (86.400 / 2,5). Wohlgemerkt gilt das pro Server-IP.

Solche Massenabfragen empfehle ich allerdings nicht ohne den Einsatz von Proxys. Wenn man aber wiederrum Proxys im Einsatz hat, kann man auf die Pausen zwischen den Abfragen verzichten. Genauso könnte man das Script mehrmals parallel mit verschiedenen Proxy-Pools anstoßen, so dass der Durchsatz unendlich hoch wäre.

Für Proxy und/oder unterschiedliche IP-Pools muss das Script allerdings angepasst werden. Aktuell ist es nur vorgesehen, dass der Server die Whois-Abfrage macht, auf dem das Script installiert wird.

Ich selbst frage im Schnitt 1.000 Domains pro Tag ab (pro Endung). Eine Sperrung habe ich bisher nicht versucht zu riskieren und das habe ich auch nicht vor.

Aktuell werden die Domains in einem Array aufgeführt. Falls aber Interesse an großen Domainlisten z.B. aus Textdateien besteht, kann ich das Script problemlos erweitern, dass es eine gewünschte Textdatei abarbeitet.

Übrigens braucht das Script nur PHP. Eine MySQL-Datenbank ist nicht notwendig. Die Caches werden lokal als Dateien angelegt. Das geht am schnellsten.

 

[stain]

bei 1000 domains pro tag, in der geschwindigkeit - wie soll man auch nur eine gute .de domain finden?? ist ja wie lotto spielen

 

[mgutt]

Guten Abend.

Wohl viel interessanter ist die Quote für com sowie net domains.

Wie ist diese denn ??

lg sven

Das Script hat dabei ein simples Problem: Es kann nicht registrieren und wenn die Email zu Dir unterwegs ist, ist die Domain vermutlich schon von jemand anderen gegrabbt worden, wenn diese durch einen bekannten Grabdienst bereits erfasst wurde.

Das Script ist daher nur für Leute geeignet, die wissen, dass die Domain nicht von anderen unter Beobachtung stehen oder es sich eben um eine Endung handelt, wo man vorher nicht wissen kann, wann sie ausläuft (.de z.B.).

Ansonsten müsste ich das Script so anpassen, dass es auch registrieren kann. Das ist grundsätzlich kein Ding. Viele Registrare bieten z.B. Email-APIs an, über die man automatisch registrieren kann. Nur leider ist jede API anders, also muss das Script entsprechend je nach Bedarf angepasst werden.

Zuletzt fehlt es dem Script an Aggressivität, die man bei .com Domains braucht. D.h. man muss das Script so einstellen können, dass es bei Daten zur Löschphase am letzten Tag quasi sekündlich nach der Verfügbarkeit fragt und dann eben automatisch registriert. Eine Emailbenachrichtigung halte ich für wertlos, denn die Sekunden, die das Script gewinnt, verliert der Anwender wieder dadurch, dass er nur alle paar Minuten / Stunden seine Emails abruft.

Gruß

 

[mgutt]

bei 1000 domains pro tag, in der geschwindigkeit - wie soll man auch nur eine gute .de domain finden?? ist ja wie lotto spielen

Das Script richtet sich nicht an professionelle Grabber, sondern an Leute, die wissen welche Domains sie interessieren und sie wissen weiterhin, dass diese bald frei werden könnten.

Ein professioneller Grabber hat schließlich einen Crawler. Ohne Crawler bringt Dir das beste Grabbingscript nichts.

Es ist übrigens kein Problem den Intervall des Scripts anzupassen von täglich auf stündlich auf minütlich. Sonderintervalle wären auch kein großes Ding. z.B. alle 5 Minuten oder ähnliches. Es liegt halt ganz daran, was man will.

Dieses Script wurde für den Eigenbedarf entwickelt. Hierbei habe ich mir alle Domains aus meinem Sektor extrahiert und warte eben, bis ein Mitstreiter die Biege macht. Ich habe also nicht vor mit den Domains zu handeln, sondern sie selber zu nutzen.

Falls ein Grabber Interesse an seinem solchen Script hat, müsste man das Konzept entsprechend anpassen. Dann sprechen wir aber auch nicht mehr von 49,- EUR

 

[kabale]

Mit dem Script wird man aber - wie stain es ja schon gesagt hat - nichts Vernünftiges unter den "normalen" TLDs kriegen. Egal wie Du es einstellst. Auch auf sekündlich nicht.

Ein Tipp, falls nicht ohnehin integriert: Erst DNS-Einträge prüfen. Wenn Du da nichts durch zurück kriegst, das Whois abfragen. Damit kann man viel sparen

 

[stain]

49€ für ein tool, welches fast gar nix bringt, ist halt auch ein wenig teuer oder?

 

[mgutt]

Mit dem Script wird man aber - wie stain es ja schon gesagt hat - nichts Vernünftiges unter den "normalen" TLDs kriegen. Egal wie Du es einstellst. Auch auf sekündlich nicht.

Ein Tipp, falls nicht ohnehin integriert: Erst DNS-Einträge prüfen. Wenn Du da nichts durch zurück kriegst, das Whois abfragen. Damit kann man viel sparen

Wie gesagt ist das nicht Ziel dieses Scriptes und soll es auch nicht sein. Wenn das Script dahin soll, wo es manche gerne hin hätten, reden wir hier von 5.000,- EUR und nicht von 50.

Bei .de sieht das übrigens ganz anders aus. Selbst die großen Grabbing-Dienste prüfen da nur einmal oder ein paar mal pro Tag, weil sie selber nicht wissen, ob die Domain überhaupt jemals gelöscht wird. Das ist tatsächlich nichts anderes als Lotto zu spielen, weil es einfach kein Indiz bei .de gibt.

Warum Du jetzt allerdings einen DNS-Server vorschlägst, erschließt sich mir nicht. Das ist auch nur ein Zwischenspeicher, der je nach Anbieter manchmal sogar 24 Stunden oder noch älter ist. Da könnte ich auch gleich nen Ping auf die Domain schicken. Und einen 404 als Erfolg werten.

49€ für ein tool, welches fast gar nix bringt, ist halt auch ein wenig teuer oder?

Das kommt wie gesagt auf das Einsatzgebiet an. Du willst ein Grabbing-Script, dass mit denen der großen Marktführer mithalten kann. Das kann dieses Script nicht erfüllen und soll es auch gar nicht. Meins richtet sich nur an den Eigenbedarf. z.B. wenn man die Domains aus den SERPs ausliest, die für die eigenen Keywords relevant sind und dann den Wegfall eines Mitstreiters für sich zu nutze macht.

Zwei Kunden setzen es auf diese Art ein. Sie wissen, dass bestimmte .de Domains bald wegfallen, wollen aber nicht manuell den Wegfall prüfen, also nehmen sie stattdessen ein solches Script, dass dies jeden Tag automatisch erledigt.

Das Script richtet sich also vorrangig an Webmaster und nicht an Domainhändler.

 

[Sunblind]

Selbst die großen Grabbing-Dienste prüfen da nur einmal oder ein paar mal pro Tag, weil sie selber nicht wissen, ob die Domain überhaupt jemals gelöscht wird. Das ist tatsächlich nichts anderes als Lotto zu spielen, weil es einfach kein Indiz bei .de gibt.

Sorry Herr Gutt, aber diese Aussage ist lächerlich und zeugt nicht gerade von großer Erfahrung in diesem Bereich..

mfg

 

[pyro]

Wenn man aber wiederrum Proxys im Einsatz hat, kann man auf die Pausen zwischen den Abfragen verzichten. Genauso könnte man das Script mehrmals parallel mit verschiedenen Proxy-Pools anstoßen, so dass der Durchsatz unendlich hoch wäre

Du vergisst hierbei die Proxy Latenzen als auch den Zeitverlust durch Umleitung des Datenstroms...

Bei .de sieht das übrigens ganz anders aus. Selbst die großen Grabbing-Dienste prüfen da nur einmal oder ein paar mal pro Tag, weil sie selber nicht wissen, ob die Domain überhaupt jemals gelöscht wird. Das ist tatsächlich nichts anderes als Lotto zu spielen, weil es einfach kein Indiz bei .de gibt.

schlichtweg falsch...

mfg, albert

 

[stain]

Wie gesagt ist das nicht Ziel dieses Scriptes und soll es auch nicht sein. Wenn das Script dahin soll, wo es manche gerne hin hätten, reden wir hier von 5.000,- EUR und nicht von 50.

Bei .de sieht das übrigens ganz anders aus. Selbst die großen Grabbing-Dienste prüfen da nur einmal oder ein paar mal pro Tag, weil sie selber nicht wissen, ob die Domain überhaupt jemals gelöscht wird. Das ist tatsächlich nichts anderes als Lotto zu spielen, weil es einfach kein Indiz bei .de gibt.

Warum Du jetzt allerdings einen DNS-Server vorschlägst, erschließt sich mir nicht. Das ist auch nur ein Zwischenspeicher, der je nach Anbieter manchmal sogar 24 Stunden oder noch älter ist. Da könnte ich auch gleich nen Ping auf die Domain schicken. Und einen 404 als Erfolg werten.



Das kommt wie gesagt auf das Einsatzgebiet an. Du willst ein Grabbing-Script, dass mit denen der großen Marktführer mithalten kann. Das kann dieses Script nicht erfüllen und soll es auch gar nicht. Meins richtet sich nur an den Eigenbedarf. z.B. wenn man die Domains aus den SERPs ausliest, die für die eigenen Keywords relevant sind und dann den Wegfall eines Mitstreiters für sich zu nutze macht.

Zwei Kunden setzen es auf diese Art ein. Sie wissen, dass bestimmte .de Domains bald wegfallen, wollen aber nicht manuell den Wegfall prüfen, also nehmen sie stattdessen ein solches Script, dass dies jeden Tag automatisch erledigt.

Das Script richtet sich also vorrangig an Webmaster und nicht an Domainhändler.

Du solltest einmal überprüfen, wie das im .de Bereich überhaupt funktioniert, bevor du solche Aussagen tätigst
FAKT: 49€ ist für ein solches Script überteuert. Ich schreib dir in 5 Minuten so etwas, schick mit DB Anbindung etc...

Ein richtiges "Grabbing-Script" kostet bei dir schnell 5000€? Das ist allerdings viel zu wenig.
Meine Scripte würde ich niemals für unter 6stellig hergeben, dafür snap ich einfach zu viel.

Gruß,
Jens

 

[kabale]

Warum Du jetzt allerdings einen DNS-Server vorschlägst, erschließt sich mir nicht. Das ist auch nur ein Zwischenspeicher, der je nach Anbieter manchmal sogar 24 Stunden oder noch älter ist. Da könnte ich auch gleich nen Ping auf die Domain schicken. Und einen 404 als Erfolg werten.

Weil es Dir ja anscheinend nicht so auf Geschwindigkeit ankommt und Du damit (sehr) viele Whois-Abfragen sparst...

Aber ist ja auch egal.

 

[mgutt]

Du vergisst hierbei die Proxy Latenzen als auch den Zeitverlust durch Umleitung des Datenstroms...

Ich vergesse nichts, sondern hier werden von jedem anderen Grundlagen vorausgesetzt. Der eine will ein Script, dass in einer Nanosekunde nach Freigabe der Domain diese registriert und der nächste schlägt eine Ausweitung der Latenz um einen weiteren Tag vor.

Wie gesagt kommt es ganz auf den Anwendungszweck an und dieser richtet sich nunmal an den Eigenbedarf und nicht an Händler.

Sorry Herr Gutt, aber diese Aussage ist lächerlich und zeugt nicht gerade von großer Erfahrung in diesem Bereich..

Der Durchsatz ist abhängig von der Anzahl der Domains, die man prüft. Ich bin jetzt davon ausgegangen, dass wir über einen großen Anbieter sprechen. Wenn dieser z.B. mehr als 100.000 Domains prüft geht nun mal kaum mehr als ein paar mal am Tag. Und das reicht bei .de auch. Dazu steht natürlich proportional die eingesetzte Hardware. Es mach aber imho keinen Sinn eine .de mehr als 24 mal am Tag zu prüfen, außer sie hat nen PR7 aufwärts und man weiß, dass sie bald frei wird.

Ich schreib dir in 5 Minuten so etwas, schick mit DB Anbindung etc...

Na dann los. Hält Dich doch keiner von ab. Aber wunder Dich nicht, wenn das Teil dann schnell einen eigenen Server braucht. Ich nutze absichtlich ein dateibasiertes System, da die Cache-Dateien nur als Switches fungieren. Das ist hundert mal schneller als eine DB-Verbindung aufzubauen, den Datensatz auszulesen und gegebenenfalls ein INSERT oder UPDATE auszuführen. Das ganze hat schon seinen Sinn. Weiterhin soll mein Script einfach in eine bestehende Website integriert werden, damit man sich den sonstigen Aufwand eben sparen kann. Und selbst wenn: Deine DB-Klasse wirst Du wohl kaum verschenken, wenn doch :top:

Und zu den 5 Minuten: Das Script unterstützt per Whitelist alleine ca. 120 verschiedene Endungen und hat zusätzlich noch eine Dynamik, die nahezu alle bekannten Endungen abdeckt. Alleine diese Whitelist zu erstellen und zu prüfen hat einen Tag Recherche gekostet und ca. 2 Monate testen und Korrektur.

Ich merke aber, dass ich hier die falsche Zielgruppe anspreche. Ihr wollt alle professionelle Grabber sein, dann müsst Ihr leider ein anderes Produkt vorziehen.

 

[stain]

wir versuchen ja nur zu verstehen, wieso solch ein script, welches eh keine freien domains finden wird, so viel geld kosten soll.

richtig, mich hält keiner davon ab, jedoch habe ich entschieden, lieber domains nur für mich zu snappen, da ich die dinger lieber behalte bzw selbst verkaufe.
wieso sollte ich also ein ähnliches script schreiben, welches die leute dann kaufen können, um nachher keinen erfolg zu haben? rausgeschmissenes geld.
aber auf ebay geht das bestimmt gut weg...

 

[Custer]

wir versuchen ja nur zu verstehen, wieso solch ein script, welches eh keine freien domains finden wird, so viel geld kosten soll.

richtig, mich hält keiner davon ab, jedoch habe ich entschieden, lieber domains nur für mich zu snappen, da ich die dinger lieber behalte bzw selbst verkaufe.
wieso sollte ich also ein ähnliches script schreiben, welches die leute dann kaufen können, um nachher keinen erfolg zu haben? rausgeschmissenes geld.
aber auf ebay geht das bestimmt gut weg...

Stain und sein Skript: layingball: :bbiggrin:

 

[Sunblind]

Naja, aber leider!! kommt auch ein Stain nicht gegen die "Methoden"
eines J. Sa. + P. La. an.

Beispiel: Eine gewisse Domain wurde von mir seit 2 Wochen im 2,4 Sekundentakt per whois abgefragt. Fazit: Vorgestern wurde sie durch J. Sa. + P. La. registriert. Komisch, oder?

Meines Erachtens kann das nicht an besserer Hardware hängen,
die Domain wurde nicht einmal als frei erkannt.


Außerdem hat das Snappen von guten generischen .de's nicht nur Vorteile,
zumeist erreichen einen kurz nach Registrierung zahlreiche Mails,
z.B. "rücken sie die Domain raus", "ich will die domain billig, will
sie privat nutzen", "wir haben einen rechtlichen Anspruch auf
die Domain" etc..

Das nervt dann manchmal sehr..

 

[stain]

Naja, aber leider!! kommt auch ein Stain nicht gegen die "Methoden"
eines J. Sa. + P. La. an.

Beispiel: Eine gewisse Domain wurde von mir seit 2 Wochen im 2,4 Sekundentakt per whois abgefragt. Fazit: Vorgestern wurde sie durch J. Sa. + P. La. registriert. Komisch, oder?

Meines Erachtens kann das nicht an besserer Hardware hängen,
die Domain wurde nicht einmal als frei erkannt.


Außerdem hat das Snappen von guten generischen .de's nicht nur Vorteile,
zumeist erreichen einen kurz nach Registrierung zahlreiche Mails,
z.B. "rücken sie die Domain raus", "ich will die domain billig, will
sie privat nutzen", "wir haben einen rechtlichen Anspruch auf
die Domain" etc..

Das nervt dann manchmal sehr..

naja, ich war schon des öfteren schneller als die beiden. dennoch sind sie natürlich extrem gut und derzeit die besten, die es gibt. daher habe ich wahrscheinlich manchmal einfach glück gehabt.
das hat auch viel mit hardware zu tun. des weiteren
reichen 2.4 sekunden hierbei niemals aus. da muss man schon eher in den bereich 0.1 sek gelangen