Frage zur robots.txt

[PeterM]

hallo, habe mal eine frage zur robots.txt

ich habe webspace unter der domain  z.b. www.meinspace.de

dort habe ich nun direkt ins hauptverzeichnis eine robots.txt gelegt, wo alle spider und alle verzeichnisse freigegeben werden

wie schaut es nun aus, wenn ich hier domains gereggt habe, z.b. www.rcq-domain.de und diese in ein verzeichnis bei www.meinspace.de leite

muß ich in dem verzeichnis wo die www.rcq-domain.de zugreift auch noch mal eine robots.txt packen?

wie schaut es eigentlich aus, wenn ich die www.meinspace.de nun bei einer suchmaschine anmelde, es werden ja dann alle verzeichnisse durchsucht und die seiten in den verzeichnissen gelistet

für die www.rcq-domain.de wird dann ja www.meinspace.de/rcq-verzeichnis/index.html aufgenommen

will ich nun aber auch unter der www.rcq-domain.de in suchmaschinen erscheinen, so muß ich doch sicherlich die neu anmelden und dementsprechen auch eine robots.txt im verzeichnis www.meinspace.de/rcq-verzeichnis/ legen, oder sehe ich das falsch?

beeinflussen sich die robots.txt im haupt- und unterverzeichnis eventuell negativ? oder hat es keine auswirkungen?

danke für antworten

 

[Ruediger]

Gaaaanz ruhig Peter ... ;D

Der Spider ist wie ein ganz normaler User. Er hat KEINEN direkten Zugriff auf den WebServer um dort einfach mal so zu schauen, welche Verzeichnisse es gibt ... 8)

Nur wenn Du die Verzeichnisse unterhalb Deiner Hauptdomain von dieser Seite aus verlinkst, kommt auch der Spider auf diese Seite.

Somit beantwortet sich auch Deine 2. Frage.
Ja, Du musst demnach auch in dem 'Unterverzeichnis' eine robots.txt erstellen.

Aber, Du schriebst:
> dort habe ich nun direkt ins hauptverzeichnis eine robots.txt gelegt,
> wo alle spider und alle verzeichnisse freigegeben werden.

Also, dafür brauchst Du keine robots.txt. Das ist die Standardeinstellung, mit der robots möchte man doch eigentlich das Spidern oder halt bestimmte IP's von bestimmten Seiten fern halten. (Bsp: Das Impressum, ein Gästebuch, um das spidern von E-Mail Adressen zu verhindern)

Gruss,

Ruediger

 

[PeterM]

danke erst mal für das posting, hat einen schon mal etwas geholfen

wie schaut es aber nun aus, wenn ich hier meine www.rcq-domain.de habe, die per url-hiding auf www.meinspace.de/rcq-verzeichnis/ leite

wenn ich nun bei einer suchmaschine die www.rcq-domain.de anmelde, dann wird von der suchmaschine meine robots.txt im rcq-verzeichnis gefunden , ist doch so, oder?

so, nun noch mal zum verlinken untereinander

wenn ich also in dem verzeichnis rcq-verzeichnis die index.html habe dann muß ich nur zu einer seite zum beispiel zu www.meinspace.de/verzeichnis2/index.html einen link anbringen und es werden alle anderen html seiten in dem verzeichnis2 mit eingesammelt ???

reicht es als aus, wenn ich dort auf meinspace.de 4 verzeichnisse habe, jeweils auf den seiten die 3 anderen index.html mit draufpacke und alle anderen html seiten, bzw. .jpg ... werden mit aufgenommen???

danke schon mal im voraus

 

[Ruediger]

> wenn ich nun bei einer suchmaschine die www.rcq-domain.de anmelde,
> dann wird von der suchmaschine meine robots.txt im rcq-verzeichnis
> gefunden , ist doch so, oder?
>
Ja.

> wenn ich also in dem verzeichnis rcq-verzeichnis die index.html habe dann
> muß ich nur zu einer seite zum beispiel zu www.meinspace.de/verzeichnis2/index.html einen
> link anbringen und es werden alle anderen html seiten in dem verzeichnis2
> mit eingesammelt
>
Ein Spider ist dumm und kann nur indizieren, was Du auch verlinkt hast.
Also nicht das kmpl. Verzeichnis (z.B. erstellst Du eine nurichkennediedatei.txt,
diese wird nicht indiziert, sofern Du diese nirgends auf Deinen Seiten verlinkt hast.)

Da Du aber normalerweise den ganzen Content irgendwie untereinander verknüpft
hast, kann die Suchmaschine auch alles indizieren.
Wie gesagt kann, ist aber der Suchmaschine selber überlassen.
Die nimmt nicht jede Seite auf.

> reicht es als aus, wenn ich dort auf meinspace.de 4 verzeichnisse habe,
> jeweils auf den seiten die 3 anderen index.html mit draufpacke und alle
> anderen html seiten, bzw. .jpg ... werden mit aufgenommen
>

Das würde reichen um indiziert werden zu können.
Aber um auch als relevant eingestuft zu werden, sollte jede Seite optimiert werden.
Siehe webmasterplan und andere einschlägige Tippgeber ... ;D

> danke schon mal im voraus
>

Bitte, bitte.

Gruss,

Ruediger