Wie „legal“ ist Site-Scraping mit cURL? [geschlossen]

12

Kürzlich habe ich mit der cURL experimentiert und festgestellt, dass damit viel möglich ist. Ich habe ein kleines Skript erstellt, das eine Musikseite crawlt, auf der Online-Songs abgespielt werden. Auf dem Weg zu meinem Experiment habe ich festgestellt, dass es auch möglich ist, die Songquelle zu crawlen. (Diese Seite bietet kein Herunterladen an.)

Ich weiß nur was zu wissen. Ist es völlig legal, die Websites zu crawlen? Ich meine mit http and port '80',

Es gibt verlorene Download-Manager auf dem Markt, die von fast allen Websites heruntergeladen werden können. Sind alle gültig und legal?

— Chetan Sharma
quelle

14

cURL ist nur ein Werkzeug. Wie legal ist ein Schraubenzieher?

— Greg Hewgill

3

@ Greg. Zustimmen. Aber nicht alle Gesetzgeber sind der gleichen Meinung.

— Thilo

7

Die Rechtmäßigkeit hängt von der Gerichtsbarkeit ab. Aber Super User ist kein guter Ort, um Rechtsberatung zu erhalten.

— Stephen Jennings

1

@musicfreak Ihr Schraubendreher ist genauso legal, es sei denn, die Person, die das Produkt herstellt, ist eine rechtliche Autorität in Ihrer Gerichtsbarkeit. Vergessen Sie nicht, dass Ihre Interaktion mit Herstellern von Produkten und Herausgebern von Websites nur den geltenden Gesetzen unterliegt und Sie im Wesentlichen niemals einen rechtlich durchsetzbaren Vertrag mit einer Website (oder einem Produkt mit Schrauben) abschließen, das Ihre normalen Rechte ersetzt .

— Colin Pickard

13

Die Antwort auf Ihre Frage lautet genau Ja. Die einzig mögliche Ausnahme ist die Kryptografie in Ihrem Land, wenn cURL mit statisch verknüpfter SSL-Unterstützung erstellt wurde oder Sie aus den USA in eines der wenigen Länder exportieren, die als feindlich eingestuft werden.

Das Verschrotten der öffentlich sichtbaren Webseiten einer Website ist im Allgemeinen ebenfalls legal. Wenn Sie eine Kopie aller Seiten herunterladen, die Sie in Ihrem Browser sehen können, treten keine Probleme auf. Wenn Sie Probleme für andere Zwecke verursachen, kann dies als Denial-of-Service-Angriff angesehen werden. Möglicherweise müssen Sie auch die Nutzungsbedingungen der Website überprüfen. Da Sie sie jedoch bereits heruntergeladen haben, um sie anzuzeigen, gibt es keinen großen Unterschied (bestenfalls eine subtile technische Besonderheit).

Das Herunterladen von Musik ist jedoch genau das. Es spielt keine Rolle, ob Sie Limewire, uTorrent, Megaupload, Flashget oder cURL verwenden, Sie laden immer noch Musik herunter. Das ist legal, wenn der Künstler / das Plattenlabel dies sagt, wenn Sie eine Lizenz besitzen oder generell, wenn Sie gesetzlich dazu berechtigt sind.

CURL ist also völlig legal. Aber wie alles andere kann es sein, was Sie damit machen.

— ssube
quelle

6

+1 für cURL ist völlig legal. Aber wie alles andere kann es sein, was Sie damit machen.

— Nifle

In erster Linie hängt es von Ihrer Rechtsprechung ab. Auf englischsprachigen Websites besteht die Tendenz, eine US-amerikanische Gerichtsbarkeit zu übernehmen, in anderen Ländern ist das Urheberrecht jedoch sehr unterschiedlich. Ich bezweifle, dass für diese Frage US-Exportbeschränkungen gelten, es sei denn, Sie exportieren cURL als US-Bürger, über die Sie sich keine Sorgen machen müssen. Musik unterscheidet sich auch nicht von Text, Bildern oder anderen online veröffentlichten Inhalten. Jede Art von Medien kann von Personen ohne Erlaubnis des Copyright-Inhabers online veröffentlicht werden. In diesem Fall verletzen Sie möglicherweise deren Copyright, indem Sie sie herunterladen.

— Colin Pickard

3

IMDB.com verbietet ausdrücklich die Verwendung solcher Scrapper mit ihrer Website als Teil ihrer Nutzungsbedingungen.

— Sebastián Grignoli
quelle

5

Diese Nutzungsbedingungen versuchen auch, Ihnen zu sagen, wie Sie auf ihre Website verlinken können und nicht ...

— Luke Lowrey

6

IMDB kann gerne anfordern, was sie wollen, und Sie können ihren Wünschen nachkommen, wenn Sie möchten. Aber legal haben sie kein Bein, auf dem sie stehen können. Gehen Sie voran und kratzen Sie ihre Website.

— Colin Pickard

@Colin Sind Sie sicher, dass das Scraping von Websites legal ist? Die meisten Websites wie Facebook haben einfach AGB, die sagen: Nein, Sie können uns nicht kratzen, Sie verklagen uns. Wollen Sie damit sagen, dass sie nicht gegen den Fall gewinnen können, da nur Site Scraping durchgeführt wird?

— Pacerier

3

Ich kann keine Antworten zu Antworten abgeben, da ich hier keinen Repräsentanten habe. In mehreren Antworten wurde jedoch angegeben, dass dies abhängig von den Nutzungsbedingungen der Website möglicherweise nicht legal ist. Und dies ist eine subtile technische Angelegenheit, aber wenn dies der Fall ist, ist es immer noch legal, aber Sie könnten zivilrechtlich wegen Vertragsverletzung oder Urheberrechtsverletzungen verklagt werden (obwohl Urheberrechtsverletzungen auch strafrechtlich illegal sein können). Nur weil die Nutzungsbedingungen einer Website besagen, dass Sie etwas nicht tun können, bedeutet dies im Allgemeinen nicht, dass sie die gesetzliche Befugnis haben, Sie daran zu hindern.

— Falmarri
quelle

1

Im Allgemeinen ist es wichtiger, was Sie damit machen, als wie Sie es erwerben. IE, Sie können eine CD kopieren, aber was haben Sie mit dieser CD gemacht? Haben Sie es an jemanden verkauft (illegal) oder haben Sie es einfach in ein Regal auf Ihrer alten CD gelegt, damit Sie eine nicht zerkratzte Kopie haben (legal). Auch wenn Sie die Musik vollständig besitzen, haben Sie immer noch das Recht, sie nur für Ihren eigenen Gebrauch zu kopieren, nicht einmal für andere.

Hier ist eine Frage. Wenn es um das Internet geht, wird es im Allgemeinen als faires Spiel angesehen , wenn es von jemandem mit Veröffentlichungsrechten "veröffentlicht" wird und es keine Bestimmungen gibt, die nicht kostenlos verwendet werden können (IE a TOS) es auf nichtkommerzielle Weise zu verwenden. Was aber, wenn der Inhalt nicht einmal Teil des "sichtbaren" Teils der Webseite ist und zum Erfassen / Zugreifen Quell-Scraping und Ordner-Surfen erfordert? Obwohl es sich in einem "öffentlichen" Netzwerk befindet und auf nicht sichere Weise zugänglich ist. Das ist fast so, als würde man behaupten, man könne jemandes Haus ausrauben, weil er seine Tür offen gelassen hat. Dies ist eine gewisse Analogie, aber bis zu einem gewissen Grad gültig. Wenn die Seite keine Links enthält, kann argumentiert werden, dass der Inhalt nicht "veröffentlicht" wurde.

Aber das ist wahrscheinlich viel Lärm um nichts, wenn Sie nichts Verrücktes tun oder versuchen, von der Arbeit anderer zu profitieren, dann kümmert es normalerweise niemanden, wenn Sie Kratzer beschaffen.

— Nucleon
quelle