Wie legal ist es, Daten von einer zu 100% zugänglichen, aber nicht „exponierten“ API abzurufen?

Ich habe eine Website gefunden, die eine große, filterbare Tabelle mit aktuellen Daten zu Städten in einem Land enthält. Diese Site verwendet einen unendlichen Bildlauf , um die Zeilen für die Tabelle zu laden.

Beim Durchsuchen der Website mit den Chrome-Entwicklertools stellte ich fest, dass AJAX-Anforderungen an eine interne URL gesendet werden, um die Daten abzurufen. Diese URL enthält viele Abfrageparameter, die den Filtern entsprechen.

Ich habe versucht, auf diese URL direkt in meinem Browser zuzugreifen, und ich erhalte alle Daten in einem schönen JSON-Format. Ich kann sogar mit den Filtern herumspielen, um die konkreten Daten zu erhalten, die ich brauche. Diese URL ist tatsächlich zugänglich, so dass ich nichts Hackiges tun muss . Ich rufe nur eine URL an, die im Netz vorhanden ist.

Meine Frage lautet also: Wie legal oder illegal ist es für mich, diese URL zu verwenden, um die Daten für meine eigenen Zwecke abzurufen?

Hinweis : Ich möchte nicht die gleiche Art von Städte-Liste erstellen , aber ich möchte diese Daten verwenden, um ein kleines Online-Spiel zu erstellen, um möglicherweise ein wenig Geld zu verdienen ...

WICHTIG Hinweise zu einigen Antworten und Kommentaren

Dies ist nur ein Beispielszenario. Ich suche keinen Ort, an dem Daten über Städte abgerufen werden können. Wenn Sie möchten, können Sie sich eine Website mit Daten über die Leistung aktualisierter Fußballspieler in einer Saison ansehen.

Was wiederum das konkrete Land betrifft, denke ich nicht an eine bestimmte Gesetzgebung. Wenn Sie ein Land kennen, in dem eindeutig (il) legal ist, sind dies nützliche Informationen.

Lass mich deutlich sein. Es gibt eine Sache, die ich ziemlich gut kenne, nämlich das Urheberrecht. Ich bin kein Anwalt, aber die Kenntnis des Urheberrechts war 30 Jahre lang eine ständige Anforderung meiner Beratung. Als zusätzlichen Bonus habe ich mich hauptsächlich mit Telekommunikation befasst und oft mit Abonnentendaten und Datenanalyse und Präsentation dieser Daten zum Verkauf und zur Wiederverwendung gearbeitet. Zumindest bin ich einzigartig qualifiziert, um diese Frage in diesem Forum zu beantworten.

Ich werde dies so gut wie möglich erklären, indem ich: proprietäre Verse mit gewöhnlichen Mitteln definiere; zweitens die Definition der genannten Ausnahmefälle und anderer damit zusammenhängender urheberrechtlicher Erwägungen; und drei, klar auf die Antwort.

Lassen Sie mich einige Urheberrechte klären. Das Beispiel eines Telefonbuchs ist eine falsche Bezeichnung. Wenn Sie ein Telefon bekommen, haben Sie als Privatperson mit einer Privatfirma eine private Vertragsvereinbarung geschlossen und die daraus resultierenden Informationen, ob öffentlich oder nicht, sind privatrechtliche Daten und daher ist der Inhalt eines Telefonbuchs privatrechtlich geschützt (beachten Sie Dieses Wort) einfach, weil es im Allgemeinen nur über Unternehmensdatenquellen - die Abonnentendaten - erhältlich ist. Wenn Daten durch gewöhnliche Mittel wie Herumgehen und Aufschreiben von Hausnummern und Straßennamen abgeleitet werden können, sind diese Daten öffentlich verfügbar und klar zu verwenden. Dies bedeutet nicht, dass Telefonnummern nicht mit normalen Mitteln abgerufen werden können. Es kann sein.

Weiter zu klären. Zitat aus: http://www.lib.umich.edu/copyright/facts-and-data

In keinem Fall erstreckt sich der Urheberrechtsschutz für ein Originalwerk der Urheberschaft auf eine Idee, ein Verfahren, ein Verfahren, ein System, eine Funktionsweise, ein Konzept, ein Prinzip oder eine Entdeckung, unabhängig davon, in welcher Form es beschrieben, erläutert, illustriert oder verkörpert ist in solcher Arbeit.

Dieser Absatz ist irreführend. Diese in diesem Absatz beschriebene Ausnahme unterliegt Patent- und anderen Gesetzen. Das Urheberrecht erstreckt sich nur auf die Erstellung eines Werkes.

Das:

"Schweiß von der Stirn" -Doktrin

... bezieht sich auf alle Aktivitäten, z. B. von Haus zu Haus gehen und die Daten manuell erfassen. Dies ist die Definition von gewöhnlichen Mitteln. Es ist möglich, an Türen zu klopfen und nach denselben Telefondaten zu fragen. Nur soweit Sie die Fakten mit normalen Mitteln erfassen können, sind diese Daten oder Teile der urheberrechtlich geschützten Daten öffentlich.

Der übliche Weg, mit Telefondaten umzugehen, besteht darin, die Originaldaten auf legalem Wege zu beschaffen; und zweitens die Fair-Use-Doktrin anwenden. Dies würde bedeuten, dass Sie eine kostenlose oder kostenpflichtige Kopie des Telefonbuchs direkt von der Firma erhalten und die Fakten auf eine andere Art und Weise organisieren, um ein neues Werk zu erstellen. Haben Sie in Chicago versucht, ein Telefonbuch für Seattle zu bekommen? Sie werden feststellen, dass die Telefongesellschaft Ihnen wahrscheinlich eine überraschende Gebühr berechnet. Wenn Sie jedoch ein Telefonteilnehmer in Seattle sind und nach einem Telefonbuch in Seattle fragen, ist die Gebühr weitaus geringer oder sogar kostenlos. Das musste ich schon oft machen. Es gibt Leute, die haben nur die Aufgabe, Telefonbücher von telecos persönlich zu beziehen und die Gebühr zu zahlen, falls erforderlich.

Das Urteil zitiert in der Rechtssache Feist Publications gegen Rural TelephoneIn dem obigen Link (in dieser Antwort) hängen zwei Tatsachen zusammen: Zum einen mussten die Daten des Betreibers der ländlichen Genossenschaft als lokales Monopol durch Betriebsvereinbarung öffentlich zugänglich gemacht werden. und zweitens, dass die Präsentation des Werkes urheberrechtlich geschützt war und nicht die Fakten, die aufgrund der Tatsache # 1 enthalten sind. Daher kann dieser Fall nur innerhalb enger Parameter als Präzedenzfall betrachtet werden und muss verworfen werden. In der Regel ist es nicht erforderlich, dass Teilnehmerdaten eines privaten Unternehmens durch Vereinbarung veröffentlicht werden. Sie müssen bedenken, dass ländliche Genossenschaften als öffentliche Trusts / Körperschaften für das Allgemeinwohl gegründet wurden und im Besitz der Öffentlichkeit und / oder der Genossenschaftsmitglieder sind und daher rechtlichen Beschränkungen unterliegen, die eine Genehmigung für den Betrieb oder das Bestehen dieser Genossenschaften ermöglichen. Jeder Fall ist anders.

In den Anfängen der Bell Telephone Company war die Firma als Monopol verpflichtet, Telefondaten zu veröffentlichen, sofern dies nicht durch den Abonnenten eingeschränkt wurde. Als die Firma Bell in Baby Bells, Bell Atlantic, Bell South usw. aufgeteilt wurde, mussten diese Firmen immer noch als Monopole Telefondaten veröffentlichen, wie zuvor definiert. Aber mit der Deregulierung und in der Tat mit VoIP, Mobilfunk und anderen Optionen sind Monopole selten. Nur in Monopolszenarien kann das oben angeführte Argument vorgebracht werden.

Fahren Sie fort, den obigen Link zu zitieren (in dieser Antwort):

Nur weil Daten nicht urheberrechtlich geschützt sind, bedeutet dies nicht, dass keine anderen rechtlichen Aspekte berücksichtigt werden, wenn Sie den Datensatz einer anderen Person verwenden möchten.

Denken Sie daran.

Jeder gegebene Datensatz und dessen Darstellung, unabhängig von der Datenherkunft, ist ein Werk für sich. Die öffentliche Darstellung der Tatsachen, unabhängig von den Mitteln, ist ein Werk für sich.

Da Sie die Daten nicht auf normalem Wege erhalten, obwohl sie veröffentlicht werden, und unabhängig von der ursprünglichen Herkunft der Daten, ist die Verwendung nicht frei, wie Sie beschrieben haben, und Sie könnten strafrechtlich angeklagt und zivilrechtlich haftbar gemacht werden Potenzielle Urheberrechtsverletzung, auch bei strafrechtlicher Übertretung und illegaler Nutzung von Computern und anderen Kommunikationsgeräten, die normalerweise nicht autorisiert sind und unter die RICO-Gesetze fallen können.

Ist es legal zu benutzen? Nein! Absolut nicht! Es wurde weder mit normalen Mitteln erlangt, noch ist es wahrscheinlich, dass der Betreiber der Website die Absicht hat, geschützte Daten preiszugeben. Das Fehlen einer AUP (Acceptable Use Policy) hilft Ihnen nicht. Nach dem Gesetz wurden Annahmen zum "vernünftigen Mann", zum "vernünftigen Standard" und zur "vernünftigen Annahme" getroffen, die den Eigentümer der Website in diesem Fall schützen. Es ist nicht sinnvoll, dass eine kluge Person eine "Sicherheitslücke in der Gestaltung / Erstellung" der Website ausnutzt, um Daten für eine andere Verwendung zu erhalten. Wenn die Site von ihren Aktivitäten profitiert, spielen weitere Schutzmaßnahmen eine Rolle.

Eine Sache, die in den anderen Antworten hier nicht sehr klar zu sein scheint ...

Ob es "legal" ist oder nicht, hängt in erster Linie vom Land ab. Wenn es sich zum Beispiel um die USA handelt, ist die Verwendung der Daten selbst nicht illegal. Ich rate Ihnen jedoch, die realen Daten aus der US-Volkszählung zu verwenden. Sie bieten Unmengen von Daten über sogenannte TIGER-Produkte. Dieser Datensatz ist derselbe Datensatz, den GIS-Experten zum Auffüllen von Bing Maps, Google Maps usw. verwenden.

Obwohl die Daten möglicherweise frei verfügbar sind, bedeutet dies nicht zwangsläufig, dass die Daten von dieser offengelegten API legal verfügbar sind. Sie sagen, es liegt in JSON-Form vor, was darauf hindeutet, dass es von seinem ursprünglichen Format in dieses Format "massiert" wurde - und dass das benutzerdefinierte Format unter geistiges Eigentum fallen könnte. DasIch glaube, es wäre illegal, es zu benutzen, wenn Sie nicht die Lizenz haben, es zu benutzen. Wie andere hier bin ich kein Anwalt, aber das Unternehmen muss nicht einmal mit dem Finger auf Sie zeigen und Sie als Hacker bezeichnen. Proprietäre Daten sind proprietäre Daten, auch wenn sie unbeabsichtigt weitergegeben werden. Wenden Sie sich an das Unternehmen, und teilen Sie dem Unternehmen mit, dass all diese Daten der Außenwelt zugänglich sind. Bitten Sie um Erlaubnis, sie verwenden zu dürfen. Ohne dies zu tun und diese Frage zum Stapelaustausch als Beweis zu haben, wäre es einfach, eine Klage gegen Sie zu erheben. Sie haben im Wesentlichen gesagt: "Das sieht nicht legitim aus, aber ich mag es trotzdem und ich möchte Geld damit verdienen." Auch hier bin ich kein Anwalt, aber das scheint kein guter Weg zu sein, um ein Gerichtsverfahren zu beginnen.

Die Sache ist jedoch, wenn Sie an Städtenamen und anderen geografischen Daten interessiert sind, dass fast alle frei verfügbar sind, unabhängig vom Land. Zuletzt wusste ich, dass die USA die meisten Daten veröffentlichen, aber es gibt Daten für praktisch jedes Land. Ich zögere, alles nur zu sagen, weil ich Programmierer bin und es schwierig ist, die Aussage "für alle" zu beweisen ... Wenn Sie ein beliebiges Land auswählen, stehen die Chancen mehr als gut, dass die Daten da draußen sind. Wenn Sie ein bestimmtes Land im Auge haben, besuchen Sie die GIS Stack Exchange . Die Hauptsache, nach der Sie suchen, heißt "Shapefiles". Stellen Sie also eine Frage wie "Woher bekomme ich Shapefiles für __________?" Es gibt auch OpenStreetMapDas ist eine Open Source Karte. Ich bin mir nicht sicher, wie einfach es ist, an ihre Shapefile-Daten zu gelangen, aber wenn Sie sie erhalten können (und ich verstehe nicht, warum dies nicht möglich ist, können Sie Offline-Karten basierend auf lokal ausführen gespeicherte Informationen), dann haben Sie alle Daten, die Sie benötigen, und Sie sind legal im Klartext. Sie müssen Zeit damit verbringen, die riesigen Datenmengen auf das zu massieren, was Sie wollen, aber Shapefiles sind immer sehr gut definiert und einfach zu analysieren.

Während closetnoc das Problem der Daten selbst erörtert hat, gibt es ein größeres rechtliches Problem: Sie sind nicht berechtigt, auf die API zuzugreifen, die die Daten anbietet.

Die Grundlage für die meisten Gesetze zur Computerkriminalität ist der Begriff "unbefugter Zugriff auf ein Computersystem". Sie sollten diesen Verweis auf die Autorisierung im rechtlichen Sinne nicht mit dem Begriff der Autorisierung in Bezug auf die Zugangskontrolle verwechseln. Der Besitzer eines Systems muss sein System nicht sichern, damit der Zugriff darauf illegal ist, so wie Sie es immer noch betreten, wenn Sie ein Haus mit einer unverschlossenen Tür betreten.

In diesem Fall bedeutet der offensichtliche Mangel an Sicherheit keine Berechtigung zur Nutzung. Das Konzept des Internets hat bisher in der Rechtsprechung nur einen geringen Präzedenzfall, aber Sie können sich vorstellen, dass das HTTP 80-Protokoll eine öffentliche Berechtigung zum Anzeigen einer Website impliziert. Im Gegensatz dazu werden Hintergrund-RPC-Protokolle (selbst wenn sie möglicherweise auf HTTP-Anforderungen ausgeführt werden) normalerweise nicht als öffentlich verfügbar angesehen, es sei denn, der Betreiber veröffentlicht den Dienst als solchen und erteilt die Berechtigung zur Verwendung für Dritte.

Die fortgesetzte Verwendung der API zum Abrufen von Daten wäre daher illegal. Der Vorgang, einen Daten-Dump von der API zu erstellen, um ein eigenes Dataset zu erstellen, wäre ebenfalls illegal. Ob die Verwendung der Daten danach illegal ist, ist eine riesige Grauzone, aber closetnoc hat die meisten Bedenken berücksichtigt.

Wenn Sie den Datenspeicherauszug nachträglich so ändern, dass er nicht mehr erkennbar ist, können Sie natürlich kaum nachweisen, dass Sie eine Straftat begangen haben. Aber wenn Sie so viel Mühe haben, warum sollten Sie die Daten nicht stattdessen aus einer legalen Quelle beziehen?

Dies hängt wahrscheinlich von der Art der Daten ab. Reine Daten (denke Telefonbuch) können nicht urheberrechtlich geschützt werden . Daher sollte eine Liste von Städten aus einer API ein faires Spiel sein, das kopiert und den Benutzern angezeigt werden kann. Wenn diese API jedoch Beschreibungen der Stadt enthält, fallen diese Beschreibungen unter das Urheberrecht und Sie können sie nicht verwenden, ohne das Urheberrecht zu verletzen.

Wenn Sie die Daten legal kopieren können, würde ich empfehlen, sie auf Ihre eigene Site zu kopieren, um zu verhindern, dass Ihre API-Nutzung vorzeitig beendet wird.

(IANAL, Gesetze und Normen sind weltweit sehr unterschiedlich, aber aufgrund von IP-Verträgen bleiben bestimmte Dinge in der Regel gleich. Wenn Sie ein professionelles Problem außerhalb Ihres Fachgebiets haben, wenden Sie sich an einen Fachmann.)

Im Allgemeinen gilt eine API rechtlich nicht als "für den öffentlichen Verbrauch bestimmt", es sei denn, sie ist aktiv als öffentliche API mit festgelegten Nutzungsbedingungen dokumentiert . Die Tatsache, dass die Öffentlichkeit die API erreichen kann, macht sie nicht öffentlich.

In Fällen , in denen der Status der Daten selbst nicht krass Public-Domain, und in einigen Fällen , in denen es klar ist public domain, zählt die Absicht des Unternehmens , die Bereitstellung der API sehr viel. Wenn der Websitebetreiber beabsichtigte, dass die API zum Feeden einer dynamischen Webseite oder einer mobilen Anwendung (um nur zwei Beispiele zu nennen) verwendet wird, ist jede andere Verwendung "nicht autorisiert", es sei denn, dies wurde ausdrücklich genehmigt. Wenn der beabsichtigte Verbraucher ein Ausschnitt aus dynamischem Code auf einer bestimmten Webseite war, um für den Menschen verständliche Pixel auf eine bestimmte, (hoffentlich) ansprechende und nützliche Weise auf einer Anzeige zu platzieren, ist jede andere Verwendung unzulässig.

Die technische Fähigkeit, ein Gebäude durch ein offenes Fenster zu betreten, ohne etwas zu öffnen oder zu zerbrechen, schützt Sie nicht davor, wegen kriminellen Vergehens verhaftet zu werden ...

Außerdem ist es fast nie ratsam, mit einem Anwalt für geistiges Eigentum "technische Fähigkeiten" gegen "originelle Absichten" zu spielen. Denken Sie nicht zuletzt daran, dass die Anwälte, die diese Fälle regelmäßig verlieren, nicht immer für sie bezahlt werden.

Was du redest, ist wahrscheinlich in Ordnung. Sie verknüpfen Informationen mit Hyperlinks und wandeln sie dann um.

In Perfect 10, Inc. v. Amazon.com, Inc. [19] prüfte die Neunte Schaltung erneut, ob die Verwendung von Thumbnails durch eine Bildsuchmaschine eine faire Verwendung war. Obwohl die Fakten etwas näher lagen als im Fall Arriba Soft, befand das Gericht den Gebrauch des beschuldigten Rechtsverletzers als fair, weil er "hochtransformativ" war. Das Gericht erklärte:

Wir kommen zu dem Schluss, dass der erheblich transformative Charakter der Google-Suchmaschine, insbesondere im Hinblick auf den öffentlichen Nutzen, die in diesem Fall abgelösten und kommerziellen Verwendungen der Thumbnails durch Google überwiegt. … Wir sind uns auch der Anweisung des Obersten Gerichtshofs bewusst, dass "je transformativer die neue Arbeit ist, desto geringer wird die Bedeutung anderer Faktoren wie der Kommerzialisierung sein, die gegen eine Feststellung einer fairen Verwendung sprechen können".

Darüber hinaus befasste sich das Gericht in der ersten US-Berufungsentscheidung speziell mit dem Urheberrechtsstatus von Verknüpfungen:

Google… zeigt keine Kopie von Bildern an, die gegen das Urheberrecht verstoßen, wenn Google verknüpfte Bilder framet, die auf dem Computerbildschirm eines Nutzers angezeigt werden. Da die Computer von Google die fotografischen Bilder nicht speichern, verfügt Google nicht über eine Kopie der Bilder für die Zwecke des Urheberrechtsgesetzes. Mit anderen Worten, Google hat keine "materiellen Objekte ... in denen ein Werk fixiert ist ... und von denen das Werk wahrgenommen, reproduziert oder auf andere Weise kommuniziert werden kann" und daher keine Kopie kommunizieren kann.Anstatt eine Kopie des Bildes zu übermitteln, stellt Google HTML-Anweisungen bereit, mit denen der Browser eines Nutzers auf den Computer eines Website-Publishers geleitet wird, auf dem das Bild in voller Größe gespeichert ist. Das Bereitstellen dieser HTML-Anweisungen entspricht nicht dem Anzeigen einer Kopie. Erstens sind die HTML-Anweisungen Textzeilen, keine fotografischen Bilder. Zweitens führen HTML-Anweisungen selbst nicht dazu, dass verletzende Bilder auf dem Computerbildschirm des Benutzers angezeigt werden. Der HTML-Code gibt lediglich die Adresse des Bildes an den Browser des Benutzers weiter. Der Browser interagiert dann mit dem Computer, auf dem das verletzende Bild gespeichert ist. Diese Interaktion führt dazu, dass auf dem Computerbildschirm des Benutzers ein Bild angezeigt wird, das einen Verstoß darstellt. Google kann dem Nutzer den Zugriff auf verletzende Bilder erleichtern. Jedoch, Eine solche Unterstützung wirft nur Fragen der Mithaftung auf und stellt keine direkte Verletzung der Anzeigerechte des Urhebers dar. … Während Inline-Links und Frames dazu führen können, dass einige Computerbenutzer glauben, dass sie eine einzelne Google-Webseite anzeigen, schützt das Urheberrechtsgesetz im Gegensatz zum Markengesetz einen Urheberrechtsinhaber nicht vor Handlungen, die zu Verwirrung beim Verbraucher führen.

Stand des US-Rechts nach Arriba Soft and Perfect 10

Das Arriba-Soft-Verfahren stand für die These, dass Deep-Linking und die tatsächliche Reproduktion in verkleinerten Kopien (oder die Herstellung kleinerer abgeleiteter Werke) als faire Verwendung zu entschuldigen seien, da die Verwendung des Werks durch den Beklagten den Handel nicht tatsächlich oder potenziell beeinträchtigte der Marktplatz von der ersten Arbeit; Außerdem wurde der Öffentlichkeit eine bisher nicht verfügbare, sehr nützliche Funktion zur Verfügung gestellt, für deren Förderung das Urheberrecht besteht (Auffinden gewünschter Informationen im Internet). Der Perfect 10-Fall beinhaltete ähnliche Überlegungen, aber es ging eher um einen Interessenausgleich. Das Verhalten wurde entschuldigt, weil der Wert der ansonsten nicht verfügbaren, nützlichen Funktion für die Öffentlichkeit den Einfluss der möglicherweise abgelösten Nutzung von Google auf Perfect 10 aufwog.

Darüber hinaus hat das Gericht in Perfect 10 einen weitreichenden Präzedenzfall zugunsten von Verlinkung und Framing festgelegt, den das Gericht vollständig als urheberrechtlich geschützt einstuft. Es kam zu dem Schluss, dass "Inline-Verknüpfungen und Framing dazu führen können, dass einige Computerbenutzer glauben, dass sie eine einzelne Google-Webseite anzeigen, [aber] das Urheberrechtsgesetz ... einen Urheberrechtsinhaber nicht vor Handlungen schützt, die zu Verwirrung beim Verbraucher führen."

Betonung meiner. linky

Sie verwenden lediglich einen Hyperlink, Sie erstellen keine Kopie, Sie zeigen keine Kopie an, Sie verletzen nicht die Geschäftsinteressen und Sie transformieren diese in hohem Maße. Ich würde sagen, dass jedes Element in Ordnung sein muss. Aber IANAL.

Es ist legal, solange Sie kein Passwort eingeben müssen, um es zu erhalten, aber einige weniger erfahrene Unternehmen behaupten möglicherweise, Sie würden trotzdem hacken und einen Anwalt beauftragen. Sie müssen bereit sein, sich zu verteidigen. Sie werden nicht für schuldig befunden, da sie ihre Daten für die Öffentlichkeit veröffentlichen, aber es kann kosten, sich zu verteidigen. Staatsanwälte und Polizisten schieben Kapitalgesellschaften nach. Dies kommt häufig in Sicherheitsmitteilungen vor, in denen eine Firma über eine Sicherheitslücke informiert wird und diese dann wegen Hacks angeklagt wird. Es steht dem Unternehmen auch frei, die API ohne Vorankündigung zu ändern, wodurch möglicherweise Ihre App beschädigt wird.

http://www.extremetech.com/computing/146323-canadian-college-expels-student-for-white-hat-security-probing

Hören Sie auf, wenn Sie das schon einmal gehört haben: Ein Technikbegeisterter wird beim Überprüfen auf Sicherheitslücken leicht übereifrig, findet eine erhebliche Sicherheitslücke, gibt Informationen heraus und es werden rechtliche und persönliche Bedrohungen ausgesprochen.

http://www.bostonglobe.com/metro/2014/03/29/the-inside-story-mit-and-aaron-swartz/YvJZ5P6VHaPJusReuaN7SI/story.html

Der Eindringling lauerte irgendwo auf dem MIT-Campus und lud akademische Zeitschriftenartikel zu Hunderttausenden herunter.