Welche Alternativen gibt es jetzt, da die Google-Websuch-API veraltet ist? [geschlossen]

Die Google Web Search-API ist veraltet und wurde durch die benutzerdefinierte Such-API ersetzt (siehe http://code.google.com/apis/websearch/ ).

Ich wollte das gesamte Web durchsuchen, aber es sieht so aus, als ob mit der neuen API nur benutzerdefinierte Websites durchsucht werden können.

Gibt es eine Möglichkeit, das gesamte Web programmgesteuert zu durchsuchen? Ich konnte die alte API mit JSON aus einem Java-Programm abfragen.

Sie könnten sie einfach wie ein Browser durchschicken und dann das HTML analysieren, das habe ich immer getan, auch für Dinge wie Youtube.

Ja, die benutzerdefinierte Suche von Google hat jetzt die alte Such-API ersetzt. Sie können jedoch weiterhin die benutzerdefinierte Suche von Google verwenden, um das gesamte Web zu durchsuchen , obwohl die Schritte im Setup der benutzerdefinierten Suche nicht ersichtlich sind.

So erstellen Sie eine benutzerdefinierte Google-Suchmaschine, die das gesamte Web durchsucht:

1. Klicken Sie auf der Startseite der benutzerdefinierten Google-Suche ( http://www.google.com/cse/ ) auf Benutzerdefinierte Suchmaschine erstellen.
2. Geben Sie einen Namen und eine Beschreibung für Ihre Suchmaschine ein.
3. Geben Sie unter Suchmaschine definieren im Feld Zu suchende Websites mindestens eine gültige URL ein (Geben Sie zunächst einfach www.anyurl.com ein, um diesen Bildschirm zu verlassen. Mehr dazu später).
4. Wählen Sie die gewünschte CSE-Edition aus, akzeptieren Sie die Nutzungsbedingungen und klicken Sie auf Weiter. Wählen Sie die gewünschte Layoutoption aus und klicken Sie dann auf Weiter.
5. Klicken Sie auf einen der Links im Abschnitt Nächste Schritte, um zu Ihrer Systemsteuerung zu navigieren.
6. Klicken Sie im linken Menü unter Systemsteuerung auf Grundlagen.
7. Wählen Sie im Abschnitt Sucheinstellungen die Option Das gesamte Web durchsuchen aus, betonen Sie jedoch die enthaltenen Websites.
8. Klicken Sie auf Änderungen speichern.
9. Klicken Sie im linken Menü unter Systemsteuerung auf Websites.
10. Löschen Sie die Site, die Sie während der Ersteinrichtung eingegeben haben.

Jetzt durchsucht Ihre benutzerdefinierte Suchmaschine das gesamte Web.

Preisgestaltung

• Mit der benutzerdefinierten Google-Suche erhalten Sie 100 Anfragen pro Tag kostenlos.
• Danach zahlen Sie 5 US-Dollar pro 1000 Anfragen.
• Es gibt maximal 10.000 Anfragen pro Tag.

Quelle: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

• Die Suchqualität ist viel geringer als bei der normalen Google-Suche (keine Synonyme, "Intelligenz" usw.)
• Es scheint, dass Google sogar plant, diesen Dienst vollständig zu schließen.

Die benutzerdefinierte Google-Suche (wie in den am besten bewerteten Antworten empfohlen) funktioniert gut, ist jedoch im Vergleich zu den Mitbewerbern (unten) oder anderen Google-APIs sehr teuer. Es hat eine kleine kostenlose Stufe (100 Anfragen / Tag) und einen sehr hohen Preis von 5 USD pro 1000 Anfragen.

Sie bieten die Möglichkeit, ein Upgrade auf Site Search durchzuführen, das etwas bessere Preise bietet. Dies ist jedoch für die Suche nach einer Site (Ihrer eigenen) gedacht. Es handelt sich also wirklich um etwas ganz anderes - nicht um ein Upgrade.

Die Hauptalternativen scheinen zu sein:

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44 Mit
einer kostenlosen Stufe von 5000q / Monat und Preisen ab 5 Abfragen pro Penny und ohne festes Limit.

UPDATE: Ende 2016 wurde diese API zugunsten des Azure-Gegenstücks "Cognitive Services Bing Search API" heruntergefahren:
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Hier finden Sie eine Preisübersicht, die bei 1.000 Transaktionen bei 3 USD / m beginnt. Wenn ich nichts vermisse, ist es ziemlich teuer.

Yahoo BOSS Search API
UPDATE: Wurde am 31. März 2016 eingestellt. Http://developer.yahoo.com/boss/search/
Mit Preisen ab etwa 12 Abfragen / Cent für die gesamte Websuche.

Und einige, von denen ich noch nie gehört habe:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[eingestellt - wie unten angegeben]

Einige davon werden in diesem SO-Beitrag ein wenig diskutiert .
[wurde wegen Nicht-Themas geschlossen und ist jetzt weg]

Hier ist eine Option am unteren Rand der Systemsteuerung für die benutzerdefinierte Suche: "Zu durchsuchende Websites" . Sie können "Das gesamte Web durchsuchen , aber die enthaltenen Websites hervorheben" auswählen.

Faroo hat eine kostenlose Web Search API

Ich bin gerade auf Common Crawl gestoßen.

http://www.commoncrawl.org/

Könnte die Antwort sein, nach der wir alle suchen !!

Über den Dokumenten befindet sich ein Hinweis :

Hinweis: Die Google Web Search-API ist seit dem 1. November 2010 offiziell veraltet. Sie funktioniert weiterhin gemäß unserer Verfallsrichtlinie , aber die Anzahl der Anfragen, die Sie pro Tag stellen können, ist begrenzt. Wir empfehlen Ihnen daher, auf die neue benutzerdefinierte Such-API umzusteigen .

Die Abschreibungsrichtlinie besagt, dass die API 3 Jahre lang ausgeführt wird. Wenn Sie also bereits eine Anwendung haben, die die alte API verwendet, müssen Sie sich noch nicht beeilen, um Änderungen vorzunehmen. Wenn Sie eine neue Anwendung schreiben, verwenden Sie die API für die benutzerdefinierte Suche . In meiner Antwort hier erfahren Sie, wie dies in Python funktioniert, aber die Idee ist für jede Sprache gleich.

Es gibt eine kostenlose Java-API namens JFreeWebSearch, die das bereits erwähnte Faroo verwendet: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

Sie können "überall" benutzerdefinierte Suchmaschinen direkt von der Google Custom Search-Startseite ( http://www.google.com/cse/ ) erstellen . Sie sollten beim Hinzufügen einer neuen Engine einfach auf "Erweitert" klicken. Dort können Sie den Site-Typ Schema.org angeben. ' Thing ' ist der allgemeinste Typ, der das gesamte Web abdeckt.

Gigablast bietet eine günstige Web-Such-API: http://www.gigablast.com/searchfeed.html