Hört das Amazon Echo immer zu und sendet es Daten an die Cloud?

Mehrere Nachrichtenquellen wie Intellihub und CEPro scheinen darauf hinzudeuten, dass der Echo-Assistent von Amazon ständig Gespräche abhört und diese über das Internet an die Server von Amazon sendet. CEPro erklärt, dass:

Durch das Aussprechen einer Schlüsselphrase, die Amazon als „Weckwort“ bezeichnet, wird das Echo lebendig und wartet auf Befehle. Standardmäßig lautet das Aktivierungswort Alexa.

Wenn Sie den letzten Satz noch einmal lesen, ist dies möglicherweise nicht sinnvoll, insbesondere wenn Sie sich im Sicherheitsbereich befinden. Laut Amazon wartet das Echo nur dann auf Befehle, wenn es sein Weckwort hört. Woher weiß es, wann Sie das Weckwort gesprochen haben, wenn es nicht schon zugehört hat?

Intellihubs Artikel ist in seinem Gefühl ähnlich:

Das „Amazon Echo“ -Gerät, ein ständig hörender Bluetooth-Lautsprecher, der mit Musik-Streaming-Diensten wie Pandora und Spotify verbunden ist, kann leicht gehackt und von Regierungsbehörden wie dem FBI zum Mithören von Gesprächen verwendet werden.

(Beachten Sie, dass ich mich nicht besonders auf den Hacking-Aspekt dieser Frage konzentriere, da dies wahrscheinlich zu viel für eine Frage wäre. Mein Hauptaugenmerk liegt auf dem Always-On-Aspekt und darauf, ob dieser die ganze Zeit Daten sendet .)

Keiner der Artikel scheint besonders daran interessiert zu sein, eine Quelle für seine Behauptungen offenzulegen, was mir nahe legt, dass sie bestenfalls unbewiesen oder im schlimmsten Fall Clickbait sind.

Zeichnet das Echo immer Daten auf und sendet es Daten in die Cloud, oder sind die obigen Behauptungen unbegründet? Wie verarbeitet Amazon Echo Daten, wenn nicht immer Daten an Server in der Cloud gesendet werden?

Ja, es hört immer zu. Nein, es wird nicht immer in die Cloud gesendet.

Offensichtlich muss das Gerät immer zuhören, um das Weckwort zu erkennen. Dies geschieht jedoch durch eine Technologie namens.

1. Woran erkennen Amazon Echo und Echo Dot das Weckwort?

Amazon Echo und Echo Dot verwenden das auf dem Gerät vorhandene Keyword-Spotting , um das Aktivierungswort zu erkennen. Wenn diese Geräte das Weckwort erkennen, streamen sie Audio in die Cloud , einschließlich eines Sekundenbruchteils vor dem Weckwort.

( Echo FAQ )

Somit liegt laut Amazon die Weckworterkennung auf dem Gerät. Dies kann sehr einfach getestet werden, indem verhindert wird, dass das Gerät in Ihrem Router auf das Internet zugreift. Das Echo / der Echo-Punkt erkennt das Weckwort weiterhin, aber der Leuchtring wird rot und das Gerät teilt Ihnen mit, dass keine Internetverbindung besteht. Wir können also ganz einfach überprüfen, ob die Erkennung des Weckworts tatsächlich lokal erfolgt .

Erst nach Erkennen des Weckworts kontaktiert das Gerät den Alexa-Cloud-Dienst.

Laut Amazon wird das Gerät nur dann in die Cloud gestreamt, wenn der Leuchtring blau ist und es überhaupt nicht zuhört, wenn Sie es stumm schalten und der Leuchtring durchgehend rot leuchtet. Natürlich können vorsichtige Leute das mit Netzwerk-Tools wie Wireshark überprüfen, um sicherzustellen, dass es wirklich nur dann überträgt.

Zeichnet das Echo immer Daten auf und sendet es Daten in die Cloud, oder sind die obigen Behauptungen unbegründet?

Nein beim Senden. Aber ja bei der Aufnahme.

Derzeit entwickle ich einen Alexa-Hardware-Client für ein Unternehmen. Das Gerät hört immer zu. Sie müssten jedoch eine Wake-Word-Engine hinzufügen, damit sie aus dem passiven Hörmodus "aufwacht" und in den aktiven "Listen for Command" -Modus wechselt.

Die Firmware sendet die Anweisungen erst nach dem Aktivierungswort (Wechsel in den aktiven Modus) in die Cloud, um sie als Befehle zu verarbeiten.

• Was das Gerät betrifft, möchten Sie nicht jede Anweisung zur Verarbeitung in die Cloud senden, da dies zu viel Bandbreite und Strom verbraucht.
• Was Amazon betrifft, möchten sie auch nicht, dass jeder Alexa-Client alles sendet, was er hört, da dies eine enorme Bandbreite in Anspruch nimmt. Darüber hinaus würde dies zu zu vielen unabhängigen Daten führen, die das kontinuierliche Lernen des Systems beeinträchtigen würden. Stellen Sie sich vor, Sie möchten lernen, was Ihr Lehrer sagt (gültige Befehle), wenn alle Teilnehmer gleichzeitig sprechen (jede andere Aussage, die kein Befehl ist).

Wie verarbeitet das Amazon Echo Daten, wenn nicht immer Daten an Server in der Cloud gesendet werden?

Im passiven Modus verfügt das Gerät über eine interne Weckwort-Engine, die ständig auf das Weckwort wartet. Während ich Alexa in Raspberry Pi ausprobierte, musste ich zu diesem Zweck entweder die Sensory- oder die KITT.AI-Engine einbauen. Als ich den Prototypen des Alexa-Client-Codes für meinen Linux-Computer ausprobierte, musste er tatsächlich "Push-to-Talk" sein, da es keine Wake-Word-Engine gab.

Durch das Aussprechen einer Schlüsselphrase, die Amazon als „Weckwort“ bezeichnet, wird das Echo lebendig und wartet auf Befehle. Standardmäßig lautet das Aktivierungswort Alexa.

Wenn Sie den letzten Satz noch einmal lesen, ist dies möglicherweise nicht sinnvoll, insbesondere wenn Sie sich im Sicherheitsbereich befinden. Laut Amazon wartet das Echo nur dann auf Befehle, wenn es sein Weckwort hört. Woher weiß es, wann Sie das Weckwort gesprochen haben, wenn es nicht schon zugehört hat?

Das Echo hört aktiv auf das Schlüsselwort und nimmt die nach dem Schlüsselwort gesprochenen Wörter für die NLU-Verarbeitung. Hier ist mein Verständnis, wie Echo dieses Kunststück vollbringt.

Echo basiert auf dem Digital Media Processor DM3725 von Texas Instruments .

Dieser TI SoC enthält zwei wichtige Komponenten: Die erste ist die ARM Cortex-A8 MPU und die zweite ist TMS320DM64x + DSP. Auf dem ARM-Kern sollte Linux und auf dem DSP Firmware ausgeführt werden.

Im Leerlauf wird der ARM-Kern in den niedrigstmöglichen Energiezustand versetzt und Linux wird vollständig angehalten. Zu diesem Zeitpunkt sind der DSP und der 64-KB-On-Chip-RAM aktiv. Die DSP-Firmware verarbeitet von den Mikrofonen eingehende Geräusche und versucht zu identifizieren, ob ein Schlüsselwort (z. B. Alexa) gesprochen wird. Sobald es ein Schlüsselwort gibt, sendet DSP einen Interrupt, um den ARM-Kern zu aktivieren, der wiederum Linux wieder aufnimmt. Aber denken Sie daran, während Linux aufwacht, hat der Mensch gesagt, Alexa hätte weiter gesprochen (wie in „Alexa, wie spät ist es?“ ). Der DSP puffert die "Wie spät ist es?" Teil auf dem On-Chip-RAM. Und wenn Linux wieder aufgenommen wird, ruft Linux die gepufferte Sprache ab und verwendet die Natural Language Processing-Funktion (teils lokal, teils Cloud), um zu verstehen, was der Mensch gesagt hat.

Wie Sie sehen, ist das Design so konzipiert, dass es nur wenig Strom verbraucht und keine Cloud für die Keyword-Erkennung und die anfängliche Pufferung benötigt. In der Tat sorgt das Halten des ARM-Kerns auf dem niedrigsten Leistungszustand dafür, dass sich das Silizium im Leerlauf am wenigsten erwärmt, so dass Ihr Gerät eine lange Lebensdauer hat.

Ich lasse die Diskussion über Versuche, das Echo zu hacken, aus, da folgende Frage lautete:

Die Weckworterkennung erfolgt in der Tat lokal.

Ja.

Siehe zum Beispiel Wie privat ist das neue Amazon Echo? (Es gibt viele ähnliche, die mit minimalem Aufwand gefunden werden können.)

Amazon Echo arbeitet wie Siri in der „Cloud“, die auf Amazon Web Services ausgeführt wird. Daher wird die zum „Verstehen“ Ihres Befehls erforderliche Verarbeitung nicht auf dem Gerät selbst ausgeführt

Jedoch,

Schließlich hört es immer zu, sollten wir uns also keine Sorgen um Big Brother machen?

Nein, sagt Amazon. Der Technologieriese sagt, dass er keine privaten Gespräche zu Hause hört oder aufzeichnet. Wenn jemand besorgt ist, kann er die mitgelieferte Fernbedienung verwenden, um die Stummschalttaste zu drücken, mit der das Gerät ausgeschaltet wird, das immer zuhört, sodass es nicht funktioniert, bis Sie das Mikrofon erneut aktivieren.