Audio in Python erkennen und aufnehmen


99

Ich muss Audioclips als WAV-Dateien aufnehmen, die ich dann zur Verarbeitung an ein anderes Python-Bit übergeben kann. Das Problem ist, dass ich feststellen muss, wann Audio vorhanden ist, und es dann aufzeichnen, anhalten muss, wenn es still wird, und diese Datei dann an das Verarbeitungsmodul übergeben muss.

Ich denke, es sollte mit dem Wellenmodul möglich sein, zu erkennen, wann reine Stille herrscht, und es zu verwerfen. Sobald etwas anderes als Stille erkannt wird, starten Sie die Aufnahme. Wenn die Leitung wieder still wird, beenden Sie die Aufnahme.

Ich kann es einfach nicht richtig verstehen, kann mich jemand mit einem einfachen Beispiel anfangen.

Antworten:


106

Im Anschluss an die Antwort von Nick Fortescue finden Sie hier ein vollständigeres Beispiel für die Aufnahme vom Mikrofon und die Verarbeitung der resultierenden Daten:

from sys import byteorder
from array import array
from struct import pack

import pyaudio
import wave

THRESHOLD = 500
CHUNK_SIZE = 1024
FORMAT = pyaudio.paInt16
RATE = 44100

def is_silent(snd_data):
    "Returns 'True' if below the 'silent' threshold"
    return max(snd_data) < THRESHOLD

def normalize(snd_data):
    "Average the volume out"
    MAXIMUM = 16384
    times = float(MAXIMUM)/max(abs(i) for i in snd_data)

    r = array('h')
    for i in snd_data:
        r.append(int(i*times))
    return r

def trim(snd_data):
    "Trim the blank spots at the start and end"
    def _trim(snd_data):
        snd_started = False
        r = array('h')

        for i in snd_data:
            if not snd_started and abs(i)>THRESHOLD:
                snd_started = True
                r.append(i)

            elif snd_started:
                r.append(i)
        return r

    # Trim to the left
    snd_data = _trim(snd_data)

    # Trim to the right
    snd_data.reverse()
    snd_data = _trim(snd_data)
    snd_data.reverse()
    return snd_data

def add_silence(snd_data, seconds):
    "Add silence to the start and end of 'snd_data' of length 'seconds' (float)"
    silence = [0] * int(seconds * RATE)
    r = array('h', silence)
    r.extend(snd_data)
    r.extend(silence)
    return r

def record():
    """
    Record a word or words from the microphone and 
    return the data as an array of signed shorts.

    Normalizes the audio, trims silence from the 
    start and end, and pads with 0.5 seconds of 
    blank sound to make sure VLC et al can play 
    it without getting chopped off.
    """
    p = pyaudio.PyAudio()
    stream = p.open(format=FORMAT, channels=1, rate=RATE,
        input=True, output=True,
        frames_per_buffer=CHUNK_SIZE)

    num_silent = 0
    snd_started = False

    r = array('h')

    while 1:
        # little endian, signed short
        snd_data = array('h', stream.read(CHUNK_SIZE))
        if byteorder == 'big':
            snd_data.byteswap()
        r.extend(snd_data)

        silent = is_silent(snd_data)

        if silent and snd_started:
            num_silent += 1
        elif not silent and not snd_started:
            snd_started = True

        if snd_started and num_silent > 30:
            break

    sample_width = p.get_sample_size(FORMAT)
    stream.stop_stream()
    stream.close()
    p.terminate()

    r = normalize(r)
    r = trim(r)
    r = add_silence(r, 0.5)
    return sample_width, r

def record_to_file(path):
    "Records from the microphone and outputs the resulting data to 'path'"
    sample_width, data = record()
    data = pack('<' + ('h'*len(data)), *data)

    wf = wave.open(path, 'wb')
    wf.setnchannels(1)
    wf.setsampwidth(sample_width)
    wf.setframerate(RATE)
    wf.writeframes(data)
    wf.close()

if __name__ == '__main__':
    print("please speak a word into the microphone")
    record_to_file('demo.wav')
    print("done - result written to demo.wav")

17
Damit dies in Python 3 funktioniert, ersetzen Sie einfach xrange durch range.
Ben Elgar

1
Tolles Beispiel! Wirklich nützlich, als ich versuchte, mich mit dem Aufnehmen von Sprache mit Python zu beschäftigen. Eine kurze Frage, die ich hatte, ist, ob es eine Möglichkeit gibt, den Zeitraum der Aufnahme zu definieren. Jetzt zeichnet es ein Wort auf? Kann ich damit spielen und eine Aufnahmezeit von zB 10 Sekunden haben? Vielen Dank!
Swan87

Erkennung und Normalisierung sind nicht korrekt, da sie auf Bytes und nicht auf Kurzschlüssen berechnet werden. Dieser Puffer müsste vor der Verarbeitung in ein Numpy-Array konvertiert werden.
ArekBulski

Weder xrangenoch rangewar wirklich notwendig in add_silence(so ist es jetzt weg). Ich denke, Arek könnte hier auf etwas stehen - der Übergang von der Stille zum 'Wort' klingt zu ruckelig. Ich denke, es gibt andere Antworten, die sich auch damit befassen.
Tomasz Gandor

47

Ich glaube, das WAVE-Modul unterstützt keine Aufzeichnung, sondern nur die Verarbeitung vorhandener Dateien. Vielleicht möchten Sie sich PyAudio ansehen, um tatsächlich aufzunehmen. Bei WAV geht es um das einfachste Dateiformat der Welt. In paInt16 erhalten Sie nur eine vorzeichenbehaftete Ganzzahl, die eine Ebene darstellt, und näher an 0 ist leiser. Ich kann mich nicht erinnern, ob WAV-Dateien zuerst High-Byte oder Low-Byte sind, aber so etwas sollte funktionieren (sorry, ich bin nicht wirklich ein Python-Programmierer:

from array import array

# you'll probably want to experiment on threshold
# depends how noisy the signal
threshold = 10 
max_value = 0

as_ints = array('h', data)
max_value = max(as_ints)
if max_value > threshold:
    # not silence

PyAudio-Code für die Aufzeichnung wird als Referenz aufbewahrt:

import pyaudio
import sys

chunk = 1024
FORMAT = pyaudio.paInt16
CHANNELS = 1
RATE = 44100
RECORD_SECONDS = 5

p = pyaudio.PyAudio()

stream = p.open(format=FORMAT,
                channels=CHANNELS, 
                rate=RATE, 
                input=True,
                output=True,
                frames_per_buffer=chunk)

print "* recording"
for i in range(0, 44100 / chunk * RECORD_SECONDS):
    data = stream.read(chunk)
    # check for silence here by comparing the level with 0 (or some threshold) for 
    # the contents of data.
    # then write data or not to a file

print "* done"

stream.stop_stream()
stream.close()
p.terminate()

Danke Nick, Ja, hätte sagen sollen, dass ich auch Portaudio für die Aufnahme verwende. Das bisschen, an dem ich festhalte, ist die Überprüfung auf Stille. Wie bekomme ich den Pegel im Datenblock?

Ich habe oben einen wirklich einfachen ungetesteten Code hinzugefügt, aber er sollte den gewünschten Job machen
Nick Fortescue

Meine vorherige Version hatte einen Fehler und ging nicht richtig mit dem Schild um. Ich habe das Bibliotheksfunktionsarray () verwendet, um jetzt richtig zu analysieren
Nick Fortescue

Das WAV-Dateiformat ist ein Container. Es kann Audio enthalten, das über verschiedene Codecs (wie GSM oder MP3) codiert ist, von denen einige weit davon entfernt sind, die einfachste der Welt zu sein.
Jacek Konieczny

2
Ich glaube, dass die Option "output = True" beim Öffnen des Streams für die Aufzeichnung nicht erforderlich ist und außerdem "IOError: [Errno Input overflowed] -9981" auf meinem Gerät verursacht. Ansonsten danke für das Codebeispiel, es war super hilfreich.
Binus

19

Vielen Dank an cryo für die verbesserte Version, auf der ich meinen getesteten Code basiert habe:

#Instead of adding silence at start and end of recording (values=0) I add the original audio . This makes audio sound more natural as volume is >0. See trim()
#I also fixed issue with the previous code - accumulated silence counter needs to be cleared once recording is resumed.

from array import array
from struct import pack
from sys import byteorder
import copy
import pyaudio
import wave

THRESHOLD = 500  # audio levels not normalised.
CHUNK_SIZE = 1024
SILENT_CHUNKS = 3 * 44100 / 1024  # about 3sec
FORMAT = pyaudio.paInt16
FRAME_MAX_VALUE = 2 ** 15 - 1
NORMALIZE_MINUS_ONE_dB = 10 ** (-1.0 / 20)
RATE = 44100
CHANNELS = 1
TRIM_APPEND = RATE / 4

def is_silent(data_chunk):
    """Returns 'True' if below the 'silent' threshold"""
    return max(data_chunk) < THRESHOLD

def normalize(data_all):
    """Amplify the volume out to max -1dB"""
    # MAXIMUM = 16384
    normalize_factor = (float(NORMALIZE_MINUS_ONE_dB * FRAME_MAX_VALUE)
                        / max(abs(i) for i in data_all))

    r = array('h')
    for i in data_all:
        r.append(int(i * normalize_factor))
    return r

def trim(data_all):
    _from = 0
    _to = len(data_all) - 1
    for i, b in enumerate(data_all):
        if abs(b) > THRESHOLD:
            _from = max(0, i - TRIM_APPEND)
            break

    for i, b in enumerate(reversed(data_all)):
        if abs(b) > THRESHOLD:
            _to = min(len(data_all) - 1, len(data_all) - 1 - i + TRIM_APPEND)
            break

    return copy.deepcopy(data_all[_from:(_to + 1)])

def record():
    """Record a word or words from the microphone and 
    return the data as an array of signed shorts."""

    p = pyaudio.PyAudio()
    stream = p.open(format=FORMAT, channels=CHANNELS, rate=RATE, input=True, output=True, frames_per_buffer=CHUNK_SIZE)

    silent_chunks = 0
    audio_started = False
    data_all = array('h')

    while True:
        # little endian, signed short
        data_chunk = array('h', stream.read(CHUNK_SIZE))
        if byteorder == 'big':
            data_chunk.byteswap()
        data_all.extend(data_chunk)

        silent = is_silent(data_chunk)

        if audio_started:
            if silent:
                silent_chunks += 1
                if silent_chunks > SILENT_CHUNKS:
                    break
            else: 
                silent_chunks = 0
        elif not silent:
            audio_started = True              

    sample_width = p.get_sample_size(FORMAT)
    stream.stop_stream()
    stream.close()
    p.terminate()

    data_all = trim(data_all)  # we trim before normalize as threshhold applies to un-normalized wave (as well as is_silent() function)
    data_all = normalize(data_all)
    return sample_width, data_all

def record_to_file(path):
    "Records from the microphone and outputs the resulting data to 'path'"
    sample_width, data = record()
    data = pack('<' + ('h' * len(data)), *data)

    wave_file = wave.open(path, 'wb')
    wave_file.setnchannels(CHANNELS)
    wave_file.setsampwidth(sample_width)
    wave_file.setframerate(RATE)
    wave_file.writeframes(data)
    wave_file.close()

if __name__ == '__main__':
    print("Wait in silence to begin recording; wait in silence to terminate")
    record_to_file('demo.wav')
    print("done - result written to demo.wav")

Danke, funktioniert super. In meinem Fall muss ich return copy.deepcopy(data_all[_from:(_to + 1)])biscopy.deepcopy(data_all[int(_from):(int(_to) + 1)])
lukassliacky

6
import pyaudio
import wave
from array import array

FORMAT=pyaudio.paInt16
CHANNELS=2
RATE=44100
CHUNK=1024
RECORD_SECONDS=15
FILE_NAME="RECORDING.wav"

audio=pyaudio.PyAudio() #instantiate the pyaudio

#recording prerequisites
stream=audio.open(format=FORMAT,channels=CHANNELS, 
                  rate=RATE,
                  input=True,
                  frames_per_buffer=CHUNK)

#starting recording
frames=[]

for i in range(0,int(RATE/CHUNK*RECORD_SECONDS)):
    data=stream.read(CHUNK)
    data_chunk=array('h',data)
    vol=max(data_chunk)
    if(vol>=500):
        print("something said")
        frames.append(data)
    else:
        print("nothing")
    print("\n")


#end of recording
stream.stop_stream()
stream.close()
audio.terminate()
#writing to file
wavfile=wave.open(FILE_NAME,'wb')
wavfile.setnchannels(CHANNELS)
wavfile.setsampwidth(audio.get_sample_size(FORMAT))
wavfile.setframerate(RATE)
wavfile.writeframes(b''.join(frames))#append frames recorded to file
wavfile.close()

Ich denke, dies wird helfen. Es ist ein einfaches Skript, das prüft, ob es eine Stille gibt oder nicht. Wenn Stille erkannt wird, wird es nicht aufgezeichnet, sonst wird es aufgezeichnet.


3

Die pyaudio-Website enthält viele Beispiele, die ziemlich kurz und klar sind: http://people.csail.mit.edu/hubert/pyaudio/

Update 14. Dezember 2019 - Hauptbeispiel von der oben verlinkten Website ab 2017:


"""PyAudio Example: Play a WAVE file."""

import pyaudio
import wave
import sys

CHUNK = 1024

if len(sys.argv) < 2:
    print("Plays a wave file.\n\nUsage: %s filename.wav" % sys.argv[0])
    sys.exit(-1)

wf = wave.open(sys.argv[1], 'rb')

p = pyaudio.PyAudio()

stream = p.open(format=p.get_format_from_width(wf.getsampwidth()),
                channels=wf.getnchannels(),
                rate=wf.getframerate(),
                output=True)

data = wf.readframes(CHUNK)

while data != '':
    stream.write(data)
    data = wf.readframes(CHUNK)

stream.stop_stream()
stream.close()

p.terminate()

0

Vielleicht möchten Sie sich auch csounds ansehen . Es hat mehrere APIs, einschließlich Python. Möglicherweise kann es mit einer AD-Schnittstelle interagieren und Klangbeispiele sammeln.

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.