Python в аудио-спецэффектах. Как работают нейросети изнутри.

В этой главе мы перейдём от ручных признаков к спектрограммам. Мы узнаем, как превратить звук в изображение, которое нейросеть может «видеть». Мы построим свёрточную сеть, которая анализирует спектрограмму, и научим её классифицировать звуки не по четырём числам, а по всему богатству частотно-временной картины.

Почему спектрограмма — это картинка

Спектрограмма — это визуальное представление звука. По горизонтальной оси откладывается время, по вертикальной — частота, а цвет или яркость каждой точки показывает, сколько энергии было на этой частоте в этот момент времени. Мы подробно разбирали спектрограммы во второй книге, в главе про STFT. Сейчас важно понять, почему это представление так хорошо подходит для нейросетей.

Когда человек смотрит на спектрограмму, он видит осмысленные структуры. Речь выглядит как серия горизонтальных полос — это основной тон и обертоны, — перемежающихся вертикальными тёмными полосами пауз. Гласные звуки выглядят как яркие области в определённых частотных диапазонах — формантах. Согласные — как короткие шумовые всплески. Музыка выглядит как множество параллельных горизонтальных линий на частотах, кратных основному тону. Шум — как равномерная текстура без выраженной структуры.

Свёрточная нейросеть, обученная на изображениях, умеет выделять текстуры, края, формы. Она находит маленькие паттерны — например, горизонтальную линию определённой толщины, — затем собирает их в более крупные структуры — например, набор параллельных линий, характерный для гласного звука, — и в итоге формирует высокоуровневое представление: «это речь». Всё это происходит автоматически, без нашего указания. Сеть сама решает, какие визуальные признаки важны для классификации.

От сигнала к спектрограмме

Давайте напишем код, который превращает аудиосигнал в спектрограмму — тензор, готовый для подачи в нейросеть.

python

import torch

import torchaudio

import librosa

import numpy as np

def audio_to_mel_spectrogram(y, sr, n_mels=128, n_fft=2048, hop_length=512):

"""

Превращает аудиосигнал в мел-спектрограмму.

Мел-шкала имитирует восприятие частоты человеческим ухом:

низкие частоты представлены подробнее, высокие — грубее.

"""

# Преобразуем в тензор PyTorch, если пришёл numpy-массив

if isinstance(y, np.ndarray):

y = torch.tensor(y, dtype=torch.float32)

# Создаём преобразователь

mel_transform = torchaudio.transforms.MelSpectrogram(

sample_rate=sr,

n_fft=n_fft,

hop_length=hop_length,

n_mels=n_mels,

power=2.0

)

# Применяем

mel_spec = mel_transform(y)

# Переводим в логарифмическую шкалу (децибелы)

mel_spec_db = torchaudio.transforms.AmplitudeToDB()(mel_spec)

return mel_spec_db

# Загрузим пример и построим спектрограмму

import soundfile as sf

import matplotlib.pyplot as plt

# Создадим тестовый сигнал: речь + музыка

sr = 22050

duration = 2.0

t = np.linspace(0, duration, int(sr * duration), endpoint=False)

# Первая секунда — тон 440 Гц с обертонами (как музыка)

y_music = (np.sin(2 * np.pi * 440 * t[:int(sr)]) +

0.6 * np.sin(2 * np.pi * 880 * t[:int(sr)]) +

0.4 * np.sin(2 * np.pi * 1320 * t[:int(sr)]))

# Вторая секунда — шум (как шипение)

y_noise = np.random.randn(int(sr)) * 0.3

# Объединяем

y_test = np.concatenate([y_music, y_noise])

# Вычисляем мел-спектрограмму

mel_spec = audio_to_mel_spectrogram(y_test, sr)

print(f"Форма спектрограммы: {mel_spec.shape}")

print(f" Измерений: частота x время = {mel_spec.shape[1]} x {mel_spec.shape[2]}")

# Визуализируем

plt.figure(figsize=(12, 5))

plt.imshow(mel_spec[0].numpy(), aspect='auto', origin='lower',

extent=[0, duration, 0, sr/2], cmap='inferno')

plt.colorbar(label='Амплитуда (дБ)')

plt.xlabel('Время (сек)')

plt.ylabel('Частота (Гц)')

plt.title('Мел-спектрограмма')

plt.tight_layout()

plt.savefig('mel_spectrogram_demo.png', dpi=150)

print("Спектрограмма сохранена как mel_spectrogram_demo.png")

Обратите внимание на форму полученного тензора: [1, n_mels, time_frames]. Первое измерение — каналы (моно — один канал). Второе — частотные полосы. Третье — временные окна. Это трёхмерный тензор, очень похожий на изображение: каналы (как RGB в картинке), высота (частоты), ширина (время). Свёрточные сети, придуманные для анализа картинок, принимают на вход именно такой формат.