Audición Robótica

Objetivo

Palabra clave:

Temario

Este curso expondrá al alumno a temas de Audición Robótica, donde se cubrirán desde los conceptos teóricos hasta los aspectos de implementación. La intención es que el alumno, al terminar este curso, le sea posible crear, de una manera eficiente, software que analice, procese, y regrese resultados de señales de audio en línea. Aunque se espera que el alumno tenga bases previas de Señales y Sistemas, así como de programación, el curso se llevará a cabo de tal manera que dichas bases serán refinadas y repasadas.

Material Didáctico

Introducción

Material de Presentación

  • Sesión 01: Introducción - PDF

Material Extra

  • Orientación de Golem por audio - MP4
  • Golem como Mesero Ciego - M4V
  • Proyecto Hark - MP4
  • Experimento Escucha Humana - MP3

Lenguaje C y Bash

Material de Presentación

  • Sesión 02.1: Repaso General de C - PDF
  • Sesión 02.2: Repaso General de Bash - PDF

Código Ejemplo

JACK Audio Connnection Toolkit

Material de Presentación

  • Sesión 03: Instalación, Configuración y Creación de Agentes de JACK - PDF

Material para Clase

Material Extra

  • Sitio Oficial - URL
  • Ejemplo Simple Original - URL
  • QJackCTL - URL
  • Más Recursos - URL

Captura de Audio

Material de Presentación

  • Sesión 04.1: Desfase con JACK y Baudline - PDF
  • Sesión 04.2: Lectura de Archivos de Audio con JACK, libsndfile y libsamplerate - PDF
  • Sesión 04.3: Transformada de Fourier y la libreria FFT de LIBROW - PDF
  • Sesión 04.4: Ejercicios Epílogos de Fourier - PDF

Material para Clase

Material Extra

  • Referencia Oficial: Baudline - URL
  • Referencia Oficial: libsndfile - URL
  • Referencia Oficial: libsamplerate - URL
  • Referencia Oficial: FFT de Librow - URL
  • Articulo Wikipedia del Método Overlap-Add - URL

Procesamiento de Varias Señales Concurrentes

Material de Presentación

  • Sesión 05: Corpus AIRA - PDF

Material para Clase

Cálculo de Dirección de Arribo

Material de Presentación

  • Sesión 06.1: Estimación de una Dirección de Arribo - PDF
  • Sesión 06.2: Estimación de Múltiples Direcciones de Arribo - PDF
  • Sesión 06.3: Repaso Práctico de Material

Material para Clase

Material de Referencia

  • Artículo descriptivo de MUSIC: PDF
    Schmidt, R.O, "Multiple Emitter Location and Signal Parameter Estimation," IEEE Trans. Antennas Propagation, Vol. AP-34 (March 1986), pp.276-280.

Separación de Fuentes en Línea

Material de Presentación

  • Sesión 07.1: Bases de Separación de Fuentes en Línea - PDF
  • Sesión 07.2: Separación de Fuentes por Beamforming - PDF
  • Sesión 07.3: Separación de Fuentes por Análisis Estadístico - PDF
  • Sesión 07.4: Repaso Práctico de Material

Material para Clase

  • Funciones usadas en las demás implementaciones:
  • Implementaciones en Octave de Beamforming:
    • Delay-and-Sum Classic Beamforming - das.m
    • Minimum Variance Distortionless Response - mvdr.m
    • Linearly Constrained Minimum Variance - lcmv.m
    • Generalized Sidelobe Canceller - gsc.m
    • Generalized Sidelobe Canceller with Dynamic Mu- gsc_dyn.m
  • Implementaciones en Octave de Análisis Estadístico en Tiempo:
    • Principal Component Analysis - pca.m
    • Independent Component Analysis - ica.m
    • Non-negative Matrix Factorization - nnmf.m
    • Geometric Source Separation - ??? (100 garantizado; ver artículo en Material de Referencia)
  • Implementaciones en Octave de Análisis Estadístico en Frecuencia:
    • Principal Component Analysis - pca_fft.m
    • Independent Component Analysis - ica_fft.m
    • Non-negative Matrix Factorization - nnmf_fft.m, nnmf_fft_mag.m
      • Ver artículo de Complex NNMF en Material de Referencia
    • Geometric Source Separation - ??? (100 garantizado; ver artículo en Material de Referencia)
    • Impacto de desfase en el dominio de la frecuencia - test_delay_in_fft.m

Material de Referencia

  • Artículo descriptivo de Geometric Source Separation: PDF
    Valin, J.M.; Yamamoto, S.; Rouat, Jean; Michaud, F.; Nakadai, K.; Okuno, H.G., "Robust Recognition of Simultaneous Speech by a Mobile Robot," IEEE Transactions on Robotics, vol.23, no.4, pp.742,752, Aug. 2007.
  • Artículo descriptivo de Complex NNMF: PDF
    Kameoka, H.; Ono, N.; Kashino, K.; Sagayama, S., "Complex NMF: A new sparse representation for acoustic signals," 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, Taipei, 2009, pp. 3437-3440.

Final

Material de Presentación

  • Sesión 08: Final - PDF

Proyectos

Mínimo: estimar la dirección de arribo de una señal de origen, y separarla del resto, probándolo con AIRA.