Según el equipo, es la primera vez que los científicos reconstruyen una canción a partir de las grabaciones de la actividad cerebral.
Investigadores lograron emplear inteligencia artificial (IA) para recrear una versión reconocible de la icónica canción “Another Brick in the Wall” de Pink Floyd, a partir del análisis de las ondas cerebrales de pacientes sometidos a cirugías de epilepsia mientras escuchaban la canción original de 1979.
Esta innovadora hazaña marca la primera vez en la que se ha decodificado una melodía reconocible a partir de registros de actividad eléctrica cerebral. Además, estos resultados prometen arrojar luz sobre la manera en que percibimos el sonido y pueden tener implicaciones valiosas para la mejora de dispositivos destinados a personas con trastornos neurológicos que afectan el habla, como el ictus o la esclerosis lateral amiotrófica (ELA), la misma enfermedad que afectó al ilustre científico Stephen Hawking.
2.668 electrodos para registrar la actividad cerebral
Para alcanzar este hito científico, Robert Knight y su equipo en la Universidad de California en Berkeley estudiaron las grabaciones de electrodos implantados en el cerebro de 29 personas como parte de tratamientos para la epilepsia. Con un total de 2.668 electrodos para registrar la actividad cerebral, se identificaron 347 de ellos como relevantes para la música en cuestión.
La meta de los investigadores era establecer conexiones entre los patrones cerebrales y los elementos musicales clave como tono, armonía y ritmo. Para ello, utilizaron técnicas de aprendizaje automático para analizar los datos y descubrir las correlaciones entre la actividad cerebral y los componentes musicales, excluyendo de los datos de entrenamiento un segmento de 15 segundos de la canción.
"A brick in the wall": reconstruction of a @PinkFloyd song from recorded neural activity, revealing involvement of the #SuperiorTemporalGyrus in information processing during #MusicPerception. Implications for #BrainComputerInterface #PLOSBiology https://t.co/IVBqPFeP4b pic.twitter.com/d8TbadrMBI
— PLOS Biology (@PLOSBiology) August 15, 2023
Al comparar las señales cerebrales con la canción original, según el comunciado de prensa, los investigadores identificaron un subconjunto de electrodos particularmente vinculado al tono, la melodía, la armonía y el ritmo. Específicamente, encontraron una región en el complejo auditivo del cerebro conocida como la circunvolución temporal superior (STG en inglés), que parece representar el ritmo, en este caso, el ritmo de la guitarra.
IA reproduce un fragmento no visto de la canción
Finalmente, la IA, una vez entrenada, pudo reproducir un fragmento no visto de la canción basándose en las señales cerebrales de los participantes. Según New Scientist, el espectrograma –una visualización de las ondas de audio– del clip generado por la IA era un 43 % similar al clip de la canción real.
“Suena un poco como si estuvieran hablando bajo el agua, pero es la primera vez que lo hacemos”, afirmó, Knight, según The Guardian.
Aunque la melodía en cuestión se sometió a un sencillo procesamiento inicial para poder compararlo y fuera más compatible con las técnicas de procesamiento de audio del cerebro generado por la IA –que sufre cierta degradación al convertirse de espectrograma a audio–, el proceso inverso impresiona por su fidelidad.
Según el equipo, los hallazgos, publicados en la revista PLOS Biology, demuestran entonces que las señales cerebrales pueden traducirse en los elementos musicales del habla, como ritmo y entonación, que aportan significado que las palabras por sí solas no pueden expresar.
“Hemos reconstruido la canción clásica de Pink Floyd Another Brick in the Wall a partir de grabaciones corticales humanas directas, lo que nos permite comprender mejor las bases neuronales de la percepción musical y las futuras aplicaciones de descodificación cerebral”, afirma el neurocientífico Ludovic Bellier, de la Universidad de California en Berkeley.
Aunque ya existen tecnologías para decodificar palabras en personas que no pueden hablar, los investigadores señalan que las frases generadas hasta ahora suenan de manera robótica. Este avance podría allanar el camino hacia dispositivos protésicos más avanzados, que mejoren la percepción del ritmo y la melodía en el habla.
DW.
