Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
GUAYANA MODERNA
https://revistasenlinea.saber.ucab.edu.ve/index.php/guayanamoderna/index
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
Fecha de recepción: 25-10-2023
Fecha de aceptación: 10-11-2023
pp.: 39-61
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza de Instrumentos
de Cuerda Frotada para Niños con Discapacidad Auditiva
Deafsic: Desktop Application for Teaching Bowed String Instruments to
Hearing Impaired Children
Gutiérrez Jáuregui, Tania Doniangelis
Universidad Católica Andrés Bello / Ciudad Guayana, Venezuela
tanialita2308@gmail.com
ORCID 0009-0009-9787-4639
Saavedra Rondón, Luis Fernando
Universidad Católica Andrés Bello / Ciudad Guayana, Venezuela
luifersr@gmail.com
Fonseca Droy, José Francisco
Universidad Católica Andrés Bello / Ciudad Guayana, Venezuela
jfonceca@ucab.edu.ve
ORCID 0000-0003-2732-1528
Resumen
La sordera en niños a una temprana edad genera limitaciones de aprendizaje. La música se aprecia
a través de vibraciones en el aire que son captadas por el oído; este no es el único proceso para
interpretar estas vibraciones. Se han desarrollado trabajos que relacionan enseñanza/aprendizaje
musical con la discapacidad auditiva, pero este tema no se ha desarrollado por completo. Deafsic
es un prototipo que ayuda a niños con discapacidad auditiva a tocar instrumentos de cuerda frotada
en una etapa inicial, capta las notas ejecutadas en el violín, las traduce a un lenguaje vibratorio y
visual, compara la ejecución con la partitura y muestra los errores en tiempo real. Se usó la
metodología Kodaly, que cuenta con un sistema de señas para cada nota, y la sinestesia “sonido-
color”. Este trabajo se desarrolló en la UE Especial “Manuel Piar”, ubicado en la Parroquia Unare
Puerto Ordaz, como aporte al logro del ODS 10 de la ONU sobre “Reducir la desigualdad en los
países”, se usó tecnología arduino, algoritmo de la Transformada Rápida de Fourier, Ventana de
Hamming, se desarrolló un algoritmo para comparar los espectros de frecuencia de las notas, se
adaptaron las librerías OpenSheetMusicDisplay para la visualización de partituras y OSMD Audio Player
para la reproducción.
Palabras clave: Inclusión, violín, Fourier, procesamiento.
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
GUAYANA MODERNA
https://revistasenlinea.saber.ucab.edu.ve/index.php/guayanamoderna/index
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
Fecha de recepción: 25-10-2023
Fecha de aceptación: 10-11-2023
pp.:39-61
40
Abstract
Deafness in children at an early age generates learning limitations. Music is appreciated through
vibrations in the air that are captured by the ear; This is not the only process to interpret these
vibrations. Work has been developed that relates musical teaching/learning to hearing impairment,
but this topic has not been fully developed. Deafsic is a prototype that helps hearing-impaired
children play bowed string instruments at an early stage, captures the notes played on the violin,
translates them into vibratory and visual language, compares the performance with the score and
shows errors in real time. The Kodaly methodology was used, which has a sign system for each
note, and “sound-color” synesthesia. This work was developed in the “Manuel Piar” Special EU,
located in the Unare Puerto Ordaz Parish, as a contribution to the achievement of UN SDG 10 on
“Reducing inequality in countries”, Arduino technology, Transform algorithm, was used. Fast
Fourier, Hamming Window, an algorithm was developed to compare the frequency spectra of the
notes, the OpenSheetMusicDisplay libraries were adapted for viewing scores and OSMD Audio
Player for playback.
Key words: Inclusion, Violin, Fourier, Processing
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
41
Introducción
En la actualidad las personas con
discapacidad auditiva todavía mantienen
barreras al momento de realizar actividades
que usualmente son sencillas para aquellas
personas con una audición estable. La
interpretación de la música es ajena para la
mayoría de personas con estas
discapacidades. Como bien lo menciona
Hash (2003): “la educación musical es
posible, pero a causa de instructores reacios
con temor a que impacten negativamente a
las interpretaciones se les niega la
oportunidad de poder crecer en el área
musical”. (p. 2)
Es importante resaltar que la
educación musical en niños a temprana edad
ayuda a las conexiones neuromusculares,
como también cultivar la afectividad,
concentración, entre otros beneficios para el
desarrollo del cuerpo, a su vez ayuda a
desarrollar la percepción de sonidos a través
de otros medios con el fin de poder
desenvolverse mucho mejor a una edad más
avanzada.
Debido a lo expuesto anteriormente el
objetivo de esta investigación fue el
desarrollo de una aplicación de escritorio de
enseñanza con instrumentos de cuerda
frotada en niños con discapacidad auditiva
acompañado de un dispositivo vibratorio, que
ayude al niño a iniciarse en la interpretación
del violín.
Desarrollo
A continuación se definen los
aspectos básicos de soporte teórico de la
investigación:
Método Kodaly. su base principal es
el canto, utiliza la fononimia, usa signos
manuales para representar los sonidos de la
escala musical y su altura, los alumnos
verbalizan ritmos y los reproducen con
percusiones encillas como las palmadas, para
interiorizar el ritmo.
Código Boomwhacker, es un grupo de
reglas básicas en la mezcla de colores para
lograr el efecto deseado combinando colores
de luz y pigmentos. Para la obtención de estas
combinaciones primero se creó el círculo
cromático que es una rueda dividida
generalmente por 12 partes:
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
42
OpenSheetMusicDisplay, software de
código abierto creado por Phonicscore como
una solución a aquellos desarrolladores que
crean APIs y programas que requieren tanto
renderizar las partituras de las canciones
como su reproducción en sí.
Neutralino.js, un ligero y portable
marco de trabajo de desarrollo para
aplicaciones de escritorio multiplataforma
utilizando HTML, CSS y JavaScript,
utilizando la librería de navegador web
ofrecida por el sistema operativo e
implementando una conexión de
WebSockets.
Arduino Uno, es una placa de
microcontrolador basado en el ATmega328P
que permite ser programado mediante el
entorno de desarrollo integrado Arduino
Software (IDE).
Transformada Rápida de Fourier
(FFT), es un algoritmo que permite calcular
eficientemente la Transformada de Fourier
Discreta y su inversa, con la cual se obtiene
el Espectro de Frecuencias de la señal
analizar.
Ventana de Haming, es una función
matemática que es usada con frecuencia en el
análisis y procesamiento de señales para
evitar la discontinuidad existente al principio
y al final de los bloques a ser analizados,
ayuda a obtener el Ancho de Banda Efectivo
a partir del Espectro de Frecuencias.
Se desarrolló el hardware usando
Arduino Uno para recolectar sonidos
provenientes de un violín usando un
micrófono, procesarlos para obtener la
frecuencia más cercana a la nota sonada en
tiempo real y dar una retroalimentación
sensorial con un motor vibratorio colocado
en la cabeza del niño. El proyecto MIDImike,
Vonk (2022) ayudaron al entendimiento del
diseño a seguir para poder obtener las notas
deseadas provenientes de instrumentos; sin
embargo, MIDImike está centrado
principalmente en el procesamiento de otros
tipos de instrumentos, se aplica los
algoritmos de la Transformada Rápida de
Fourier, siglas en inglés FFT, y Ventana de
Hamming para determinar el espectro de
cada nota ejecutada. Se realiza un análisis del
espectro obtenido para la identificación única
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
43
de cada nota tocada, por lo que se desarrolló
un algoritmo que reduciría la cantidad de
valores almacenados en memoria mediante el
cálculo de las diferencias entre las amplitudes
de los armónicos que constituyen la nota. Al
ser obtenida la frecuencia aproximada de la
nota tocada en tiempo real, esta es mapeada
entre los rangos de 110 y 255 que equivalen
a la cantidad de pulsos que puede realizar el
motor vibratorio mediante el uso de
modulación de ancho de pulso, siglas en
inglés PWM, simultáneamente se envía el
valor de la nota a la aplicación de escritorio.
La sincronización entre el dispositivo y la
aplicación dependerá del modo que se esté
utilizando en el momento, a saber:
En el modo ejecución, la
sincronización depende del dispositivo
vibratorio, en este caso la computadora
espera por datos para poder procesarlos con
la nota actual en el pentagrama. El
dispositivo solo procesa las notas
interpretadas, envía la frecuencia a la
computadora y al motor vibratorio de
acuerdo a la nota.
En el modo práctica, la sincronización
depende de la aplicación que envía datos al
dispositivo para que pueda procesar la
frecuencia y permitir la correcta ejecución
tanto en intensidad como en tiempo en el
motor vibratorio.
La aplicación de escritorio cumple
con los siguientes requerimientos:
.Cargar/remover partituras de
cualquier índole, preferentemente violín, en
formato musicXML o XML.
.Visualizar partituras.
.Mostrar las notas y figuras musicales
de la partitura con los colores acordes al
sistema de colores propuesto.
.Tener dos modos de interpretación:
modo Práctica y modo Ejecución, donde el
modo Práctica permitirá al niño leer la
partitura en tiempo real con motivo de
estudio de la misma, así como el modo
Ejecución que evaluará la interpretación del
niño a través del dispositivo complementario.
.Colorear las notas correctas en verde,
las incorrectas en rojo en el modo Ejecución,
para indicar al niño su desempeño durante la
interpretación de la partitura.
.Reproducir, pausar y parar la
partitura.
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
44
.Permitir resetear a los colores
originales de la partitura después de finalizar
la interpretación de la partitura en modo
Ejecución.
Proceso de implementación de la
innovación
En el laboratorio se realizaron las
pruebas y ajustes al dispositivo y a la
aplicación de escritorio, se procedió a ir a la
Unidad de Análisis, en este caso se trató de la
Unidad Educativa Especial “Manuel Piar”
ubicada en la Parroquia Unare, en la Ciudad
de Puerto Ordaz Venezuela, que tiene una
población de 26 niños con edades
comprendidas entre los 7 y 12 años, la
población no tenía iniciación musical por lo
que se trabajó este aspecto durante ocho
semanas con toda la población aplicando las
metodologías escogidas y juegos didácticos,
pasado este periodo se seleccionaron tres
niños con los que se trabajó el aprendizaje de
las partes del violín, postura correcta del
violín y agarre del arco, para posteriormente
trabajar con el dispositivo y la aplicación de
escritorio, esta etapa duró otras seis semanas.
Objetivo Especifico 1: Determinar las
metodologías de enseñanza de violín
Para la selección de una metodología
de enseñanza adecuada para los niños con
discapacidad auditiva en la población, se
realizó una investigación preliminar de los
métodos, consejos y sugerencias más
populares para esta población, también
tomando en cuenta variables como la falta de
atención del niño, edad, entre otros factores,
que pueden hacer la enseñanza más
complicada, el Método Kodaly (Zuleta,2005)
se destacaba por contar con un sistema
simbólico, creado por John Curwen, para
representar las notas musicales a través de
señas, lo cual es ideal para niños con
discapacidad auditiva, ya que su lenguaje
principal de comunicación son las señas, se
combinó con el Código de Colores
Boomwhacker, ver figuras 1 y 2
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
45
Tabla 1.- Comparativa de los métodos de enseñanza musicales más populares
Nota: Adaptado de “327613216 Cuadro por Williams Alvites, 2021.
Figura 1. Símbolos del Método Kodaly
Fuente: El método Kodaly y su fononimia, Coro de niños
de la Fundación Caja Duero, tomado de:
https://corofundacioncajaduero.wordpress.com/2012/03/12/
el-metodo-kodaly-y-su-fononimia
Figura 2. Código de Colores Boomwhacker
Fuente: Cartas de las Notas Musicales “Pequeño Mozart”,
tomado de:
https://www.pequenomozart.com/producto/cartas-de-las-
notas-musicales/
Objetivo
Materiales y recursos
Ward
Iniciar en el conocimiento de la
música y el canto
Voz, ritmo, improvisación
Dalcroze
Desarrollo del sentido del ritmo
Ritmo, instrumentos de
percusión, motricidad
Kodaly
Adquisición de capacidad de lectura
y práctica coral
Fononimia (asociación de in
gesto a un sonido),
improvisación
Martenot
Desarrollar el canto y respiración
Fórmulas rítmicas, movimiento,
ejercicios de canto
Willems
Desarrollar el instinto rítmico y
educación del oído
Improvisación, memoria, juegos
de escucha
Orff
Desarrollar ritmo
Instrumentos de percusión,
ritmo, canto
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
46
Descripción de la innovación
Para el primer encuentro, se realizó
una prueba de audición a distancia con el
violín, para verificar el nivel de audición de
cada niño presente. Debido a que ningún
sujeto de la población posee sordera profunda
según lo indicado por el personal docente del
plantel, todos pudieron escuchar el
instrumento a diferentes niveles de volumen,
destacando que diferenciaban más las notas
graves que las agudas.
Figura 3. Prueba de audición a distancia con la
población de la U. E. Especial “Manuel Piar”.
Objetivo Específico 2: Instruir a la
población seleccionada en teoría musical y
violín.
Se impartieron clases de lenguaje musical a
toda la población asistente por seis semanas
consecutivas. Estas se realizaron dos veces a
la semana, los días lunes y miércoles, en el
horario de 9:00am a 10:00am. Se implementó
la enseñanza a través de juegos didácticos,
figuras 4 y 5
Figura 4. Juego del piano para aprender las
notas musicales.
Figura 5. Aprendizaje de figuras musicales y
ritmo.
Con los tres niños seleccionados se les
instruyó Aprendizaje de las partes del violín,
postura correcta del violín y agarre del arco,
Figura 6.
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
47
Figura 6. Trabajo con los niños ya con el
instrumento.
Figura 7. Diagrama del circuito principal del
dispositivo.
Objetivo Específico 3: Diseñar un
dispositivo que permita percibir las notas
transmitidas por el instrumento y
transformarlo en señales vibratorias.
En la Figura 7 se muestra el diagrama
base del circuito para el dispositivo. Los
resultados de los estudios arrojan que la
Transformada Rápida de Fourier es ideal para
el procesamiento digital de audio, dado que
ayuda a transformar la onda existente en el
dominio del tiempo a un espectro que
pertenezca al dominio de frecuencias,
permitiendo analizar y procesar distintos
tipos de ondas no sinodales.
Sin embargo, se debe mencionar que
la Transformada Rápida de Fourier tiene sus
limitaciones con respecto al rango de
frecuencias que se puede obtener, estando
sujeto por el número de muestras a ser usadas
dependiente de la cantidad de memoria
disponible para almacenarlos, donde en el
caso del Arduino Uno, se presenta muy poca
memoria de almacenamiento dejando así un
total de 128 muestras a ser utilizadas, sin
embargo para el alcance propuesto en esta
investigación, que es la iniciación en los
niños, fue más que suficiente el uso de estas
muestras ya que las notas a ser registradas en
el dispositivo no sobrepasan las frecuencias
máximas al momento de ser calculados.
En la tabla 2 se muestran las
frecuencias con el pico más alto en amplitud,
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
48
por lo que arrojaban resultados no deseados
en la aplicación. Una vez identificado el
problema, se plantearon soluciones
relacionadas al problema con el fin de
encontrar la frecuencia fundamental de los
armónicos tocados en cada nota.
Tabla 2.- Comparación entre frecuencias de
notas tocadas.
Se utilizó el algoritmo para la detección de
los armónicos con picos más dominantes
resultante del proceso de la Transformada
Rápida de Fourier. Actualmente se detectan
los cinco armónicos más dominantes, que
posteriormente se analizan y permitan crear
un algoritmo que pueda identificar las notas
deseadas en tiempo real. Para cada nota se
registraron los valores mostrados en la
terminal de Arduino IDE:
Nota: Las frecuencias obtenidas con la librería de
arduinoFFT son aproximadas, algunas notas pueden tener
diferentes picos máximos.
Figura 8. Espectro de la nota A4 tocada a
tiempo real.
La gráfica presentada en la Figura 8 refleja
las magnitudes pertenecientes a cada
armónico entre el rango de 192 Hz a 2048 Hz,
este rango se toma de la fórmula mostrada a
continuación:
Nota tocada en Violín /
Frecuencia esperada
Frecuencias obtenidas
con arduinoFFT
C4 / 261.626
~532 y ~266
D4 / 293.665
~877
E4 / 329.628
~994
F4 / 349.228
~1040
G4 / 391.995
~780, ~1960 y ~1570
A4 / 440
~870 y ~1480
B4 / 493.883
~990 y ~490
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
49
• fp2 = Frecuencia del segundo armónico con pico más alto
• m1 = Magnitud del pico más alto
• m2 = Magnitud del segundo pico más alto
Así, conseguir la cantidad de frecuencia
necesaria para acercarse o alejarse de la
frecuencia intermedia, dejando la siguiente
fórmula:
𝑓𝑟𝑒𝑐𝑢𝑒𝑛𝑐𝑖𝑎𝑠 = 𝑖 ∗ 4096
128
Una vez obtenido el algoritmo adecuado para
esta primera versión del dispositivo se
realizaron pruebas con cada una de las notas
anteriormente mostradas dando así resultados
aceptables dentro del rango de frecuencias
esperadas por la aplicación. Para las notas C,
F y G entre la 3ra y la 5ta octava se calibraron
nuevamente de manera que pudieran dar
mejores lecturas al momento de ser tocadas
por el violín. Este tipo de ajustes es causado
por la afinación y configuración del violín al
momento de tocarse, cambiando de esta
manera tanto drástica como ligeramente los
armónicos capturados en el dispositivo.
Figura 9.- Etapas de procesamiento en el dispositivo.
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
50
Al ser obtenida la frecuencia
aproximada de la nota tocada en tiempo real,
esta es mapeada entre los rangos de 110 y 255
que equivalen a la cantidad de pulsos que
puede realizar el motor vibratorio mediante el
uso de modulación de ancho de pulso.
Objetivo Especifico 4: Desarrollar
una aplicación de escritorio que permita
llevar un seguimiento de su interpretación
musical, pruebas de campo.
Luego de realizar las respectivas
comparaciones, se puede recalcar que la alta
complejidad de Musescore, el
desconocimiento del lenguaje de
programación por parte de los investigadores
y el tiempo limitado de desarrollo dejan por
fuera la posibilidad de utilizarlo como base
para la implementación. De igual manera, a
pesar de que ABCWeb sea open-source, está
implementado para utilizar un archivo
HTML principal con un patrón específico,
por lo que dificulta su integración con el
diseño de pantallas de la aplicación; así como
también el resaltado de las notas en tiempo
real no es adecuado, ya que resalta todo el
compás actual en vez de la nota actual.
Tomando en consideración lo anterior, tanto
Musescore como ABCWeb no cumplen para
ser candidatos adecuados para la
implementación del sistema, por lo que
OpenSheetMusicDisplay fue seleccionado
como tecnología de visualización de
partituras para la aplicación, de ahora en
adelante, mencionado con sus siglas OSMD.
Tabla 3. Comparativa entre tecnologías de
visualización de partituras.
Musescore
OpenSheetMusicDisplay
ABCWeb
¿Tiene playblack o player?
Si
Si (no oficial)
Si
¿Es Open-Source?
Si
Si
Si
Lenguaje de programación
C++ QT
Javascript/Typescript
Javascript
Complejidad de uso
Alta
Media-Baja
Media-Baja
¿Utiliza archivos
musicXML o XML?
Si
Si
Si
¿Es activamente
mantenido?
Si
Si
No
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
51
Con respecto a la tecnología de desarrollo
para aplicaciones de escritorio, se realizó una
comparación entre tecnologías que soporten
multiplataforma que a su vez generen una
aplicación ligera y que utilice como lenguaje
de programación Javascript, ver tabla 4.
Tabla 4. Comparativa de recursos utilizados por el exportable generado por cada marco de trabajo.
Electrón
NW.js
NodeGui
Neutralino
Tamaño de
Ejecutable
Windows
(x64)
≈226MB
≈330MB
≈171MB
≈2MB
MacOS
(x64)
≈358MB
≈554MB
?
≈1MB
Linux (x64)
≈231MB
?
≈67MB
≈1MB
Uso de
Memoria
Windows
(x64)
≈66MB
(Debug) =>
≈83MB
(Release)
≈73MB
(Debug) =>
≈49MB
(Release)
≈128MB
(Debug)
≈64MB
(Debug)
MacOS
(x64)
≈63MB
(Debug) =>
≈62MB
(Release)
≈102MB
(Debug) =>
≈80MB
(Release)
≈107MB
(Debug)
≈80MB
(Debug) =>
≈28MB
(Release)
Linux (x64)
≈152MB
(Debug) =>
≈150MB
(Release)
≈90MB
(Debug)
≈145MB
(Debug)
≈198MB
(Debug) =>
≈213MB
(Release)
Nota: Datos recuperados de https://github.com/Elanis/web-to-desktop-framework-comparison
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
52
Apreciando los datos anteriores, se destaca la
ligereza y poca memoria utilizada por parte
de Neutralino, además de su soporte para los
principales sistemas operativos, por lo que se
seleccionó como marco de trabajo para el
desarrollo de la aplicación; se seleccionó
React.js como marco de trabajo front-end
debido a la experticia de los investigadores.
Se realizaron modificaciones en la librería
OSMD Audio Player para agregarle el nivel
de comunicación con el dispositivo vibratorio
y control de los modos de interpretación,
Figuras 10 y 11:
Figura 10. Prueba de colores en la partitura con OSMD.
Se hicieron modificaciones en la librería
OSMD Audio Player para agregarle el nivel
de comunicación con el dispositivo vibratorio
y control de los modos de interpretación,
Figura 12.
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
53
Figura 11. Resultados de prueba de primera iteración.
Después de obtener los resultados
deseados alcanzando el cumplimento del
Requerimiento, se procedió a agregar el
soporte completo para los dos modos de
interpretación.
Primero, se implementó el sistema de
comunicaciones con el dispositivo
complementario; para ello, se utilizó la
librería serialPort.js para la comunicación
computadora-dispositivo y el módulo de
extensiones de Neutralino.js para la
comunicación aplicación-dispositivo como
se ve en la Figura 12.
Finalmente, se realizaron pruebas
para el modo Ejecución. Para esta prueba se
les colocó a los niños la partitura de Los
pollitos dicen, anteriormente estudiada en las
clases de violín pertinentes, donde el objetivo
de la misma fue verificar la precisión de la
interpretación de los niños. Previamente, el
investigador experto realizó una prueba en el
mismo ambiente para tomarla como
referencia para evaluar el desempeño de los
niños. Como los niños tuvieron una
iniciación muy básica en el violín, su
precisión en el sonido de las notas es precaria,
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
54
por lo que afecta la lectura del dispositivo en
gran medida, además que se contaba con
ruido de fondo para también corroborar el
nivel de sensibilidad del micrófono del
dispositivo.
Figura 12. Comunicación aplicación-dispositivo.
Figura 13. Prueba aplicación-dispositivo en modo práctica.
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
55
Figura 14. Prueba de referencia con el investigador experto en violín, en condiciones similares al entorno
de prueba.
Figura 15. Prueba 1, niña sin implante interpretando “Los pollitos dicen” y resultado.
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
56
Figura 16. Prueba 2, niño con implante interpretando “Los pollitos dicen”.
Discusión y conclusiones
De acuerdo a los objetivos específicos
planteados, se pueden destacar los siguientes
resultados:
Gracias a la revisión documental
llevada a cabo, se identificó y comparó las
metodologías de enseñanza de teoría musical
más populares, de las cuales el Método
Kodaly fue el más adecuado para los niños
gracias a que cuenta con un sistema de señas
para las notas musicales, ayudando a niños
con esta discapacidad a memorizar y asimilar
en menos tiempo las notas musicales.
Después de realizar investigaciones sobre los
métodos de enseñanza de violín actuales,
como el método Suzuki, se llegó a la
conclusión de que ningún método
preseleccionado contaba con alguna ventaja
comparativa para los niños con discapacidad
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
57
auditiva, ya que la mayoría se centra en la
repetición constante y entendimiento de la
interpretación musical, por lo que la
responsabilidad recae en el profesor
encargado del niño, el cual se debe basar en
su experiencia para enseñar la ejecución del
violín según las características y necesidades
de cada niño.
Se enseñó teoría musical a la
población participante, observando un latente
potencial en tres niños que fueron capaces de
entender y asimilar las notas, sus colores, y la
relación de estas con el violín, al punto de
aprender de manera muy precaria la canción
“Los pollitos dicen”.
Para el desarrollo de la aplicación
propuesta se hizo una revisión documental de
las librerías de visualización y reproducción
de partituras open-source, con la finalidad de
escoger una aplicación ligera, rápida, sencilla,
multiplataforma y que no consumiera
demasiados recursos del computador; entre
los que se evaluaron se pueden mencionar
MuseScore, realizado en C++ con el
Framework QT 5; ABCWeb creado en
Javascript y OpenSheetMusicDisplay creado
igualmente en Javascript, este último fue
elegido para la visualización de partituras y
OSMD Audio Player para la reproducción.
Se modificó en parte la librería 64 OSMD
Audio Player para ser adaptada al diseño
propuesto por la comunicación aplicación
dispositivo, así como también expandirlas
para agregar las funcionalidades
comunicación con el dispositivo vibratorio,
la coloración de las notas en tiempo real
según el modo de interpretación
seleccionados y el soporte de audio sin
necesidad de conexión a internet.
En las pruebas de comunicación,
donde se verificó el tiempo de respuesta entre
el dispositivo y la aplicación, la latencia entre
los mensajes y la facilidad de instalación del
dispositivo en un computador, determinaron
que la aplicación y el dispositivo se
comunican de manera rápida y eficiente para
el correcto estudio o interpretación del
alumno; adicionalmente se cumplió con los
requisitos funcionales identificados entre los
que se menciona la carga de partituras;
coloración de las notas acorde al sistema de
colores seleccionado y en tiempo real; la
capacidad de reproducir, pausar y parar la
partitura actual, comunicarse con el
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
58
dispositivo, creando una interfaz sencilla y a
su vez una aplicación ligera capaz de
ejecutarse en los principales sistemas
operativos como Windows, Linux y MacOS
para cubrir la mayor cantidad de dispositivos
posibles.
Para el desarrollo del dispositivo, se
hizo una investigación sobre los distintos
métodos y funciones de captura y
procesamiento de muestras, análisis de datos
y manipulación de resultados en el audio.
Algunas funciones se usaron directamente en
la lógica del dispositivo, como la FFT,
Ventana de Hamming y la Convolución,
pero otros se modificaron tomando la idea
principal y en base a ello se crearon otros
métodos personalizados que cumplieran con
las tareas descritas anteriormente en el
desarrollo de este proyecto, agregando
también una característica adicional que es la
implementación de un nuevo modo que es
activado cuando un botón es presionado
permitiendo al dispositivo trabajar de forma
independiente a la aplicación en el caso de no
tener disponible la misma.
Los resultados obtenidos en las
pruebas unitarias, funcionales y de campo
realizadas con el dispositivo, tanto de forma
independiente como en conjunto con la
aplicación, determinaron que es capaz de
procesar las notas tocadas por los niños,
permitiendo discriminar hasta 65 frecuencias
que son transmitidas tanto al motor, que da
ayuda a la percepción del sonido mediante
vibraciones notables cerca de la zona del
cráneo para mejor recepción de las
vibraciones, como a la aplicación en tiempo
real. Estas señales vibratorias se modificaron
durante las pruebas para no generar
inconvenientes de aturdimiento o algún tipo
de malestar en el niño, permitiendo así
mejorar la calibración y sensación de las
vibraciones. El dispositivo a su vez está
adaptado para ser utilizado con la
alimentación independiente a través de una
batería en caso de no tener la disponibilidad
de usar la aplicación.
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
59
Referencias Bibliográficas:
Acevedo, M. (2002). La Percepción Sinestesia: Vínculos entre lo auditivo y lo visual. Segunda
reunión anual de SACCOM. Quilmes, Argentina. Acosta, S. (2006).
Arduino. (2022). What is Arduino? Obtenido de Arduino:
https://www.arduino.cc/en/Guide/Introduction Arias, F. G. (2012).
Arduino Music: Notes and Chord Detector. Obtenido de HACKADAY.IO:
https://hackaday.io/project/173805-arduino-music-notes-and-chord-detector
Correa Narváez, R. A., & Santamaría, A. O. (2017). CASETO: sistema interactivo basado en
sinestesia para la enseñanza/aprendizaje de la música para niños con discapacidad
auditiva entre 7 a 11 años. (Trabajo de Grado pregrado), Universidad de San
Buenaventura, Santiago de Cali, Colombia.
Darrow, A.-A., & Gfeller, K. (1991). A study of public school music programs mainstreaming.
Journal of Music Therapy, 28, 28, 23-39. 68
Equipo editorial, Etecé. (13 de Junio de 2022). Teoría del color. Argentina. Obtenido de
concepto: https://concepto.de/teoria-del-color/
FIAPAS. (2013). Manual Básico de Formación Especializada sobre Discapacidad Auditiva.
Madrid: FIAPAS.
Gago, I. B., & Borrego, M. C. (18 de Mayo de 2018). ¿Qué es la Sordera? Barcelona, España:
Clínic Barcelona. Obtenido de
https://www.clinicbarcelona.org/asistencia/enfermedades/sordera Guerra Sigcho, C. K.,
& Vallejo Vallejo, F. X. (2016).
Hash, P. (2003). Teaching Instrumental Music to Deaf and Hard of Hearing Students. Research
& Issues in Music Education, 1.
Hoppenot, D. (2000). El violín interior. Madrid, España: Real Musical. Hormigos, J., & Cabello,
A. (2004). La construcción de la identidad juvenil a través de la música. RES(4), 259-
270.
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
60
Jauset, J. (2008). Música y neurociencia: La musicoterapia. Sus fundamentos, efectos y
aplicaciones terapéuticas. Barcelona: UOC.
Martenot, M. (1979). Método Martenot: solfeo, formación y desarrollo musical. Buenos Aires,
Argentina: Ricordi Americana.
Martín Hoyos, C. (2015). Relación entre la teoría de las inteligencias múltiples de Howard
Gardner y la música a través de la iniciación musical
Material Didáctico Para Aprendizaje De Notas Musicales Básicas Para Estudiantes Del 10mo
Año Del Instituto De Sordos De Chimborazo. (Trabajo de Grado pregrado), Escuela
Superior Politécnica de Chimborazo, Riobamba, Ecuador.
Música para sordos. https://www.europeanacustica.com/aislamiento-acustico/el-
sonidocaracteristicas Anónimo.
Neutralinojs. (2022). Obtenido de https://neutralino.js.org/ OpenSheetMusicDisplay.org. (2022).
Open Sheet Music Display. Obtenido de https://opensheetmusicdisplay.org Organización
Mundial de la Salud. (2 de Marzo de 2021).
OSMD Audio Player. Obtenido de GitHub: https://github.com/jimutt/osmd-audio-player
Pérez, J. N. (2016). Estimulación Musical en el niño con Discapacidad Auditiva. (Trabajo de
Grado pregrado), Universidad Zaragoza, Zaragoza, España.
React: Una biblioteca de JavaScript para construir interfaces de usuario. Obtenido de
https://es.reactjs.org/ Montoya Rubio, J. C. (2014).
Sánchez Sánchez, L. (2021). El Aprendizaje del Violín en Alumnado con Discapacidad Auditiva.
Música Hodie, 21.
Villavencio. Solectro. (26 de Agosto de 2020). ¿Qué es PWM y cómo usarlo? Obtenido de
Solectro: https://solectroshop.com/es/blog/que-es-pwm-y-como-usarlo--n38
Vonk, J. (2022). MIDI MIKE. Obtenido de Coert Vonk:
http://coertvonk.com/category/sw/arduino/pitch-detector
Zuleta, A. (2005). El método Kodály y su adaptación en Colombia. Cuadernos de Música, Artes
Visuales y Artes, 1, 66-95
Digital: ISSN 2790 5039 – Depósito legal digital: DC2021001122
Impreso: ISSN 23435658 – Depósito legal impreso: PP201202DC4092
Deafsic: Aplicación de Escritorio para Enseñanza ... Gutiérrez, Saavedra y Fonseca, pp.:39-61
Guayana Moderna, N° 12
Diciembre, 2023
Venezuela
61
Reconocimientos:
Nuestro reconocimiento y agradecimiento a la directora y a las maestras de la U.E. Especial
“Manuel Piar” por su apoyo en la ejecución de la presente investigación.