Luis Rodríguez V. *
Pablo Rosas Chávez**
Carlos Suárez Naranjo ***
Universidad Nacional de Chimborazo, Ecuador
prosas@unach.edu.ec
Resumen
El presente artículo muestra un análisis comparativo de los sitios web de las universidades públicas de la ciudad de Riobamba en temas de usabilidad, además exhibe métodos y herramientas de evaluación utilizados en cada fase del desarrollo de la investigación. La finalidad del estudio es explicar las diferencias, semejanzas y conflictos que cada sitio web pueda tener en función de sus usuarios. Para la aplicación del estudio se determinó que los métodos más adecuados para extraer la información son las evaluaciones heurísticas, los test con usuarios y los cuestionarios, los mismos que nos permitirán extraer información cuantitativa y cualitativa que ayudará a confirmar los aciertos y errores en cada uno de los sistemas. Este análisis tiene como meta concientizar sobre el uso de métodos y herramientas en el proceso de diseño desde etapas tempranas de desarrollo con la finalidad de reducir el ciclo de creación de los productos, de esta manera reducir el presupuesto y otorgarle al usuario herramientas fáciles de comprender y utilizar.
Palabras Clave: Usabiliad, Accesibilidad, Sitio Web, Evaluación.
Abstract
The present research shows a comparative analysis of the web sites of the public universities in the city of Riobamba on issues of usability. It also exhibits the methods and tools of assessment used in each phase of the development of the research. The purpose of the study is to explain the differences, similarities, and conflicts each website may have according to their users. Since there are no specific rules in the application of usability on the web, it has been avoided to establish rigorous and definite norms on the topic. For the implementation of the study, it was determined that the most appropriate methods to extract the information are the heuristic evaluations, the tests with users, and the questionnaires, the same ones that will allow to extract quantitative and qualitative information that will help to confirm the successes and failures in each one of the systems. This analysis aims to raise awareness about the use of methods and tools in the design process from early development stages in order to reduce the cycle of creation of the products, this way to reduce the budget and to grant the user tools that are easy to understand and use.
Keywords: Usability, Accessibility, Website, Evaluation.
Para citar este artículo puede utilizar el siguiente formato:
Luis Rodríguez V., Pablo Rosas Chávez y Carlos Suárez Naranjo (2019): “Análisis comparativo de usabilidad en los sitios web de las universidades públicas de la ciudad de Riobamba – Ecuador”, Revista Atlante: Cuadernos de Educación y Desarrollo (febrero 2019). En línea:
https://www.eumed.net/rev/atlante/2019/02/sitios-web-universidades.html
//hdl.handle.net/20.500.11763/atlante1902sitios-web-universidades
El crecimiento del Internet y el desarrollo de nuevas tecnologías aumentan la complejidad de los sitios web y sus aplicaciones, para lo cual es necesario cuestionarse si los usuarios serán capaces de desarrollar tareas básicas la primera vez que utilizan el sistema o si pueden llegar a realizar tareas de mayor complejidad sin equivocarse.
Para esto el diseño centrado en el usuario, se encarga de resolver estos cuestionamientos, la ISO define al DCU1 como la capacidad que tiene un producto de ser utilizado por usuarios específicos para alcanzar objetivos concretos de la manera más efectiva, eficiente y satisfactoria en un contexto determinado de uso, para lo cual se requiere analizar y prever como los usuarios van hacer uso del producto mediante pruebas con expertos y test en entornos reales con usuarios, por lo tanto el DCU [1] se convierte en un proceso que mezcla el diseño con los procesos de evaluación mediante algunos principios en nuestros casos de usabilidad.
Es por eso que se ha vuelto más común el escuchar hablar de usabilidad [2], un término que ha generado mucha controversia debido a que su significado sigue siendo relativo y subjetivo al momento de la aplicación. La ISO 2 9241-11 (1998) menciona que: "Usabilidad es la efectividad, eficiencia y satisfacción con la que un producto permite alcanzar objetivos específicos a usuarios específicos en un contexto de uso específico", pero indiferentemente del significado que cada autor le quiera dar, el hecho está en la satisfacción que pueda sentir una persona al utilizar un sitio web con facilidad y sin contratiempos.
Bajo este enfoque la presente investigación busca brindar soluciones a los problemas encontrados en beneficio de la educación. Para esto se evidencian métodos que permitan identificar los problemas de usabilidad de los sitios web y la manera de dar solución a problemas, requerimientos o necesidad de los usuarios [3]. Mediante el intercambio de conocimientos, recursos y experiencias, se ha obtenido resultados que brindan recomendaciones en función del mejoramiento en el diseño según las necesidades del usuario común, con la finalidad de lograr productos que pudieran ser utilizados de manera eficaz y eficiente sin preocuparse de las herramientas tecnológicas.
El desarrollo de un país depende significativamente del sistema educativo, por tanto, la academia actual, debe responder a las necesidades de los ciudadanos tomando en consideración las nuevas políticas sobre inclusión social para lograr sociedades más justas y de equidad para todos. En este sentido, actualmente se vinculan las nuevas tecnologías de la información y comunicación para fomentar el acceso web y así eliminar restricciones, considerando también a las personas con discapacidad.
Específicamente, sobre accesibilidad web, el estado garantiza que la información y servicios ofrecidos sean accesibles para todos mediante la Ley Orgánica de Discapacidades [1], que trata sobre la atención prioritaria en portales web, donde se puede concluir que actualmente las políticas públicas están orientadas a identificar acciones claves que permitan el desarrollo de gestiones organizacionales, en pro de facilitar a los ciudadanos información y atención personalizada.
El desarrollo de la accesibilidad se inicia con la creación de la World Wide Web (WWW), por Tim Berners-Lee y Robert Cailliau en 1990, teniendo como objetivo interconectar a todos los usuarios del mundo a partir de un sistema de documentos de hipertexto vinculados por medio de internet; posteriormente, a partir de 1994 se crea el Consorcio World Wide Web (W3C), que incluye a la Web Accessibility Initiative (WAI). Es importante mencionar que, en 2012 la Organización Internacional para la Estandarización (ISO) y la Comisión Electrotécnica Internacional (IEC), aprobaron las Pautas de Accesibilidad al Contenido Web (WCAG) 2.0, como un estándar internacional denominado ISO / IEC 40500:2012.
Considerando, las pautas establecidas como estándares mundiales, investigadores como Peñafiel y Luján, estudiaron la legislación sobre accesibilidad web en países Iberoamericanos como: España, Uruguay, Chile, Brasil, Colombia y Ecuador, estableciendo que España lideraba en el tema, mientras que Ecuador era el último en lo referente a la aplicación de las mismas.
En nuestro país, se aprueba la Norma Técnica (INEN-ISO/IEC 40500) sobre Tecnología de la Información - Directrices de accesibilidad para el contenido web del y el Reglamento Técnico Ecuatoriano (NEN 288) en 2014 y 2016, respectivamente; determinando el comienzo de la accesibilidad web en Ecuador basado en las pautas internacionalmente aceptadas
Con respecto a la accesibilidad web varios estudios indican el perfeccionamiento de la web como elemento clave para el desarrollo social. En este contexto y tendiendo como premisa que el objetivo es la participación de todos los miembros de la sociedad, Freeman y Loor y Laitano explican la importancia de crear políticas públicas que concienticen, o en último caso obliguen a cumplir con éstos.
Es así, que una de las iniciativas que busca incorporar la accesibilidad web a nivel guberidntal en el país es la denominada como Gobierno Electrónico (e-gobierno o en inglés “e-government”), que busca obtener beneficios específicos a través de la creación de sitios webs públicos como son la eficiencia, comodidad del usuario y participación ciudadana.
Navarrete y Luján abordan la temática de accesibilidad antes de la aprobación de la norma INEN, determinando que las Universidades del Ecuador tenían un desfase en el cumplimiento de las directrices de la WAI.
A nivel nacional la implementación de las normas técnicas referentes a accesibilidad web es relativamente nueva y con poca aplicabilidad en base a los estudios realizados. Existe la necesidad de evaluar los sitios webs guberidntales considerando herramientas automáticas y manuales, estableciendo niveles de conformidad y contribuir así con las reglamentaciones existentes que están orientadas al desarrollo y beneficio social y económico de la comunidad. Así como también contribuirá al fortalecimiento del gobierno electrónico, pues la accesibilidad web es un medio para alcanzar mayor participación ciudadana a través de plataformas on-line.
Para comprender el concepto de usabilidad del software Shneiderman (1998) enunció cinco atributos que resumen los principales aspectos que influyen en la accesibilidad:
• Facilidad de aprendizaje.
• Velocidad de desempeño. Si a un usuario que nunca ha visto el portal se le ordenara ir a una sección concreta.
• Tasa de error por usuario. A un usuario con algo de experiencia en la utilización del portal, ¿cuánto tiempo le llevaría realizar una serie de tareas específicas?
• Retención en el tiempo. Se trata de evitar que un usuario experimentado caiga en errores, de modo que acabe abandonando la página.
• Satisfacción subjetiva. Un usuario experimentado, ¿tiene una opinión positiva de la web?
El protagonista de la usabilidad es, sin duda, el usuario, a lo cual se le suele denominar diseño centrado en el usuario (user–centered design). La evaluación de la usabilidad pasa necesariamente por una serie de pruebas heurísticas en las que un grupo de expertos en usabilidad, junto con usuarios inexpertos, aportan su opinión sobre la usabilidad de un software o sitio web. Ejemplos de este tipo de test heurístico pueden ser los propuestos por Nielsen (1993) o Dumas (1999). También existen herramientas para las partes automatizables, como el tiempo de carga de la página, el tamaño de fuentes o el contraste de colores. No obstante, siempre es fundamental el juicio de los evaluadores para obtener un resultado adecuado en el proceso de evaluación de la usabilidad.
La materialización tecnológica de la “Accesibilidad-DHD” se alÍnea al concepto de “diseño universal” definido por la CDPD como el diseño de productos, entornos, programas y servicios que pue- dan utilizar todas las personas, en la mayor medida posible, sin necesidad de adaptación ni diseño especializado y que además no excluye las ayudas técnicas para grupos particulares, cuando se necesiten. Es importante tener en cuenta, además, que el con- texto actual mediatizado excede la simple distinción positiva que generalmente alude a la exterioridad del ciberespacio o centra su discurso únicamente en el artefacto tecnológico, ya que las dimen- siones que configuran lo virtual se manifiestan como proceso y producto cultural portador de memorias y prácticas tanto individua- les como colectivas (San Martín, 2012).
Por lo tanto, hacer efectivo el concepto de “Accesibilidad-DHD” implica poner en juego un mayor número de significantes en los procesos de producción de sentido, explorando formas multimo- dales de comunicación expresiva. Significantes que den cuenta de los contextos de producción del contenido y de la información que se transmite desde determinado soporte digital, y a su vez, consideren las posibilidades múltiples y variadas del interpretante, especialmente atendiendo a las formas disímiles de recepción de los contenidos. Por ejemplo, valga el caso de personas usuarias de lectores de pantalla, que necesitan lenguajes expresivos y canales alternativos de comunicación al visual, donde lo sonoro adquiere relevancia, lo cual implica abordar una problemática más compleja que la sola aplicación técnica de los estándares fijados por la ONTI. En este sentido cobra vital importancia la participación activa tanto en la construcción como en el sostenimiento del DHD, de los diferentes grupos sociales relevantes que lo integran, en el marco del enfoque socio-técnico (Thomas, Fressoli y Santos, 2012).
Dicho enfoque, al cual adscribe el DHD como perspectiva teórico-metodológica, habilita una profunda reflexión sobre la necesi- dad de atender a las posibles barreras y “problemas” que pueden generarse a partir del marcado crecimiento escalar de la mediatización, en atención a los derechos socio-técnicos, considerando que “un problema es definido como tal, sólo cuando hay un grupo social para el cual el mismo constituye un “problema” (Thomas y Buch, 2008, p.41). Es por ello que, en relación a la participación de personas con problemáticas visuales, se toman inicialmente las líneas de diseño accesible de la WAI, pero a su vez, se necesitará pensar en otras formas de transmisión que trasciendan la lógica lineal de traducción textual de las interfaces gráficas sobre la cual basan su funcionamiento los lectores de pantallas e integrar las apreciaciones de los diferentes grupos sociales relevantes, en re- ferencia a la problemática a tratar (singularidad del caso).
Investigaciones sobre la evaluación de accesibilidad web, aplicada a Universidades en años recientes tanto a nivel nacional como internacional evidencian la limitada aplicación de las pautas de accesibilidad definidas en las WCAG. Así como también permiten identificar que el método de evaluación más usado es el automático seguido del manual.
Para lograr alcanzar los objetivos propuestos, se desarrolló la investigación en tres fases: revisión documental, trabajo de campo y validación metodológica.
En la primera fase se contempla la revisión de documentos institucionales de alto nivel que permitan tener una claridad respecto la visión institucional de las universidades, los objetivos de comunicación, el tipo y característica de la información que se pretende dar a conocer, así como una primera y breve revisión de la estructura de los sitios web. Adicional se ha realizado una revisión bibliográfica respecto los métodos y técnicas de evaluación de usabilidad recomendados por los expertos con la intención de conocer la más adecuada al propósito del presente estudio, así como también la información pertinente a la interacción persona ordenador como punto de partida de nuestra investigación [4].
La segunda fase, se propone a través de una metodología participativa -que involucren a evaluadores heurísticos [5] y usuarios- la preparación de los distintos instrumentos de levantamiento de información primaria a fin de contar con la retroalimentación de los usuarios, así como la aplicación de dichos instrumentos. Esta fase contempla las siguientes acciones:
En la tercera fase, se elabora una comparación de resultados obtenidos a fin de determinar los puntos más críticos que afectan la usabilidad de los sitios web de las universidades públicas de Riobamba.
Con la información recopilada se preparará una guía de soluciones a los problemas más críticos de usabilidad de sitios web aplicado a instituciones de educación superior que les sirva para mejorar su desempeño.
Los métodos a emplearse son analíticos y deductivos. Se usa el método analítico en base a la información disponible, a fin de analizar la situación actual de la usabilidad de sitios web y establecer criterios mínimos [8]. El método deductivo, es empleado principalmente al momento de comparar los resultados obtenidos de los distintos métodos a fin de valorar el impacto potencial de la guía propuesta.
Una vez realizadas las evaluaciones tanto con expertos como con usuarios del sistema es necesario analizar los datos obtenidos con la finalidad de extraer información relevante que nos permita identificar los principales problemas y carencias de usabilidad de los sitios en estudio, la valoración se la realizó en base a los 10 principios de la heurística3 de Jacob Nielsen, para lo cual se elaboraron pruebas con dos grupos en cada caso previo a la realización de los test con usuarios los mismos que arrojaron los siguientes resultados.
Se puede apreciar que la heurística N4 es la que tienen un promedio mayor, es decir la de mayor conflicto, la misma que manifiesta que existe inconsistencia en el uso de los menús del sitio web, además que carecen de dinamismo lo cual confunden a los usuarios. Se observa también que otro de los problemas que mayor conflicto creó a los usuarios es la dificultad al retornar a la página principal.
Se ha observa que la heurística N4 una vez más es la que mayores problemas presenta en el sitio web de la ESPOCH. Los mayores conflictos radican en el logotipo de la institución, que no realiza la función convencional de retornar al usuario a la página de inicio. Por otra parte se infringe la heurística N8, que guarda relación con la falta de identificación en los enlaces, lo cual genera confusión en el usuario al no hacer uso correcto del texto y su color (carencia de minimalismo). De igual manera, otro de los conflictos encontrados tienen que ver con la heurística N3, que presenta problemas en el sitio web debido a la existencia de enlaces rotos y otros que no generan ninguna acción lo cual preocupa al usuario por los constantes errores en los diferentes apartados del sitio.
Posterior a la realización de la evaluación del sitio web de la ESPOCH se puede claramente determinar que los problemas que con mayor frecuencia se repiten en el sitio web guardan relación con la heurística N4 la misma que con un 67% nos manifiesta que genera problemas de confusión y por ende retrasa las tareas que los usuarios realizan en el sitio. Mientras que el 22% de las dificultades tienen que ver con la heurística 8 la cual guarda relación con el diseño y la estética del sitio web, y finalmente con el 11% la heurística 3 es otro de los problemas que están presentes con mayor frecuencia la cual está relacionada con la falta de control que los usuarios tienen sobre el sistema.
Una vez detectados los problemas durante la evaluación heurística al sitio web de la UNACH por el Grupo 1 y analizadas las calificaciones asignadas a cada uno de los problemas encontrados, se puede apreciar que la heurística N4 al igual que en el análisis del sitio web de la ESPOCH es el problema que con mayor frecuencia se repite, es decir la de mayor conflicto, por otro lado la heurística N8 tienen un alto grado de conflicto con los usuarios y en menor escala la heurística N3.
Una vez finalizada la evaluación del segundo grupo, se puede determinar que el mayor conflicto radica en la heurística N7, la que manifiesta problemas en la eficiencia del sistema, por otra parte la heurística N9 tiene una alta calificación la cual indica que existen problemas en las ventanas de error. La heurística N2 y N4 con un puntaje de 5,00 evidencian otros problemas como enlaces e hipervínculos que no son visibles y más conflictos como la traducción en el idioma.
Cumplida la evaluación del sitio web de la UNACH se ha podido determinar que los problemas que con mayor frecuencia se repiten son los referentes a la heurística N4 la misma que con un 46% supera ampliamente a otros problemas como son los de la heurística N8 con el 31% que hacen referencia al diseño y otros conflictos con menor porcentaje como es la N3 y N7 con el 8% y la N2 con el 7%.
De la tabla anterior se puede observar que el grupo que analizó el sitio web de la UNACH encontró mayores dificultades de acuerdo al número de heurísticas infringidas. Los dos grupos encontraron igual número de problemas que infringen la heurística cuatro “Consistencia y estándares“.
Lo que abre un camino para nuevas investigaciones donde se pueda determinar si el problema se origina por la falta de planeación de los sitios web, por la inexperiencia de los web master o por la falta de capacitación y formación de profesionales en temas de usabilidad.
La evaluación de usabilidad de un sitio web antes, durante y después, es una tarea que no se la debe dejar de lado y particularmente la evaluación a sitios que se encuentran en funcionamiento y que poco o nada han sido inspeccionados en función de mejorar el servicio que brindan a sus usuarios.
Con este enfoque podemos mencionar que la corrección de errores en el diseño es un proceso que no se lo debe tomar a la ligera, su correcta aplicación mediante el uso de la metodología correcta evita poner a disposición de los usuarios productos de mala calidad. De esta manera la evaluación es un proceso que además de visibilizar los distintos errores, se convierte en una herramienta de control de calidad que permite desarrollar productos confiables y usables. No obstante la evaluación comparativa nos permite determinar los errores con mayor presencia en cada uno de los sitios en estudio, permitiéndonos así identificar las áreas que necesitan mayor atención.
Los usuarios reales tienen diferentes necesidades y habilidades, las mismas que son puestas en marcha bajo diversas circunstancias, por tanto implica que las pruebas con usuarios son quizá una parte esencial en el proceso de diseño de sitios web, esto se concluye debido a los hallazgos detectados durante la investigación heurística, la misma que manifiesta problemas diferentes a los encontrados en las pruebas con usuarios, esto debido a que el uso de los sitios web en un contexto real cubre una necesidad concreta con aspectos que en muchas ocasiones se pasan por alto durante una prueba con especialistas. Es importante resaltar que en muchas ocasiones los usuarios inexpertos tienen poca capacidad para discernir entre el comportamiento correcto del sistema y las dificultades en su funcionalidad debido a problemas de usabilidad.
Al momento de diseñar un sistema es importante considerar aspectos sobre las necesidades que pueden tener los usuarios entre ellas podemos mencionar el tiempo que utilizará el sistema, el contenido que va a revisar, la funcionalidad de las herramientas, las herramientas de búsqueda, los idiomas en que se mostrará la información, el vocabulario y la redacción que se utilizará, etc. Estos y otros aspectos aunque parezcan básicos y sencillos de esbozar pueden generar confusión y hacer que la funcionalidad de un sitio web carezca de usabilidad debido a que al usuario le tomará más tiempo y esfuerzo desarrollar sus tareas, y en el peor de los escenarios debido a las dificultades el usuario podría dejar de usar el sitio.
El proceso de hacer usable a un sitio web no es una tarea sencilla, requiere de la asociación entre el contenido, la interacción y los procesos. Un contenido de calidad debe tratar de ser concreto y resumir al máximo su contenido. La interacción debe estar en función del público objetivo. Los procesos nos deben ayudar a encontrar una lógica en la navegación. La armonía de estos elementos más el monitoreo y la medición constante de los elementos nos ayudaran a evitar una percepción negativa por parte de los usuarios.
Por tanto la usabilidad hará de los sitios web lugares de mayor tránsito donde no existan limitantes según el nivel de conocimiento de cada usuario, por lo contrario esta disciplina abrirá la posibilidad de desarrollar nuevos conceptos y teorías que a futuro ayudaran a otras personas a difundir el tema y a ampliar un campo laboral que tiene muchas posibilidades y aristas para su expansión y desarrollo.
[1] Bias, R., & Hayhew, D. J. (1994). Cost–Justifying Usability. MA: AP Professional Cambridge.
[2] Bevan, N., Kirakowski, J., & Maissel, J. (1991). What is Usability? Proceedings of the 4th International Conference on HCI, 651-655.
[3] Krug, S. (2006). Don't make me think!: A common sense approach to Web usability. Berkeley, Calif: New Riders Pub.
[4] Lorés, J., Sendín, M., & Agost, J. (2001). La interacción persona-ordenador. Lleida: Jesús Lorés.
[5] Molich, R., & Nielsen, J. (1990). Heuristic evaluation of user interfaces. Seattle, WA.
[6] Nielsen, J. (1993). Usability Engineering. Morgan Kaufmann.
[7] Nielsen, J. (1994). Usability Inspection Methods. New York: John Wiley & Sons.
[8] ZÜLCH, G., & STOWASSER, S. (2000). Usability Evaluation of User Interfaces with the Computer aided Evaluation Tool PROKUS. MMI-Interaktiv, Nr. 3, ISSN 1439-7854, 17.
[9] M. I. Laitano, “Accesibilidad web en el espacio universitario público argentino,” Rev. Española Doc. Científica, vol. 38, no. 1, pp. 1–9, 2015.
[10] R. Navarrete and S. Luján mora, “Accesibilidad web en las Universidades del Ecuador. Análisis preliminar,” Rev. Politécnica, vol. 33, no. 2, pp. 1–8, 2014.
[11] N. Quiñonez and R. Arévalo, “Análisis del cumplimiento de la norma NTE INEN-ISO/IEC 40500 en las páginas web de las Universidades Públicas del Ecuador para evaluar su accesibilidad web. Caso aplicativo: Implementación de la página web oficial del ICITS con la plantilla tipo A,” Universidad Nacional de Chimborazo, Riobamba, Ecuador, 2016.
[12] Escuela Superior Politécnica del Litoral (ESPOL), “Informe de Rendición de Cuentas 2015,” 2016. [Online]. Available: http://www.transparencia.espol.edu.ec/informe-de-labores. [Accessed: 28-Dec-2016].
[13] Universidad Agraria del Ecuador (UAE), “Informe de Rendición de Cuentas 2015,” 2016. [Online]. Available: http://www.uagraria.edu.ec/transparencia/2016/Rendicion-de-Cuentas-UAE-2015.pdf. [Accessed: 28-Dec-2016].
[14] Universidad de Guayaquil (UG), “Universidad de Guayaquil crecimiento de la población estudiantil,” Guayaquil, 2016.
[15] Universidad de las Artes (UA), “Informe de Rendición de Cuentas 2015,” 2016. .
[16] Consejo Nacional para la Igualdad de Discapacidades (CONADIS), “Personas con discapacidad registradas,” 2016. [Online]. Available: http://www.consejodiscapacidades.gob.ec/estadistica/index.html. [Accessed: 23-Dec-2016].
[17] S. Luján Mora, R. Navarrete, and M. Peñafiel, “Egovernment and web accessibility in South America,” in First International Conference on e-Democracy & e-Government – ICEDEG 2014, 2014, pp. 77–82.
[18] Chacón-Medina, H. Chacón-López, D. López-Justicia, and C. Fernández-Jiménez, “Dificultades en la Accesibilidad Web de las Universidades Españolas de acuerdo a la norma WCAG 2.0,” Rev. española Doc. Científica, vol. 36, no. 4, pp. 1–13, 2013.
[19] J. R. Hilera, L. Fernández, E. Suárez, and E. T. Vilar, “Evaluación de la accesibilidad de páginas web de universidades españolas y extranjeras incluidas en rankings universitarios internacionales,” Rev. Española Doc. Científica, vol. 36, no. 1, pp. 1–16, 2013.
[20] P. Acosta-Vargas, S. Lujan-Mora, and L. Salvador-Ullauri, “Evaluation of the web accessibility of higher-education websites,” 2016 15th Int. Conf. Inf. Technol. Based High. Educ. Train., pp. 1–6, 2016.
[21] T. Acosta and S. Luján Mora, “Errores de accesibilidad más comunes en los sitios web de las universidades ecuatorianas,” in 1st International Conference on Information Systems and Computer Science (INCISCOS 2016), 2016, pp. 48–55.
[22] T. Acosta and S. Luján Mora, “Análisis de la accesibilidad de los sitios web de las universidades ecuatorianas de excelencia,” Enfoque UTE, vol. 7, no. 1, pp. 46–61, 2017.
[23] P. Acosta-vargas, S. Luján-mora, and L. Salvador-ullauri, “traduccion accesibilidad de IES extranjeras.”
[24] R. Cruz Vadillo and M. Á. Casillas Alvarado, “Las instituciones de educación superior y los estudiantes con discapacidad en México,” Rev. la Educ. Super., vol. 46, no. 181, pp. 37–53, 2017.
[25] N. Cruz Esparza, Z. Acosta Merino, and H. Guerrero Torres, “Accesibilidad Web en las Instituciones de Educación Superior del Ecuador: Año 2016,” J. Sci. Res. Rev. Cienc. e Investig., vol. 1, pp. 44–48, 2016.
[26] M. Campoverde Molina, “La accesibilidad web. un reto en el entorno educativo ecuatoriano,” Rev. Científica y Tecnológica UPSE, vol. 3, no. 3, pp. 90–98, 2016.
[27] S. Kurt, “Accessibility of Turkish university Web sites,” Univers. Access Inf. Soc., pp. 1–11, Apr. 2016.
[28] O. Revilla, WCAG 2.0 de forma sencilla, Itákora., no. November. Madrid-España, 2013.
[29] B. Parmanto and X. Zeng, “Metric for Web Accessibility Evaluation,” vol. 56, no. 13, pp. 1394–1404, 2005.
[30] Orozco, V. Tabares, and N. Duque, “Methodology for Heuristic Evaluation of Web Accessibility Oriented to Types of Disabilities,” in Universal Access in Human-Computer Interaction. Methods, Techniques, and Best Practices: 10th International Conference, UAHCI 2016, Held as Part of HCI International 2016, Toronto, ON, Canada, July 17-22, 2016, Proceedings, Part I, M. Antona and C. Stephanidis, Eds. Cham: Springer International Publishing, 2016, pp. 91–97.