El Método Delphi, Experiencia Práctica en la Determinación de los Elementos de Cursos a Distancia

RAÚL LÓPEZ FERNÁNDEZ, SILVIA VÁZQUEZ CEDEÑO

MIRIAM GUTIÉRREZ ESCOBAR, MIKHAIL BENET RODRÍGUEZ

SARA JULIA CASTELLANOS, LONGINO MUÑOZ FERNÁNDEZ

DIANA E. PALMERO URQUIZA

UNIVERSIDAD DE CIENFUEGOS, CUBA.

INTRODUCCIÓN

El criterio de expertos es un método muy utilizado para validar resultados de investigación. Entre ellos se encuentra el método Delphi; reconocido por su rigor científico. No obstante, existen más consideraciones teóricas relativas al método que ejemplos de su aplicación en casos reales.

El Método Delphi algunos autores lo consideran una técnica; otros, como Crespo (2005) y Alpízar (2004), lo valoran como un método, mientras que Astigarraga (2008) le otorga las dos denominaciones, indistintamente. Los autores consultados (particularmente los eminentemente teóricos) otorgan al método Delphi una gran relevancia para desarrollar investigaciones que, por distintos motivos, no pueden aplicarse en la práctica para tomar decisiones antes de llevar a cabo algún tipo de experimentación. Se utiliza también para problemas para los que no se tiene información reconocida en la comunidad científica, o para los que existen criterios divergentes.

El objetivo del presente trabajo es examinar la aplicación del método Delphi en la determinación de los elementos que no deben faltar en un curso de Educación a Distancia (EaD).

Materiales y Métodos

Se aplicó el Método Delphi en los meses de enero a mayo de 2008, en la Facultad de Ciencias Médicas de Cienfuegos, como parte de una investigación que tributa a una tesis doctoral cuya temática es la educación a distancia. Se trabajó con 14 expertos de diferentes instituciones y países, y se utilizó, entre otros, el análisis de documentos, la encuesta, el análisis de correspondencia y los estadísticos descriptivos. Este trabajo incorpora, sobre la base de criterios existentes, una estructura metodológica enriquecida con nuevas fases en la aplicación del método, así como de cálculos matemáticos tradicionales.

RESULTADO Y DISCUSIÓN

Se proponen tres fases para desarrollar el método. Primera: selección de los potenciados. Segunda: elaboración, envío y análisis de los cuestionarios propios de la investigación. Tercera: conclusiones del estudio Delphi. Cada una de estas fases se divide a su vez, en varias subfases.

Fase 1. Selección de los potenciados.

1.1 Identificación de los potenciados:

1.2 Selección del número de potenciados a participar:

1.3 Aceptación de los potenciados a participar.

1.4 Envío del cuestionario de la autoevaluación:

1.5 Determinación del K o coeficiente de competencia

1.6 Selección final del grupo de expertos que participarán.

Fase 2. Elaboración, envío y análisis de los cuestionarios propios del problema investigado.

2.1 Envío del primer cuestionario.

2:2 Análisis del envío del primer cuestionario.

2.3 Envío del segundo cuestionario.

2:4 Análisis del envío del segundo cuestionario.

2.5 Envío del tercer cuestionario.

2.6 Análisis del envío del tercer cuestionario.

2.n Se le denomina 2.n porque quien define la n-ésima es el investigador según los resultados obtenidos.

Fase 3. Conclusión del estudio Delphi.

Aplicación

Análisis de resultados de la aplicación del Método Delphi. En el presente estudio el método Delphi se utilizó para determinar los elementos que deben estar presentes en un Curso de Educación a Distancia. A continuación se detalla cada uno de los pasos para su aplicación.

Fase 1. Selección de los potenciados.

1.1 Identificación de los potenciados. Las fuentes fundamentales para la identificación de los potenciados (se le llama potenciado porque aún no está definido como experto) en esta investigación fueron: búsqueda por Internet, revisión de artículos, participación en eventos y la lista de discusión de educación a distancia (CUED-L), en la cual intervinieron los profesionales más implicados en la temática en el ámbito Iberoamericano.

1.2 Selección del número de potenciados a participar:

En nuestro caso se comenzó con 17 potenciados, y como se planteó en el apartado metodológico, producto de las causas de reducción de este número quedó un total de 13 potenciados (4 de ellos abandonaron el trabajo por diferentes razones). El hecho de haber terminado con ese número nos garantizó buena calidad en los resultados, lo que corrobora nuestra posición con respecto al número de expertos, desde el punto de vista teórico que es de 15.

1.3 Aceptación de los potenciados a participar. Se les envió la solicitud de datos importantes en el ámbito profesional: Nombre y apellidos, título universitario, categoría docente, grado científico, institución a la que pertenece, años de experiencia en la EaD, nivel de actualización en la EaD (publicaciones), eventos nacionales e internacionales en que ha participado con esta temática y país. La vía utilizada fue el correo electrónico debido a las ventajas que ofrece en los momentos actuales.

Todos los expertos que aceptaron participar son universitarios, el 92,3 % son licenciados. Todos son Master o Doctores y más de la mitad pertenece a esta última categoría. Proceden de ocho países entre los que predominan España y Cuba y laboran en once instituciones diferentes.

Los expertos tienen como promedio 10,31 años de experiencia en esta modalidad de enseñanza, lo cual le infunde mayor solidez a sus criterios. El número de publicaciones promedia 6,31 artículos por experto. La participación en eventos es elevada, con 8,54 como promedio.

1.4 Envío del cuestionario de la autoevaluación. Se les envió un cuestionario con el objetivo de que expresaran su autoevaluación en dos direcciones: el grado de argumentación y el grado de conocimiento en la EaD con el objetivo de determinar el coeficiente de competencia.

1.5. Determinación del K (coeficiente competencia). Los resultados que se obtuvieron en este apartado fueron los siguientes: En el grado de influencia Ka se pudo apreciar que el coeficiente se movió entre 0,72 y 0,98, lo que indica un alto grado de influencia de los potenciados en este coeficiente.

En el grado de conocimiento o Kc se constató que éste se movió entre 0,7 y 1, lo que indica un alto grado de conocimiento de los potenciados en esta temática investigada.

En los resultados del coeficiente de competencia o K se determinó que de los 13 potenciados que estuvieron en la aplicación del método, 11 tuvieron una alta puntuación para un 84,61 por cien y 2 tuvieron una puntuación media para un 15,39 por cien, ninguno fue autoevaluado como bajo ó nulo.

De los análisis de la autoevaluación se puede concluir que los potenciados reúnen los requisitos para ser expertos por tener experiencia en esta modalidad, competencia, publicaciones, participación en eventos y grado científico, que los avalan para este desempeño.

1.6. Selección del grupo de expertos que participarán. De acuerdo con los resultados obtenidos, tanto en los datos generales de la profesión como en la autoevaluación, se determinó que la cantidad de potenciados que pasan a la categoría de expertos son 13.

Fase 2. Elaboración, envío y análisis de los cuestionarios propios del problema investigado.

2.1. Envío del primer cuestionario. Se envió el primer cuestionario a los expertos ofreciéndoles solamente cuatro elementos, de los que no deben faltar en un curso de EaD, para que ellos agregaran los que consideraran pertinentes; la vía utilizada fue el correo electrónico por las ventajas que ofrece en los momentos actuales

2:2. Análisis del envío del primer cuestionario. Se realizó un análisis de frecuencia en el que los expertos añadieron veintiocho propuestas a las cuatro dadas en el cuestionario inicial, que no deben faltar en un curso de EaD. El conjunto de las propuestas después de ser valoradas por los expertos es el siguiente:

1. Contenidos (saberes)

2. Evaluación.

3. Bibliografía

4. Guía Didáctica

5. Medios didácticos

6. Diseño instruccional

7. Espacios de interacción

8. Estrategia de aprendizaje

9. Objetivos

10. Plataforma o herramienta tecnológica

11. Modelo de producción de material didáctico

12. Formación de tutoría

13. Gestión del curso.

14. Tareas Docentes

15. Comunicación oral (asincrónica-Foros de debate- y sincrónica-Chats).

16. Comunicación visual (imágenes-fotografías, esquemas, mapas, ilustraciones, etc.).

17. Coevaluación (a través de Rúbricas).

18. Auto evaluación

19. Heteroevaluación

20. Mapa conceptual

21. Contrato didáctico

22. Tecnologías adecuadas

23. Cibergrafía

24. Métodos didácticos innovadores

25. Diccionarios, libros consulta edición digital.

26. Prácticas

27. Pizarra o mural virtual

28. Actividades de aprendizaje

29. Programa académico

30. Bienvenida

31. Manual de ayuda al estudio

32. Acción tutorial (orientadora, didáctica, académica y administrativa)

Además de añadir los elementos, los expertos expresaron algunas razones para incluirlos. Todas estas valoraciones fueron de suma importancia en el procesamiento de los datos; de ahí se obtuvieron argumentaciones científicas acerca de los elementos que deben estar presentes en un curso de EaD.

2.3 Envío del segundo cuestionario. Se les brindó a los expertos el segundo cuestionario por correo electrónico y se les pidió que ordenaran jerárquicamente los 32 elementos resultantes del primer cuestionario.

2:4 Análisis del envío del segundo cuestionario. Un número importante de expertos consideró que muchos de los elementos tenían una gran importancia y les resultó comprometido darles un rango de prioridad. En ese caso, no ordenaron, sino agruparon los elementos por funciones, ubicación, y características comunes para el estudio, entre otros argumentos.

Lo primero que queremos destacar es que en la bibliografía consultada la técnica estadística que sirve de resumen de los datos cuantitativos es la concordancia de Kendall. Nuestra propuesta fue que ordenaran, precisamente para garantizar la realización de ese tipo de cálculo, pero como la praxis es el criterio de la verdad, los expertos optaron por agrupar en vez de ordenar, por lo que tuvimos que acudir a la técnica Análisis de Correspondencia para analizar la asociación de categorías de las diferentes variables, es decir, para determinar cómo se comportaba el haz de puntos de la ubicación de los expertos.

Después de haber efectuado la segunda ronda, estamos en condiciones de hacer la interpretación de los resultados obtenidos en el procesamiento de los datos:

Un primer momento nos demuestra que del total de las correlaciones, el 61,53% de correspondencia está por encima de 0,5, lo que significa poca convergencia de criterio entre los expertos.

Un segundo momento, derivado del análisis del gráfico de puntos, dio como resultado que los expertos realizaron cuatro agrupaciones:

• Agrupación I: Elementos: 18, 21, 22, 23, 24, 29

• Agrupación II: Elementos: 4, 5, 6, 7, 8, 9, 11, 13, 14, 15, 16, 17, 19, 20, 25, 26, 27.

• Agrupación III: Elementos: 1, 2, 3, 10, 12.

• Agrupación IV: Elementos: 28, 30, 31, 32.

Estos cuatro grupos nos recomiendan pensar en cuatro variantes de agrupación, para posteriormente darles un nombre según la opinión de los expertos.

Un tercer momento lo constituye el gráfico de medidas de discriminación que refleja la agrupación de los expertos; se observa que existen tres grupos donde se ubican los expertos:

• Agrupación I: Expertos A, E, F.^

• Agrupación II: Expertos G, D, M, L, B, J, K, F, C, H.

• Agrupación III: Expertos I.

Se puede observar que los expertos se congregaron en tres grupos, lo más significativo es que la mayoría de los expertos, 10, se concentraron en un mismo criterio de análisis en el grupo II. En el grupo I existen tres expertos con criterios similares, mientras que el grupo III está compuesto por un solo experto que dista de la opinión de resto.

Sintetizando el análisis del segundo envío, se puede plantear que no hubo coincidencia entre los expertos en relación con la agrupación de los elementos que deben estar presentes en un curso de EaD. Este resultado fue el motivo del tercer envío.

2.5: Envío del tercer cuestionario. En la presente investigación se les facilitó a los expertos el resultado del análisis de correspondencia. En ese momento los expertos compararon su posición con la del resto; además, hicieron valoraciones que les permitieron mantenerse en su criterio, cambiar totalmente su opinión o reajustar la misma. Por último, argumentaron la posición asumida en cualquiera de las tres variantes mencionadas.

2.6: Análisis del envío del tercer cuestionario. En la presente investigación se realizó un nuevo Análisis de correspondencia porque hubo expertos que ajustaron sus criterios al contrastar sus opiniones con las del resto de participantes.

Después de haber efectuados varias rondas (tres), estamos en condiciones de hacer una interpretación de los resultados obtenidos en el procesamiento de los datos. En un primer momento se tuvieron en cuenta las correlaciones de las mismas dimensiones que se han venido trabajando. Dichas correlaciones muestran que el 70,13% de las correspondencias se encuentran por encima de 0,5, lo que significa buena convergencia de criterio entre los expertos.

El segundo momento de análisis de este método estadístico se correspondió con el gráfico “puntos de objetos” etiquetados entre número de casos. Se pudo corroborar que de los 32 elementos del análisis, los expertos hicieron tres agrupaciones, lo cual denota un mayor acuerdo que en la segunda vuelta en la que hicieron cuatro:

• Agrupación I: Elementos: 13, 7, 14.

• Agrupación II: Elementos: 1, 2, 3, 4, 5, 6, 8, 9, 10, 11, 12, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 29.

• Agrupación III: Elementos: 28, 30, 31, 32.

Se formaron tres variantes de agrupación; se destaca que el grupo II tiene un total de 25 elementos, o sea 78,12% del total. Los grupos I y III congregaron muy pocos elementos: 3 y 4 respectivamente, lo que evidencia mayor acuerdo entre los expertos y mayor coincidencia en un número considerable de elementos que no deben faltar en un curso a distancia.

El tercer momento del análisis se efectuó a través del gráfico “medidas de discriminación” que dio como resultado tres grupos en los que se ubicaron los expertos:

• Agrupación I: Expertos A, K, E.

• Agrupación II: Expertos I, G, D, M, L, B, J.

• Agrupación III: Expertos F, C, H.

Se pudo apreciar que el grupo II sigue siendo el de mayor número de expertos con criterios similares; los grupos I y III tienen 3 expertos cada uno, cuestión que difiere del segundo análisis. Se pudo constatar una convergencia de criterios por siete de los expertos, o sea, más de la mitad. Es preciso destacar que la distancia entre los tres grupos fue menor que en el segundo análisis, lo que significa una aproximación en la opinión de los expertos en cuanto a la problemática que se estudia.

Los expertos, además de las orientaciones dadas en el último envío, realizaron varias formas de agrupaciones de los elementos que no deben faltar en un curso de EaD que fueron de gran interés para las decisiones finales del presente trabajo. Efectuaron un total de seis agrupaciones diferentes que enriquecieron el análisis.

En esta ronda algunos expertos se quedaron con la posición que tenían o la cambiaron y argumentaron su respuesta: dos de cada tres, aproximadamente, reajustaron sus opiniones. El cambio implicó nuevos análisis cualitativos importantes en la investigación y heterogeneidad en los argumentos, muy importante en este tipo de método, porque es muy difícil en un problema tan complejo tener cien por cien de criterios idénticos.

Sintetizando el análisis del tercer envío, se puede plantear que hubo una mayor coincidencia entre los expertos en relación con la agrupación de los elementos que deben estar presentes en un curso de EaD, lo cual nos acerca al cumplimiento del objetivo del método Delphi.

Fase 3: Conclusión de la Delphi. Las valoraciones hechas por los expertos enriquecieron el análisis de la problemática estudiada. Con los resultados obtenidos se pudo concluir con el análisis e interpretación del tercer cuestionario, debido a que se le dio respuesta al objetivo por el que se aplicó este método.

Luego de este análisis consideramos una forma de agrupar los elementos de un curso a distancia de acuerdo con los resultados. Para ello se tuvieron en cuenta todos los análisis que se derivaron del mismo:

Se decidió formar tres grandes grupos que identificamos con letras mayúsculas con los 32 elementos que no pueden dejar de estar presentes en un curso de esta modalidad de enseñanza. Estos grupos se complementan entre sí formando una unidad dialéctica que será, en última instancia, la que contribuirá al éxito de la educación a distancia (Ver Anexo 1).

• XY: Diseño Instruccional: elementos que tienen que ver con la parte instructiva y educativa del curso.

• YZ: Tecnológico: elementos que tienen que ver con el soporte tecnológico del curso.

• ZX: Tutorías: elementos que están vinculados a la orientación, seguimiento y control del curso.

CONCLUSIONES

En el presente trabajo ha quedado demostrada la aplicación del método Delphi en la determinación de los elementos que no deben faltar en un curso de Educación a Distancia (EaD). Resulta de gran importancia tener en cuenta, a la hora de planificar un curso de EaD, los resultados de este método por la cientificidad que proporciona el mismo. Este trabajo por su aplicación práctica reviste gran valor como guía para los investigadores interesados en aplicar el método Delphi.

REFERENCIAS

Alpizar, R. (2004): “Modelo de gestión para la formación y desarrollo de los directivos académicos en la Universidad de Cienfuegos (UCf)”, Cienfuegos, Cuba. (s.e.)

Astigarraga (2008): El Método Delphi. Deusto: Editorial Universidad de Deusto. Facultad de CC.EE y Empresariales. (p.23-24). Disponible en:

http://www.codesyntax.com/prospectiva/Metodo_delphi.pdf [Consultado en abril de 2008].

Crespo, T. (2005): “16 preguntas sobre criterios de expertos”. Santa Clara, Cuba. (s.e.)

Raúl López Fernández, M.C.

Universidad de Cienfuegos, Cuba.

mailto:rlopez@ucm.cfg.sld.cu