EL ESTUDIO OPERATIVO DE LA PSICOLOG?A UNA APROXIMACI?N MATEM?TICA

CAPÍTULO 7. Aplicaciones de la Investigación Operativa (I)

1. Aplicación de la Teoría de la Programación Dinámica y de los Procesos Estocásticos

Un enfoque interesante, a nuestro modo de ver, de muchos problemas psicológicos, residiría en su tratamiento a base de la aplicación de una conocida técnica de la Investigación Operativa: la Programación Dinámica, y más concretamente, partiendo de la consideración de sistemas (dinámicos) que varían con el tiempo, como resulta ser el caso de la mayoría de los sistemas psicológicos.

La Programación Dinámica es un método de optimización de los sistemas o de su representación matemática, en el cual se opera por fases o secuencias. El punto de partida de este método reside en el denominado “teorema de la optimidad”. Este teorema, presentado por el matemático americano Richard Bellmann , resulta tan simple que parece casi trivial cuando se ha comprendido a fondo. Su importancia y la eficacia de los métodos de optimización secuenciales a los cuales ha dado origen se acentúan tan pronto se advierte que la verdadera naturaleza de numerosos problemas que se plantean en Psicología es secuencial, es decir, permiten su descomposición en fases, en las cuales cada uno sólo depende de sus más próximas y frecuentemente, en los casos favorables, solamente de la fase anterior o bien de la posterior.

Tratándose de Investigación Operativa y, por consiguiente, de la búsqueda de una política óptima, Bellmann expresa, en forma concisa, lo siguiente: Toda política óptima sólo puede estar formada por subpolíticas óptimas. En efecto, ¿no es, por así decirlo, evidente que todo camino óptimo esté formado de porciones o tramos de caminos también óptimos?. Si para una porción cualquiera no fuese así, ésta podría ser substituida por otra mejor y, por consiguiente, el camino no sería óptimo, contrariamente a la hipótesis de partida.

Podría considerarse que la Programación Dinámica se refiere a la evolución en el tiempo de un sistema psicológico, siendo aquélla, en cada fase, parcialmente aleatoria (intervención del azar) y parcialmente controlada (intervención del psicólogo experimentador). Se pueden distinguir (R. Fortet) las evoluciones de primera y segunda clase, según que, en cada fase, la intervención del azar preceda a la decisión humana o, por el contrario, la suceda.

Estas evoluciones de los sistemas en el tiempo pueden ser de tres tipos:

1- Deterministas (determinadas por el hombre).

2- Aleatorias (provocadas únicamente por el azar, en los cuales no se manifiesta la decisión humana).

3- Aleatorias – Deterministas (algunas de las evoluciones pueden ser provocadas por el hombre, y otras por el azar).

Pero determinados caracteres de la programación dinámica, como la división secuencial del problema, aparecen también en ciertos casos deterministas en los cuales no interviene la evolución temporal.

En principio, parece que cualquiera de estos tipos puede amoldarse a las características de las evoluciones de los sistemas psicológicos, si bien centraremos –adoptando una postura escéptica o de desconocimiento– nuestra atención en las evoluciones del tipo “2” o aleatorias. En tal caso, nos encontramos con los llamados “procesos estocásticos”.

La repercusión de las experiencias anteriores en las nuevas situaciones vivenciales es uno de los procesos que más influencia tienen en la vida humana. Podemos intentar, en consecuencia, presentar este problema desde un punto de vista operativo, si bien nos encontramos con la considerable limitación de no poder estudiar el caso como si de una Cadena de Markov (sistemas “sin memoria”) se tratase , puesto que la historia –o el conjunto de las experiencias vividas por el S., que debemos considerar en el plano psicológico– constituye una variable de la que es función la probabilidad de transición, como se verá más adelante.

Un proceso recibe el nombre de “estocástico” cuando, en intervalos de tiempo determinados o aleatorios, el sistema considerado sufre cambios de estado ligados mediante leyes de probabilidad. Por ello, estos procesos también reciben el nombre de “aleatorios” y describen la evolución del S. en cuestión a través del tiempo. Se clasifican así:

Discretos o cadenas “tiempo” no aleatorio.

Procesos estocásticos

Continuos “tiempo” aleatorio.

• DISCRETOS:

Estos procesos aleatorios se llamarán “discretos” si los cambios de estado aleatorios sólo ocurren en instantes determinados, no aleatorios, y a lo más, en una infinidad numerable. Los intervalos de tiempo entre los instantes en los cuales se producen los cambios de estado pueden ser iguales o no, interesando únicamente -desde el punto de vista psicológico- el orden de sucesión de los diferentes estados del sistema.

La evolución del individuo es una sucesión de fenómenos aleatorios. Considerando a aquél como un sistema S, que puede tomar un conjunto finito de estados  = {E0, E1, E2, ..., Em}. Pues bien, en cada instante de un período de tiempo T = {t0, t1, t2, ..., tn}, el S. toma al azar uno y sólo uno (hipótesis cualquiera) de los estados de , quedando establecida una correspondencia unívoca (que es “aplicación”, puesto que todos los elementos del primer conjunto tienen su imagen en el segundo conjunto, pero sólo una) entre el conjunto T y el . Veamos, al respecto, el siguiente diagrama de Venn-Euler:

T  

t0 E0

t1 E1

t2 E2

tn-1 En-1

tn En

FIG. 7.1. Aplicación entre los conjuntos T y .

Si consideramos la sucesión aleatoria de estados de , tenemos un ejemplo de proceso estocástico discreto, en cuanto asociemos a cada cambio de estado una “probabilidad de paso o transición”: pij (n) probabilidad de pasar, en el instante n, del estado Ei al Ej. El conjunto de todas estas probabilidades de paso constituye la “matriz estocástica o de transición”: [M]. Sabemos que: pij (n) = f(Ei, Ej, n, historia: tn – t0).

Definimos, también pi(n) como la probabilidad de que el S. se encuentre en el estado Ei en el instante n (hay 2 variables). Las pi(n) / i = 1, 2, …, M, constituyen el conjunto de probabilidades de cada estado que describen el sistema psicológico para todos los instantes considerados.

Se designa por P(n) = [p1(n), …, pM(n)] el “vector de estado” en el instante n. O sea, se tienen los denominados “vectores de estado” (aquellos cuyas componentes son las probabilidades de cada uno de los estados en un instante dado), esto es: P(n) = pj (n).

[M] es una matriz cuadrada de orden M en que cualquier elemento pertenece el conjunto de las probabilidades de transición pij, y es tal que:

• pij / 0  pij  1 (axioma de probabilidad)

 (i, j)  1, 2,..., M2

y al ser matrices “conformes”, su producto resulta:

Del mismo modo, los denominados “vectores de estado” P(n) = pj (n)

j  1, 2, ...M

n  0, 1, 2, ...=Z+=N; son tales que:

• 0 pj(n)1 (axioma de probabilidad)

En general, se cumplirá que:

O sea, se cumplirá que si las probabilidades pi(0) / i = 1, 2, …, M, se suponen conocidas (vector de estado inicial), se tiene entonces una “cadena de Markov” regida por la ecuación:

o utilizando la notación matricial y designando por P(n) el vector fila anteriormente expresado, se tiene:

P(n+1) = P(n) • M (1)

donde la matriz cuadrada M está formada de elementos pij. Pues bien, cualquier matriz que posea las propiedades anteriores se denomina “matriz estocástica” o “matriz de transición”, ya que cada una de sus líneas constituye un vector estocástico Pi. Las probabilidades pij se llaman “probabilidades de transición”. Una cadena de Markov queda completamente definida por la matriz estocástica M y el vector P(0).

Ahora bien, psicológicamente hablando, es muy posible que una matriz estocástica pueda depender de la fecha o instante n, es decir, que las probabilidades de transición pij pueden ser funciones de n (hecho que puede comprobarse en experiencias con animales). Se tendría, en tal caso:

siendo dadas o “subjetivas” las pi(0) y las pij(n), para todos los valores de i, j y n. El proceso o cadena se denominaría, entonces, “no estacionario”.

Un proceso estocástico, gráficamente, queda determinado como sigue:

E0

E1

E2

Ei •Pi(n)

… Pij(n)

Ej •Pj(n+1)

EM

t0 t1 t2 ti tn …. tn+1

FIG. 7.2. Esquematización de la ecuación general.

No podemos ocuparnos en este trabajo en la extensión a propiedades y otras definiciones correspondientes a este aspecto de la Programación Dinámica, si bien aludiremos sólo a algunos conceptos muy importantes, a saber:

1- Si M es estocástica, se demuestra que Mr también lo es.

2- Sea M una matriz estocástica. La matriz: D=M-1, donde 1 es la matriz unidad de orden M ( sus elementos = 1), se denomina “matriz dinámica”.

La ecuación (1) puede, entonces, expresarse del siguiente modo:

P(n+1) – P(n) = P(n)D

(límite de una matriz = matriz de los límites), se dice que el sistema es “ergódico”, es decir, que posee un “régimen permanente” (podría ser el caso de algunos sistemas psicológicos). La matriz M que posee esta propiedad se denomina “matriz ergódica”, y se demuestra que si una matriz no es reductible ni separable, es ergódica.

Si además de ello,   es tal que todas sus filas son idénticas, se dice entonces que el sistema es “completamente ergódico” y, en este caso, el estado del sistema para un n cualquiera y suficientemente grande, sólo depende del estado inicial Eo. En efecto, suponiendo el sistema estacionario:

P(n) = P(0)Mn; de dónde:

donde es una de las líneas de  .

• CONTINUOS:

Un proceso estocástico se llama “continuo” cuando el tiempo interior no viene como una variable aleatoria, es decir, no está determinado el instante en que el sistema cambia de estado (obsérvese la correlación existente con el problema de la caja negra, o desconocimiento del individuo como sistema). Ejemplo representativo e interesante lo constituyen los “procesos de nacimiento y muerte” (en ellos, la variable aleatoria “tiempo” sigue una determinada distribución de probabilidad), definidos en la Teoría de Colas (fenómenos de espera) que adoptan la forma de ecuaciones de estado, como:

 = tasa media de llegadas (poissoniana)

Siendo ;

 = tasa media de servicio (poissoniana)

Estas ecuaciones generalizan numerosos casos particulares de los fenómenos de espera, v. gr., el de una tasa de servicio proporcional al número de unidades en el sistema (n=; n= n). En caso de “régimen permanente” (las probabilidades pn(t), de que el S. se encuentre en el En en el instante t, de un número n de unidades en el S., son independientes del tiempo), se tendría:

De cualquier modo, ya nos ocuparemos, en su lugar correspondiente, del posible tratamiento que la Teoría de las Colas puede realizar de los Sistemas psicológicos, razón por la cual no seguiremos extendiéndonos aquí sobre el tema.

Ejemplo de aplicación:

Un sistema psicológico puede presentar solamente dos estados E1 y E2 según unas probabilidades de transición desconocidas, y en uno u otro estado se puede tomar bien sea la decisión D1, bien sea la D2. Estas decisiones entrañan unos “costes” determinados recogidos en la tabla siguiente:

Decisión D1 Decisión D2

Transición Prob. Coste Prob. Coste

E1 → E1

E1 → E2

E2 → E1

E2 → E2 p(1)

q(1)

p(1)

q(1) 5

8

7

6 p(2)

q(2)

p(2)

q(2) 10

5

4

8

FIG. 7.3. Tabla de decisiones del problema.

a) La persona que controla este sistema psicológico decide aplicar la hipótesis de Laplace-Bayes y comenzar a tomar decisiones inmediatamente.

La sucesión de los estados del sistema, durante el período de observación, es el siguiente:

E1, E2, E1, E2, E2, E2 ;

¿qué estrategia óptima se puede deducir?

b) Al cabo de un número suficiente de periodos se ha encontrado:

q(1) = 0’78 ; p(1) = 0’22 ;

q(2) = 0’80 ; p(2) = 0’20 ;

¿cuál es entonces la estrategia óptima permanente?

Solución:

El grafo correspondiente de la tabla anterior es el siguiente:

FIG. 7.4. Grafo del sistema psicológico.

a) En el origen se suponen todos los acontecimientos equiprobables, con lo que:

p(1) = q(1) = p(2) = q(2) = ½.

Si se encuentra con E1 es preciso tomar la decisión D1 que sólo cuesta: (5+8)/2 = 6’5 en lugar de la decisión D2 que costaría (10+5)/2 = 7’5.

Si se encuentra con E2, habría elegido D2, puesto que:

(7+6)/2 = 6’5 > (4+8)/2 = 6’0.

Si ahora nos encontramos en el estado E2 podemos, siguiendo la hipótesis de Laplace-Bayes , reevaluar q(1) y p(1), resultando lo siguiente:

permaneciendo p(1) y q(2) sin alteración.

Se ve fácilmente que no hay ninguna modificación de la estrategia a adoptar, que será:

E1 : D1

E2 : D2

b) Pero las reevaluaciones sucesivas, al mismo tiempo que nuestro conocimiento del sistema aumenta, van a introducir luego una modificación en esta estrategia, tal como lo muestra esta tabla basada en la secuencia: E1, E2, E1, E2, E2, E2.

Transición (azar) Momento 1

E1 → E2 Momento 2

E2 → E1 Momento 3

E1 → E2 Momento 4

E2 → E2 Momento 5

E2 → E2

Decisión adoptada D1 D2 D1 D1 D1

Reevaluación

Conclusión

E1 : D1

E2 : D2 p(2) = 2/3,

q(2) = 1/3

E1 : D1

E2 : D2 q(1) = 3/4,

p(1) = 1/4,

E1 : D1

E2 : D1 Q(1) = 4/5,

p(1) = 1/5,

E1 : D1

E2 : D2 q(2) = 3/4,

p(2) = 1/4,

E1 : D2

E2 : D1

FIG. 7.5. Tabla de estrategias.

La estrategia óptima permanente, derivada de las observaciones que permiten fijar q(1) en 0’78 y q(2) en 0’80 es, en definitiva:

E1 : D2

E2 : D1