3.2.4.2.3 Construcción adaptativa del Diccionario

Cuando un nuevo patrón es descubierto en el buffer de búsqueda, se entrega al módulo de construcción del diccionario "aprende" el patrón y agregándolo al diccionario. El patrón es agregado al diccionario asignándole una etiqueta interna, que entonces será utilizada para referir únicamente a este patrón. Puesto que el número de las etiquetas del diccionario es finito, el módulo de construcción del diccionario también contiene un componente "olvidarse" que desasocia con eficiencia una etiqueta de un viejo patrón, así permitiendo que la etiqueta sea reasignada a un nuevo patrón.

Los patrones que son seleccionados a ser olvidados son los que se utilizan lo menos frecuente posible y por lo tanto de menos importancia a los datos actuales. Así, si un patrón se utiliza con frecuencia (por ejemplo la palabra "El") podría permanecer en el diccionario indefinidamente mientras que un patrón con menos frecuencia usado (por ejemplo., la palabra "Quiropráctico") seguirá permaneciendo en el diccionario por un tiempo corto y pronto será substituida solamente por un patrón que ocurre con más frecuencia.

El módulo de construcción del diccionario se adapta a los datos que están siendo procesados, siempre manteniendo solamente los patrones más relevantes y más útiles del diccionario. Los procesos de aprender y olvidar de este módulo son ambos altamente eficientes y no comprometen la linealidad y la velocidad del algoritmo total. La memoria requerida para almacenar los patrones del diccionario es reducida al mínimo codificando las etiquetas y los patrones en una forma óptima compacta. Por lo tanto, como en un diccionario verdadero de la lengua, una tabla relativamente pequeña de patrones (10 Mbytes) puede codificar un número muy grande de secuencias originales de los datos (de 100 a 1000 Mbytes). La completa originalidad adaptativa de este proceso también asegura que el MSR pueda correr continuamente e incrementalmente sobre una secuencia indefinida de símbolos de entrada.