Las cámaras de vídeo atrapan información sobre los objetos de interés en forma de conjunto de pixeles. Al modelar la relación entre el aspecto del objeto de interés y el valor de los pixeles pertinentes, un seguidor de objetos valora la localización de este objeto en el tiempo. La relación entre el objeto y la proyección de su imagen es muy compleja y puede depender de más factores que no sean únicamente la situación del objeto, lo que implica que el seguimiento de objetos sea una labor bastante difícil.
Los primordiales desafíos que hay que tener en consideración en el diseño de un seguidor de objetos están relacionados con la semejanza de aspecto entre el objeto de interés y el resto de objetos en la escena, como la alteración de aspecto del propio objeto. Puesto que el aspecto tanto del resto de objetos como el fondo puede ser afín al del objeto de interés, esto puede interferir en su observación. En un caso así, las peculiaridades extraídas de esas áreas no deseadas puede ser bastante difícil de distinguir de las que se espera que el objeto de interés produzca. Este fenómeno se conoce con el nombre de clutter.
Dificultades del seguimiento
Además del reto de seguimiento que causa el clutter, los cambios de aspecto del objeto en el plano de la imagen complica el seguimiento ocasionado por uno o bien más de los siguiente factores siguientes:
- Cambios de situación. El objeto móvil de interés varia su aspecto cuando se proyecta sobre el plano de la imagen, por servirnos de un ejemplo, al virar.
- Iluminación entorno. La dirección, la intensidad y el tono de la luz de entorno influyen en el aspecto del objeto de interés. Además, los cambios en la iluminación global son frecuentemente un reto en las escenas al aire libre.
- Ruido. El proceso de adquisición de imágenes introduce en la señal de la imagen un cierto grado de estruendos que depende de la calidad del sensor. Las observaciones del objeto de interés pueden dañarse y por ende afectar al desempeño del seguidor.
- Oclusiones. Es posible que un objeto de interés no se observe bien cuando sea parcial o bien completamente tapado por otros objetos en la escena. Las oclusiones son por norma general debidas a:Un objeto de interés que se mueve tras un objeto estático, como por servirnos de un ejemplo una columna.Otros objetos que se mueven en la escena de forma que entorpecen la visión de un objeto de interés.
Representación del objeto
En un escenario de seguimiento, un objeto se puede delimitar como cualquier cosa que sea de interés para su siguiente análisis. Los objetos se pueden representar a través de sus formas y apariencias. Ahora se describen las representaciones de forma del objeto usadas generalmente:
- Puntos. El objeto está representado por un punto, esto es, por un centroide o bien por un conjunto de puntos. Normalmente, la representación de puntos es conveniente para el seguimiento de objetos que ocupan pequeñas zonas en una imagen.
- Formas geométricas primitivas. La manera del objeto se representa con un rectángulo, una elipse, etcétera El movimiento de estas representaciones es normalmente modelada por la traslación, afinidad o bien la transformación proyectiva (homografía). Si bien las formas geométricas primitivas son más convenientes para la representación de objetos recios simples, asimismo se usa para el seguimiento de objetos no recios.
- Silueta del objeto y contorno. La representación del contorno define el límite de un objeto. La zona en el contorno se conoce como la silueta del objeto. Estas representaciones son convenientes para el seguimiento de formas complejas no recias.
- Modelos articulados de forma. Los objetos articulados están formados por unas partes del cuerpo que están unidas por articulaciones. Por poner un ejemplo, el cuerpo humano es un objeto articulado por el torso, piernas, manos, cabeza y pies unidos por articulaciones. La relación entre estas partes se rige por los modelos del movimiento cinemático. Para representar un objeto articulado, se puede modelar los componentes usando tubos o bien elipses.
- Modelos esqueléticos. El esqueleto del objeto se puede extraer a través de la transformación del eje medio de la silueta del objeto. La representación del esqueleto se puede emplear para modelar objetos articulados y recios.
También hay múltiples formas de representar las peculiaridades de aspecto de los objetos. Hay que tomar en consideración que las representaciones de forma asimismo se pueden conjuntar con las de aspecto para hacer el seguimiento. Ciertas representaciones de aspecto más frecuentes son:
- La densidad de probabilidad del aspecto de los objetos. Las estimaciones de densidad de probabilidad del aspecto de los objetos pueden ser paramétricas o bien no paramétricas. Esta densidad de probabilidad (color, textura) se puede calcular desde las zonas de la imagen concretada por los modelos de forma (zona interior de una elipse o bien un contorno).
- Plantillas. Las plantillas están formadas con formas geométricas simples o bien siluetas. Una de los beneficios de las plantillas es que aporta tanto la información espacial como la de aspecto. Las plantillas, no obstante, solo codifican el aspecto de los objetos generados desde una única vista. Por ende, solo son convenientes para continuar objetos donde las situaciones no cambien sensiblemente al largo del seguimiento.
- Modelos activos de aspecto. Los modelos activos de aspecto se producen a través de el modelado simultáneo de la manera del objeto y su aspecto. Por norma general, la manera del objeto se define por un conjunto de puntos de referencia. Afín a la representación basada en el contorno, los puntos de referencia pueden radicar en la frontera del objeto o bien, de forma alternativa, pueden radicar en la zona de este. Por cada punto de referencia se guarda un vector de aspecto en forma de color, textura o bien magnitud del gradiente. Los modelos activos de aspecto requieren una fase de adiestramiento donde tanto la manera como su aspecto asociados se conocen desde un conjunto de muestras.
- Modelos de aspecto multivista. Estos modelos codifican distintos puntos de vista de un objeto. Un procedimiento para representar los diversos puntos de vista de un objeto es producir un subespacio de las proyecciones que se han dado.
Selección de características
Seleccionar las peculiaridades convenientes tiene un papel esencial en el seguimiento. Generalmente, la característica visual más deseada es la peculiaridad pues los objetos se pueden distinguir de forma fácil en el espacio de peculiaridades. Los detalles de las peculiaridades más habituales son los siguientes:
- Color: En el procesamiento de imágenes se usa generalmente el espacio de color RGB (colorado, verde y azul) para representar esta característica. Pese a ello, el espacio RGB no es un espacio de color percentualmente uniforme, y por consiguiente se han empleado una enorme pluralidad de espacios de color en el seguimiento. El color aparente de un objeto se ve influido primordialmente por 2 factores físicos:La distribución de energía fantasmal de la fuente.Las propiedades de reflectancia de la superficie del objeto.
- Márgenes. Los límites de los objetos acostumbran a producir fuertes cambios en la intensidad de la imagen. La detección de márgenes se usa para identificar dichos cambios. Una propiedad esencial de los márgenes es que son menos sensibles a los cambios de iluminación en comparación con las peculiaridades de color. Los algoritmos que hacen un seguimiento de los límites de los objetos acostumbran a emplear los márgenes como peculiaridades representativa.
- Flujo óptico. EL flujo óptico es un campo espeso de desplazamiento de vectores que define la traslación de cada pixel en una zona. Se calcula a través de la limitación de brillantez incesante y se usa por norma general como característica de la segmentación basada en movimiento, como en aplicaciones de seguimiento.
- Textura. La textura es una medida de la alteración de intensidad de una superficie que cuantifica las propiedades como por servirnos de un ejemplo la suavidad y la regularidad. En comparación con el color, la textura requiere una etapa de procesamiento para producir los descriptores. Afines a las peculiaridades de límites, las peculiaridades de textura son menos sensibles a los cambios de iluminación en comparación con el color.
Detección de la imagen
Ejemplo de detección de caras.
Cada procedimiento de seguimiento requiere un mecanismo de detección de objetos, así sea en todos y cada fotograma o bien cuando el primer objeto aparece en el vídeo. Un procedimiento común para la detección de objetos es el empleo de la información de un solo fotograma. Sin embargo, ciertos métodos de detección de objetos utilizan la información temporal calculada desde una secuencia de imágenes para reducir de esta forma el número de falsas detecciones. Esta información temporal se calcula por norma general con la técnica frame differencing, que pone de manifiesto las zonas variables en tramos sucesivos. Una vez se tiene presente las zonas del objeto en la imagen, es entonces labor del seguidor de efectuar la correspondencia de objeto de un fotograma a otro para producir el seguimiento. Los métodos más populares en el contexto del seguimiento de objetos son:
- Los detectores de puntos.
- La sustracción del fondo.
- La segmentación.
Detectores de puntos
Los detectores de puntos se usan para hallar los puntos de interés en imágenes que tienen una textura expresiva en sus respectivas localidades. Los puntos de interés se han empleado a lo largo de bastante tiempo en el contexto del movimiento y en los inconvenientes de seguimiento. Una característica deseable en lo que se refiere a los puntos de interés es su invariación en los cambios de iluminación y en el punto de vista de la cámara.
Sustracción del fondo
La detección de objetos se puede lograr a través de la construcción de una representación de la escena llamada modelo de fondo y después encontrando las desviaciones del modelo para cada fotograma entrante. Cualquier cambio significativo en una zona de la imagen del modelo de fondo representa un objeto móvil. Los pixeles que forman las zonas en proceso de cambio se marcan para su siguiente procesamiento. Generalmente, un algoritmo de componentes conectados se aplica para conseguir zonas conectadas que corresponden a los objetos. Este proceso se conoce como la sustracción de fondo.
Clasificación de las técnicas de segmentación de un objeto.
El objetivo de los algoritmos de segmentación de la imagen es dividir la imagen en zonas perceptualmente afines. Cada algoritmo de segmentación engloba 2 inconvenientes, los criterios para una buena partición y el procedimiento para lograr la partición eficaz. Existen diferentes técnicas de segmentación de objetos móviles que se pueden separar en 2 grandes grupos: las basadas en movimientos y las basadas en peculiaridades espaciotemporales.
Técnicas basadas en movimiento
Estas técnicas hacen empleo primordialmente de la información de movimiento. En este conjunto podemos distinguir 2 tipos: los que trabajan con el movimiento en 2 dimensiones (2D) y los que lo hacen en 3 (3D). En las técnicas en 2 dimensiones encontramos:
- Técnicas basadas en las discontinuidades del flujo óptico. Esta técnica efectúa la segmentación basada en el desplazamiento o bien en el flujo óptico. Este desplazamiento o bien flujo óptico de un pixel es un vector de movimiento que representa el movimiento entre el pixel en una imagen y el pixel pertinente en la próxima imagen.
- Técnicas basadas en la detección de cambios. El objetivo principal de estos algoritmos es la detección de los pixeles del objeto y los pixeles de fondo. Los algoritmos de detección aceptan que el fondo es por norma general estacionario y tiene un movimiento simple global y que además de esto los cambios entre imágenes sucesivas se deben al movimiento.
Los modelos de movimiento en 2D son bien simples, mas menos realistas. Como consecuencia, los sistemas de segmentación en 3D son los más usados en la práctica. En los métodos en 3 dimensiones se pueden distinguir 2 algoritmos diferentes:
El SFM en general maneja escenas 3D que poseen información relevante de profundidad, al tiempo que en los métodos paramétricos no se acepta esta profundidad. Otra diferencia esencial entre los 2 algoritmos es que en el SFM se acepta un movimiento recio, al paso que en los algoritmos paramétricos solo se acepta rigidez de movimiento en unas partes de la escena.
Técnicas espaciotemporales
Los métodos de segmentación basados solamente en movimiento son sensibles a las imprecisiones de la valoración de movimiento. Para solventar estos inconvenientes, en los métodos espaciotemporales se plantea complementar el movimiento a través de el empleo de la información espacial. Hay 2 enfoques dominantes:
- Basados en límites. Estos métodos se fundamentan en la extracción de márgenes muy sobresalientes para fraccionar los objetos de interés. Las peculiaridades de los márgenes asimismo se han empleado en el contexto de modelos activos de contorno.
- Basados en zonas. Esta técnica se centra en un conjunto de zonas o bien particiones iniciales por norma general definidas con peculiaridades espaciales o bien espaciotemporales. La meta de esta partición es suministrar un soporte mayor sobre el que se derivará el movimiento. Usando la información de toda la zona, el movimiento se usa para guiar el proceso de segmentación.
Técnicas de seguimiento de objetos
El seguimiento de objetos es una labor fundamental en el campo del procesado de vídeo. El principal objetivo de las técnicas de seguimiento de objetos es producir la trayectoria de un objeto a través del tiempo, posicionando este en la imagen. Podemos hacer una clasificación de técnicas conforme 3 grandes grupos: seguimiento de puntos, seguimiento de núcleo (kernel) y seguimiento de siluetas.
Esquema de las distintas técnicas usadas para efectuar el seguimiento de objetos.
Técnicas de seguimiento de puntos
Los objetos detectados en imágenes sucesivas están representados cada uno de ellos por uno o bien múltiples puntos y la asociación de estos está basada en el estado del objeto en la imagen precedente, que puede incluir situación y movimiento. Se precisa de un mecanismo externo que advierta los objetos de cada fotograma. Esta técnica puede presentar inconvenientes en escenarios donde le objeto presenta oclusiones y en las entradas y salidas de estos. Las técnicas de seguimiento de puntos se pueden clasificar asimismo en 2 grandes categorías:
- Deterministas. Determinan el costo de correspondencia mediante una predicción futura del comportamiento del objeto desde el precedente. Este costo se define generalmente como una combinación de las próximas restricciones:Proximidad.Velocidad máxima.Cambios de velocidad pequeños.Movimiento común.Rigidez.Uniformidad por cercanía.
- Estadísticos. Estos métodos solventan los inconvenientes de seguimiento considerando las observaciones y las incertidumbres del modelo para la valoración del estado del objeto que se sigue. Usan el espacio de estados para modelar las propiedades del objeto como la situación, la velocidad y la aceleración. Las observaciones consisten en general en la situación del objeto en la imagen, que se consigue a través de mecanismos de detección. Ciertos métodos usados son:
Técnicas de seguimiento del núcleo (kernel)
Las técnicas de seguimiento del núcleo efectúan un cálculo del movimiento del objeto, el que está representado por una zona inicial, de una imagen a la próxima. El movimiento del objeto se expresa generalmente en forma de movimiento paramétrico (traslación, rotación, similar...) o bien a través de el campo de flujo calculado en los próximos fotogramas. Podemos distinguir 2 categorías:
- Seguimiento usando plantillas y modelos de apariencia basados en densidad de probabilidad. El procedimiento que más se usa en esta categoría es el llamado template matching.
- Seguimiento basado en modelos multivista. Se emplea cuando el aspecto del objeto cambia drásticamente y como consecuencia se pierde el seguimiento de este objeto.
Técnicas de seguimiento de siluetas
Estas técnicas se efectúan a través de la valoración de la zona del objeto en todos y cada imagen usando la información que contiene. Esta información puede ser en forma de densidad de aspecto o bien de modelos de manera que son normalmente presentados con mapas de márgenes. Dispone de 2 métodos:
- Correspondencia de forma. Se busca la silueta del objeto y su modelo asociado en la imagen actual.
- Seguimiento del contorno. Evolucionan un contorno inicial en un fotograma precedente a la nueva situación en el fotograma actual.
Seguimiento de objetos 
