Optical flow y caracterización del movimiento

El flujo óptico es un patrón del movimiento aparente de los objetos en una imagen, considerado entre dos fotogramas consecutivos, determinado por el movimiento del objeto o de la cámara. 

Si consideramos el caso 2D + t, donde t es el tiempo que transcurre de una fotograma a otra, si un pixel de intensidad $I (x, y, t)$ $(1)$ en la siguiente fotograma sera caracterizado por $I(x + \Delta x, y + \Delta y, t + \Delta t)$ $(2)$ . Igualando las ecuaciones (1) y (2), la intensidad es constante, y haciendo el desarrollo en serie Taylor en el termino derecho obtendremos:

$uI_{x} + vI_{y}+I_{t} =0$, 
donde $I_{x}= \frac{\partial I}{\partial x}$, $I_{y}=\frac{\partial I}{\partial y}$, $I_{t}=\frac{\partial I}{\partial t}$ , y las variables $u = \frac{dx}{dt}$, $v = \frac{dy}{dt}$ que respresentan los vectores de flujo óptico. 
Es una ecuación de dos variables con dos incógnitas $(u,v)$ y hay varios métodos para resolverla. Un método ampliamente utilizado es el Lucas-Kande cuya solución es:

\begin{equation}
\begin{bmatrix}
u \\
v
\end{bmatrix}
=
\begin{bmatrix}
  \sum_{i}(I_{x_{i}})^2 & \sum_{i}(I_{x_{i}}I_{y_{i}}) \\
  \sum_{i}(I_{x_{i}}I_{y_{i}}) & \sum_{i}(I_{y_{i}})^2
\end{bmatrix}^{-1}
\begin{bmatrix}
       -\sum_{i}(I_{x_{i}}I_{t_{i}})\\
       -\sum_{i}(I_{y_{i}}I_{t_{i}})
\end{bmatrix}
\end{equation}

Hemos aplicado el optical flow para caracterizar la cinemática de distintos elementos de una excavadora como por ejemplo los pistones hidráulicos, el cazo, etc, tal como se ve en el video. Obtendremos de esta forma las coordenadas $x$ e $y$ del elemento a caracterizar, en cada fotograma.