Как отследить движение камеры по изменению карты глубины?

Я хочу коротко рассказать о задаче. У меня есть камера кинект и я вначале сохраняю нужное стартовое мне положение окружающей среды, то есть point cloud of start position. То есть первый frame это 3d Point cloud. Потом я двигаю, потоварачиваю или все вместе камеру и мне надо определить, куда двигать и поворачивать ее снова, что бы вернуться к старту. Сейчас я сравниваю каждый frame c со стартом с помощью ICP, но он же не будет уже работать, если поворот уже 180 градусов допустим.

Как можно поступить? Что можно посчитать?
И какие теги можно использовать:)