С чего стоит начинать изучать AR?

Можно, пожалуйста, развернуть ваш ответ?

Вы уже посмотрели на возможности эти библиотек? Если нет то исходники, туториалы, официальная документация (OpenCV есть на русском). Остальное насколько я знаю закрытое, не предоставляет исходников и учит только как пользоваться, а не как это работает.
Я не специалист, но в общем случае весь современный AR это либо нахождение изображения(мб с искажениями) по характеристическим точкам, нахождение 3д объектов по такому же принципу(изображения с разных сторон+оптимизации), либо использование отдельных, зачастую не дешевых(начиная со стоимости кинекта) камер глубины.