Как найти матрицу перехода по векторам?

Конечно возможно, если среди v1, v2 ... будут хотя бы 4 линейно независимых вектора.
Если расписать View*v1 = v1", то вы получите систему линейных уравнений, 4 уравнения и 16 неизвестных (неизвестные – это элементы матрицы View).
Далее, к этим уравнениям допишем уравнения ещё 4 уравнения View*v2 = v2". Получится уже система с 8-мью уравнениями и 16 неизвестными.
И т.д.
В итоге, проделав это со всеми vi, vi", у вас получится 4*n уравнений и 16 неизвестных.

Судя по названию View, вы работаете в терминах компьютерной графики, когда векторы - строки и умножаются на матрицу слева: v1' = v1*View.
Берёте 4 линейно независимых вектора v1,v2,v3,v4, составляете из них матрицу M, в которой они записаны по строкам. Из соответствующих векторов v1',v2',v3',v4' строите матрицу M'. Тогда M' = M*View (это довольно очевидно - достаточно вспомнить, как перемножаются матрицы). Отсюда, View = Inverse(M)*M' (умножаем предыдущую формулу на Inverse(M) слева).
Если пар больше 4, и соответствия только приближённые, то ситуация сложнее - придётся звать на помощь метод наименьших квадратов. Если на матрицу View есть какие-то ограничения, то тоже придётся ещё повозиться (потому что матрица, вычисленная по первым 4 векторам, может быть, например, не совсем ортогональной).