Как получить два нажатых объекта unity 3d?

2d. Имеется несколько объектов (пусть будут Rect'ы). При нажатии (пальцем/мышкой) на 2 объекта - они меняются местами.
Трабла в том, чтобы найти эти два нажатых объекта. Через IPointerDownHandler и OnPointerDown по ходу не подходит, потому что этот скрипт вешается на сам объект. Как я понимаю, нужно вешать обработчик касаний на камеру мб. Чтобы найти объект первого касания, потом второго и поменять их местами