Как определить цвет пикселя за пределами холста canvas?

Добрый день, у меня не получается решить проблему определения цвета пикселя за пределами холста.
Я использую стороннюю библиотеку, которая отрисовывает графы на холсте. изображение на холсте может панорамироваться и масштабироваться.
getImageData() работает отлично, когда меня интересует цвет пикселя в пределах холста, однако порой (часто) мне нужно определять цвет пикселя, который с учетом панорамирования находится за пределами холста. Но в этом случае getImageData() говорит, что пиксель прозрачен.

Как можно получить цвет пикселя за пределами холста?