Реализовывал подобное через Window.postMessage()
Сайт внутри фрейма средствами js считывает свою высоту и передает в postMessage.
Сайт, на который встроен фрейм слушает сообщение и меняет высоту фрейма на полученное значение.
Одна особенность: если высота сайта внутри фрейма может меняться, то на каждое изменение высоты надо добавлять передачу нового значения высоты
