Какие есть решения для шифорвания коммуникаций между web-сайтом и клиентом без использования HTTPS?

Никаких
В песочнице вообще мало что от "екскаватора" можно защитить

Только наличие своего приложения дает возможность расчитывать на хоть какую-то безопасность обмена информацией

Встраивание в цепочку SSL/TLS осуществляется за счет установки фальшивого корневого сертификата на клиенте, т.е. если говорить более широко - за счет компрометации клиентского компьютера.

В такой постановке задачи, если злоумышленник захочет очень сильно, он может просто отображать для Вас то, что Вы хотите видеть, при этом по каналу связи передавать совершенно другое (фантазия может быть совершенно разнообразна).

Единственный выход - аппаратное устройство, системному и прикладному ПО которого, Вы доверяете. Если речь идет о небольших объемах информации, то можно посмотреть в сторону trust-screen-ов (SafeTouch , ruToken PINpad, Vasco DigiPass 920 и аналогичных).

Либо же, если имеется основание считать одновременный взлом Вашего ПК и смартфона маловероятным - различные аналогичные софварные решения, которые отображают на смартфоне ключевой блок информации с ПК.