Как заставить клиентов, уже оформивших заказ в интернет-магазине, оплатить этот заказ?

Универсального рецепта нет, но думаю вам стоит проверить удобство работы с вашим магазином со стороны пользователя.
Очень часто неоплаченные заказы возникают по следующей причине - например нельзя посчитать окончательную сумму с доставкой не сделав заказ. Т.е человек делает заказ не для того чтобы купить, а для того чтобы узнать стоимость.
Так же зачастую делают заказы не собираясь в данный момент покупать, чтобы прицениться, посчитать, и сохранить выбранный набор товаров.

Т.е дайте возможность покупателю считать стоимость с доставкой, не делая заказа, и возможность сохранять корзину между сеансами работы, и пустых заказов станет меньше.

Вам бы обратиться в агентство интернет-маркетинга.

Какие потенциальные проблемы могут быть:
1. Пользователям "неудобно" оплачивать заказ(именно на вашем магазине).
2. Есть какие-то отвлекающие факторы в процессе заказа(перед оплатой).

Какие потенциальные решения(последовательность):
1. Настроить анализ sales funnel, например, в Google Analytics. Недавно там появилась такая штука, как Enhanced E-commerce, позволяющая очень детально следить за процессами в интернет-магазинах
2. Проанализировать, куда уходят пользователи, что для них может быть неудобным. Оценить юзабилити, посмотреть и пройтись по процессу продаж у конкурентов. Все это общие слова(без взгляда на сам сайт сложно что-то предлагать), но тем не менее.
3. Попробовать что-то изменить/улучшить. Проанализировать эффективность изменений, например, с помощью A/B-тестирования.

Кстати, раз вы отсылаете напоминания, возможно, имеет смысл предлагать пользователю некую скидку. Ее размер и смысл предложения зависят от характера вашего интернет-магазина. Например, если человек хочет купить iPhone 5s, он может выбирать его несколько дней, и ваше предложение может оказаться ему очень актуальным. Если же вы продаете товары подешевле, возможно, к моменту получения сообщения от вас пользователь уже сделал покупку у конкурентов.