Какие существуют современные средства в проектировании сервисов типа Instagram и Facebook?

Голова называется.

Сервисы типа FB, VK, Instы - создавались годами и десятилетиями.

1. Никто заранее на десятилетия вперед ничего не рисовал.
   
2. Никто не рисовал и не рисует схемы в полном объеме, рисуют только частичные. Для подсистем.
   

UML довльно объемлющий. И, скорее, нет средств проектирования как таковых, но есть подходы в реализации и технологии, которые выбираются в зависимости от исходных требований: фреймворки, готовые блоки, самописные модули и сервисы все склеивающие, реализующие основную логику.

Например https://www.draw.io или https://www.lucidchart.com

Существуют комплексные CASE средства для разработки информационных систем. Например ARIS и System Architect. Кроме этого существует такой подход к разработке ПО как разработка, управляемая моделями. В англоязычном варианте этой статьи перечислены инструменты, реализующие эту технологию. С точки зрения этих технологий перечисленные Вами приложения не являются сложными системами, но количественные изменения, переходят в качественные, поэтому в них сложность возникает в обработке больших объемов запросов и хранении больших объемов данных, поддержки доступности системы и доставки приложения пользователям. Это highload.