Как я могу заполнить пустое пространство соседними блоками?

Есть сетка на flex-box: jsbin.com/qasepi/edit?html,css,output

Важное свойство - она перестраивается в зависимости от высоты контейнера, а не от ширины (привет float)
Нужно заполнить пустые пространства соседними блоками. Блоки могут быть разного размера, но всегда размера кратного минимальному блоку.

Есть у кого-нибудь решение на чистой вёрстке без JS или с самым минимальным его использованием?
Isotope и большие велики на JS не предлагать - это в крайнем случае. Хочу попробовать найти простой способ.