Нормально ли, что чистая Ubuntu Server использует почти 400Мб оперативки?

Никуда ваша память не делась. Прочитать подробнее о том, что конкретно происходит, можно здесь - linuxatemyram.ru (оригинал)

в новой версии утилиты free сделали более понятней вывод, вот к примеру:

% free -h
              total        used        free      shared  buff/cache   available
Mem:           1,5G         26M         88M        372K        1,4G        1,3G
Swap:          756M          0B        756M

здесь параметр available это доступная для использования память - 1,3G
а buff/cache эта память(в основном кеш дисковых данных) большая часть из которой может быть высвобождена системой в любой момент когда это понадобится.

Убедится в этом можно проведя небольшой эксперимент по сбросу кеша, действие делается из под рута:
sync; echo 3 > /proc/sys/vm/drop_caches
теперь смотрим опять команду free:

% free -h                                
              total        used        free      shared  buff/cache   available
Mem:           1,5G         28M        1,4G        372K         27M        1,4G
Swap:          756M          0B        756M

buffers/cache. Попробуйте почитать про память в линуксе и что конкретно значат эти вещи.