Как обслуживают серверы работающие беспрерывно?

Отключают и обслуживают.
Как и все сервера.
В чем проблема отключить сервер?
Это сервисы должны работать без остановки, а сервера когда надо спокойно отключают.

Конкретно Google не очень удачный пример, там все дублированно на уровне железа. Поэтому потушив один сервер, все запросы переключатся на второй.
Ну и в крупных компаниях тоже самое, все сервисы дублируются, и выключение одной железяки не влияет на работу в целом.

В мелких просто обслуживание выполняется в нерабочее время или в период наименьшей нагрузки

Есть серверы с горячей заменой жёстких дисков, прямо не выключая один выдернул - другой воткнул и сразу всё заработало. Про дублирование информации сказали ранее.
Далее там специальные утилиты стоят которые измеряют везде температуру - так заранее избегают перегрева и и видят поломку кулеров.
На жёстких дисках там стоят системы (я точно не помню как называются) которые анализируют скорость и другие параметры чтения в них, по этим системам они видят какой диск вышел из строя а у какого плохое состояние и он скоро выйдет из строя.