Может ли человек навредить мне «перехватом» пакетов?

перехват пакетов возможен только на транзитных до сервера узлах сети, каждый из которых принадлежит какому-либо провайдеру или тырнет-компании.
и тут возникают два варианта:
1. он работает у ентого провайдера - провайдер таким положением вещей очень заинтересуется. а если слегка подстегнуть через слив в СМИ то и весьма сильно натянет онного админа.
2. он вскрыл сервера провайдеров - то им очень заинтересуется отдел К, что тоже весьма весело.

pfg21, он может и до провайдера wifi тырить, может быть и троян непосредственно на компьютере

Автору: SSH может юзать устаревшие протоколы. Обновите и у себя и на сервере и не используйте пароли(только по ключам). У "одного человека" запросите подтверждения(например своих действий).
Ну и в целом пройтись по настройкам и где нужно включить более строгие не помешает, особенно если серверов у вас менее десятка и они редко обновляют свои ключи.