ivankomolin

Наверное лучшим решением будет копать в сторону Ansible, Chef и подобных систем управления конфигурациями.
Очень широко используются для указанных вами задач.

Чтобы работало после перезагрузки поменять можно тут: /etc/security/limits.conf
Учтите что начинает действовать только в следующем сеансе работы

Но начинать нужно не с этого)
1. Необходимо определиться сколько вам нужно открытых дескрипторов.
Команда которая покажет сколько открыл определенный процесс:
lsof -p 9189 | wc -l

2. Ответьте честно, действительно ли столько нужно? Или можно что-то оптимизировать в коде?
3. Если все таки нужно, то да, меняйте в /etc/security/limits.conf hard и soft
4. Перезагрузитесь или перезапустите сеанс, если не помогло см. п. 1

Клиенты sshfs есть и под windows. Другое дело что они требуют либо шаманства, либо оплаты.
Также никто не отменял ftp. Для обмена файлами это самый подходящий способ, совместимый с любыми платформами.

Про пользователя user в группе www-data все верно.
Теперь необходимо выставить правильный umask для пользователя user.
Таким образом, чтобы при создании файла права выставлялись 0664.

Базовые права для директорий, это 0777 (rwxrwxrwx) и для файлов 0666 (rw-rw-rw).
umask позволяет формировать права при создании для каждого пользователя отдельно.

Пример создания файла с маской 0022:
Права по умолчанию: 0666
Вычитаемое значение umask: 0022 (-)
Итоговые права: 0644

Чтобы получились правильные права, необходимо установить маску равной 0002

Пример создания файла с маской 0002:
Права по умолчанию: 0666
Вычитаемое значение umask: 0002 (-)
Итоговые права: 0664

Если я правильно понял, вы хотите отправить результат выполнения скрипта index.js отправить в виртуальную консоль /dev/tty6, а результат exec, который по ходу скрипта выполняется, отправить в текущую консоль.

Вот возможные варианты:
1. Передать результат выполнения exec в /dev/tty0 или /dev/console(т.е. в текущую активную консоль)
2. В момент запуска скрипта index.js передать внутрь значение текущей консоли, это /dev/tty (если вы сами запускаете скрипт) и результат exec отправлять туда.

Но какая-то странная задача перед вами стоит, если я все верно понял)

Если процессор многопоточный, запускайте в несколько потоков.
Задача архивации очень хорошо распараллеливается.

А если еще и видеокарта есть с поддержкой cuda, то bzip2-cuda вам в помощь.

Кажется вы доросли до системы контроля версий))

Ну а если по существу, то например копия исходной папки + команда diff.

Но если в папке текстовые файлы или файлы небольшие, то однозначно погуглите "системы контроля версий".
Кроме диффа будете видеть еще и сами изменения, по типу удалили такое-то слово в такой-то строчке.

Я не совсем понял это

сервер ( у которого сервый ip) получает полный доступ к машине

Но вы правильно заметили "портфорвардинг". Простое описание, как это можно реализовать:
1. Необходимо ssh серверу(на машине с серым ip) поменять порт который он слушает на другой(который не используется на машине с белым ip, например - 1020)
2. На машине с белым ip(это может быть роутер) настраиваем портфорвардинг всех запросов порта 1020 на серый ip на порт 1020
3. Подключаемся по ssh к белому ip указывая порт 1020 -> попадаем на машину с серым ip

А у вас действительно root?