Не скажу за чистый Дебиан, но на Убунте вообще ничего собирать не надо, если использовать RVM, все ставится из пакетов. Вот, например, неплохая
статья на тему (только там еще и unicorn работает совместно с nginx, можно поступить проще и использовать только nginx +passenger).