Какой тип агрегации каналов использовать для максимальной пропускной способности?

Вряд ли вам в такой конфигурации поможет балансировка. Лишняя конфигурация и обслуживание, а профита не будет. Балансировка хорошо помогает, когда у вас много клиентов подключаются -- тогда их общий трафик размазывается на несколько физических каналов. Но всё равно, ни один клиент не получит скорость больше, чем скорость одного интерфейса, т. е. 1G в вашем случае.

Возможна и обратная ситуация -- клиентов мало, но они ходят на кучу адресов (типичный вариант -- офисный интернет). Тогда LAG можно утилизировать В СУММЕ более полно. Но опять-таки, каждый клиент не получит больше скорости одного интерфейса. Так как пакеты одного соединения не размазываются на несколько интерфейсов.

Я бы, наверное, в такой ситуации настроил бы статически так, чтобы для каждого сервера его оба партнёра были доступны через выделенный интерфейс. Т.е.:

- сервер1 -- подключается к серверу2 через NIC1, а к серверу3 -- через NIC2
- сервер2 -- подключается к серверу 1 через свой NIC1, к серверу3 -- через свой NIC2
- сервер3 -- подключается к серверу 1 через свой NIC1, к серверу2 -- через NIC2

Меньше будет оверхеда на вычисление hash-ей в балансировке.

Ох.
1) Уходите с гластера. Используйте CEPH. Не делайте наших ошибок, он не расширяемый практически, да и с производительностью были проблемы. Тем более будут использовать его как хранилище образов, здесь CEPH на порядок лучше, отдает сразу блочное устройство.
2) Агрегацию - LACP, во первых это стандарт, во вторых, поддерживается на коммутаторах.
3) А еще лучше - две сети, одну на клиентов, вторую на гластер/ceph, причем не поскупитесь, ставьте 10Gb или Infiniband.