Iproute2, пять внешних IP, LARTC, почему не работает?

Question

nallion @nallion

Iproute2, пять внешних IP, LARTC, почему не работает?

Задача такая
Есть внешний сервер, к нему подключены 5 внешних (Белых) IP
Нужно поднять на нем 5 соксов, на разных портах, каждый сокс должен смотреть через свой внешний IP. Этакий прокси-роутер :)

Что имеем:

ifconfig:

venet0    Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet addr:127.0.0.2  P-t-P:127.0.0.2  Bcast:0.0.0.0  Mask:255.255.255.255
          UP BROADCAST POINTOPOINT RUNNING NOARP  MTU:1500  Metric:1
          RX packets:1239 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1141 errors:0 dropped:1 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:92654 (90.4 KiB)  TX bytes:122191 (119.3 KiB)

venet0:0  Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet addr:93.170.123.191  P-t-P:93.170.123.191  Bcast:93.170.123.191  Mask:255.255.255.255
          UP BROADCAST POINTOPOINT RUNNING NOARP  MTU:1500  Metric:1

venet0:1  Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet addr:93.170.123.201  P-t-P:93.170.123.201  Bcast:93.170.123.201  Mask:255.255.255.255
          UP BROADCAST POINTOPOINT RUNNING NOARP  MTU:1500  Metric:1

venet0:2  Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet addr:93.170.123.208  P-t-P:93.170.123.208  Bcast:93.170.123.208  Mask:255.255.255.255
          UP BROADCAST POINTOPOINT RUNNING NOARP  MTU:1500  Metric:1

venet0:3  Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet addr:93.170.123.212  P-t-P:93.170.123.212  Bcast:93.170.123.212  Mask:255.255.255.255
          UP BROADCAST POINTOPOINT RUNNING NOARP  MTU:1500  Metric:1

venet0:4  Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet addr:93.170.123.213  P-t-P:93.170.123.213  Bcast:93.170.123.213  Mask:255.255.255.255
          UP BROADCAST POINTOPOINT RUNNING NOARP  MTU:1500  Metric:1

Создал 5 юзеров в системе c UID 1000,1001,1002,1003,1004 (1,2,3,4,5)
И пытаюсь назначить для них разные шлюзы

/etc/rc.local

/sbin/iptables -t mangle -A OUTPUT -m owner --uid-owner 1000 -j MARK --set-mark 1
/sbin/iptables -t mangle -A OUTPUT -m owner --uid-owner 1001 -j MARK --set-mark 2
/sbin/iptables -t mangle -A OUTPUT -m owner --uid-owner 1002 -j MARK --set-mark 3
/sbin/iptables -t mangle -A OUTPUT -m owner --uid-owner 1003 -j MARK --set-mark 4
/sbin/iptables -t mangle -A OUTPUT -m owner --uid-owner 1004 -j MARK --set-mark 5
/bin/ip rule add fwmark 1 table P1
/bin/ip rule add fwmark 2 table P2
/bin/ip rule add fwmark 3 table P3
/bin/ip rule add fwmark 4 table P4
/bin/ip rule add fwmark 5 table P5
/bin/ip route add default via 93.170.123.191 dev venet0:0 table P1
/bin/ip route add default via 93.170.123.201 dev venet0:1 table P2
/bin/ip route add default via 93.170.123.208 dev venet0:2 table P3
/bin/ip route add default via 93.170.123.212 dev venet0:3 table P4
/bin/ip route add default via 93.170.123.213 dev venet0:4 table P5

после чего делаю su 4

4@alex:/root$ curl -s http://whatismijnip.nl |cut -d " " -f 5
93.170.123.191

и под каким бы юзером не зашел (через su) 1-5, под всеми этот один IP
что у меня не так?

Диагностика:

root@alex:~# iptables -L -t mangle
Chain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
MARK       all  --  anywhere             anywhere             owner UID match 1 MARK set 0x1
MARK       all  --  anywhere             anywhere             owner UID match 2 MARK set 0x2
MARK       all  --  anywhere             anywhere             owner UID match 3 MARK set 0x3
MARK       all  --  anywhere             anywhere             owner UID match 4 MARK set 0x4
MARK       all  --  anywhere             anywhere             owner UID match 5 MARK set 0x5

root@alex:~# ip rule list
0:      from all lookup local
32761:  from all fwmark 0x5 lookup P5
32762:  from all fwmark 0x4 lookup P4
32763:  from all fwmark 0x3 lookup P3
32764:  from all fwmark 0x2 lookup P2
32765:  from all fwmark 0x1 lookup P1
32766:  from all lookup main
32767:  from all lookup default

root@alex:~# ip route list table P1
default via 93.170.123.191 dev venet0
root@alex:~# ip route list table P2
default via 93.170.123.201 dev venet0
root@alex:~# ip route list table P3
default via 93.170.123.208 dev venet0
root@alex:~# ip route list table P4
default via 93.170.123.212 dev venet0
root@alex:~# ip route list table P5
default via 93.170.123.213 dev venet0

root@alex:~# route add whatismijnip.nl gw 93.170.123.212 
root@alex:~# curl -s http://whatismijnip.nl |cut -d " " -f 5 
93.170.123.212

а так работает!
вообще странно что когда я su делаю на юзера, у меня грузится без обратного nat'a что-то под ним!
такое чувство что не работает iptables mark+iproute

Вопрос задан более трёх лет назад
388 просмотров

Комментировать

Подписаться 1 Оценить Комментировать

Пригласить эксперта

Ответы на вопрос 1

10 комментариев

Руслан Федосеев @martin74ua Куратор тега Системное администрирование

и из опыта
сначала формируем таблицу, потом переключаем ip rule
и во время работы не допускайте, чтобы таблица становилась пустой. я в такой ситуации kernel panic ловил

Написано более трёх лет назад
nallion @nallion Автор вопроса

Руслан Федосеев:
так? (в /etc/rc.local)
не работает же)
/bin/ip route add default via 93.170.123.191 table P1
/bin/ip route add default via 93.170.123.201 table P2
/bin/ip route add default via 93.170.123.208 table P3
/bin/ip route add default via 93.170.123.212 table P4
/bin/ip route add default via 93.170.123.213 table P5

Написано более трёх лет назад
Руслан Федосеев @martin74ua Куратор тега Системное администрирование

нет. шлюз одинаковый, меняете src
ip route add default via sys_gw src 93.170.123.191 table P1

Написано более трёх лет назад
nallion @nallion Автор вопроса

root@alex:~# ip route
default dev venet0 scope link

root@alex:~# ifconfig venet0
venet0 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
inet addr:127.0.0.2 P-t-P:127.0.0.2 Bcast:0.0.0.0 Mask:255.255.255.255
UP BROADCAST POINTOPOINT RUNNING NOARP MTU:1500 Metric:1
RX packets:124898 errors:0 dropped:0 overruns:0 frame:0
TX packets:121839 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:10728635 (10.2 MiB) TX bytes:15084381 (14.3 MiB)

Пробую

/bin/ip route add default dev venet0 src 93.170.123.191 table P1
/bin/ip route add default dev venet0 src 93.170.123.201 table P2
/bin/ip route add default dev venet0 src 93.170.123.208 table P3
/bin/ip route add default dev venet0 src 93.170.123.212 table P4
/bin/ip route add default dev venet0 src 93.170.123.213 table P5

не работает!

Написано более трёх лет назад
Руслан Федосеев @martin74ua Куратор тега Системное администрирование

блин... default gw в основной таблице кто??? Вот его и прописывайте. Вам src в пакетах менять надо. Это можно либо так, либо snat.

Написано более трёх лет назад
nallion @nallion Автор вопроса

Руслан Федосеев: если бы все было так просто, я не писал бы сюда

route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 0.0.0.0 0.0.0.0 U 0 0 0 venet0

root@alex:~# ip route
default dev venet0 scope link

выдержка из /etc/network/interfaces

# Auto generated venet0 interface
auto venet0
iface venet0 inet manual
up ifconfig venet0 up
up ifconfig venet0 127.0.0.2
up route add default dev venet0

и выдержка из ifconfig venet0
venet0 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
inet addr:127.0.0.2 P-t-P:127.0.0.2 Bcast:0.0.0.0 Mask:255.255.255.255
UP BROADCAST POINTOPOINT RUNNING NOARP MTU:1500 Metric:1
RX packets:13256 errors:0 dropped:0 overruns:0 frame:0
TX packets:14098 errors:0 dropped:4 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:3412340 (3.2 MiB) TX bytes:3963966 (3.7 MiB)

получается default gw в основной таблице 127.0.0.2
если я делаю route add 8.8.8.8 gw 127.0.0.2 - 8.8.8.8 пингуется

а внешние ипы - это алиасы к venet0

venet0:0 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
inet addr:93.170.123.191 P-t-P:93.170.123.191 Bcast:93.170.123.191 Mask:255.255.255.255
UP BROADCAST POINTOPOINT RUNNING NOARP MTU:1500 Metric:1

venet0:1 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
inet addr:93.170.123.201 P-t-P:93.170.123.201 Bcast:93.170.123.201 Mask:255.255.255.255
UP BROADCAST POINTOPOINT RUNNING NOARP MTU:1500 Metric:1

venet0:2 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
inet addr:93.170.123.208 P-t-P:93.170.123.208 Bcast:93.170.123.208 Mask:255.255.255.255
UP BROADCAST POINTOPOINT RUNNING NOARP MTU:1500 Metric:1

venet0:3 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
inet addr:93.170.123.212 P-t-P:93.170.123.212 Bcast:93.170.123.212 Mask:255.255.255.255
UP BROADCAST POINTOPOINT RUNNING NOARP MTU:1500 Metric:1

venet0:4 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
inet addr:93.170.123.213 P-t-P:93.170.123.213 Bcast:93.170.123.213 Mask:255.255.255.255
UP BROADCAST POINTOPOINT RUNNING NOARP MTU:1500 Metric:1

Написано более трёх лет назад
nallion @nallion Автор вопроса

получается по-Вашему надо так

/bin/ip route add default gw 127.0.0.2 src 93.170.123.191 table P1
/bin/ip route add default gw 127.0.0.2 src 93.170.123.201 table P2
/bin/ip route add default gw 127.0.0.2 src 93.170.123.208 table P3
/bin/ip route add default gw 127.0.0.2 src 93.170.123.212 table P4
/bin/ip route add default gw 127.0.0.2 src 93.170.123.213 table P5

Написано более трёх лет назад
Руслан Федосеев @martin74ua Куратор тега Системное администрирование

ну или add default dev venet0 src a.b.c.d table p1

Написано более трёх лет назад
nallion @nallion Автор вопроса

Руслан Федосеев: я Вам это и писал четырьмя постами выше

Пробую

/bin/ip route add default dev venet0 src 93.170.123.191 table P1
/bin/ip route add default dev venet0 src 93.170.123.201 table P2
/bin/ip route add default dev venet0 src 93.170.123.208 table P3
/bin/ip route add default dev venet0 src 93.170.123.212 table P4
/bin/ip route add default dev venet0 src 93.170.123.213 table P5

не работает!

в общем, забил я пока на iproute, пробую делать через snat.
оно должно работать, но не работает)

/sbin/iptables -A OUTPUT -t mangle -m owner --uid-owner 1000 -j MARK --set-mark 1
/sbin/iptables -A OUTPUT -t mangle -m owner --uid-owner 1001 -j MARK --set-mark 2
/sbin/iptables -A OUTPUT -t mangle -m owner --uid-owner 1002 -j MARK --set-mark 3
/sbin/iptables -A OUTPUT -t mangle -m owner --uid-owner 1003 -MARK --set-mark 4
/sbin/iptables -A OUTPUT -t mangle -m owner --uid-owner 1004 -j MARK --set-mark 5
/sbin/iptables -t nat -A POSTROUTING -m mark --mark 1 -j SNAT --to-source 93.170.123.191
/sbin/iptables -t nat -A POSTROUTING -m mark --mark 2 -j SNAT --to-source 93.170.123.201
/sbin/iptables -t nat -A POSTROUTING -m mark --mark 3 -j SNAT --to-source 93.170.123.208
/sbin/iptables -t nat -A POSTROUTING -m mark --mark 4 -j SNAT --to-source 93.170.123.212
/sbin/iptables -t nat -A POSTROUTING -m mark --mark 5 -j SNAT --to-source 93.170.123.213

тут другая напасть o.O

iptables v1.4.14: can't initialize iptables table `nat': Table does not exist (do you need to insmod?)
Perhaps iptables or your kernel needs to be upgraded.

виртуалка на openvz, может быть есть смысл спросить у хостера?

Написано более трёх лет назад
nallion @nallion Автор вопроса

Ладно, поставили ss5 и привязали к интерфейсам. Все работает без заморочек с lartc.

Написано более трёх лет назад