Тюнинг freebsd?

Question

xandr0s @xandr0s

Тюнинг freebsd?

На FreeBSD поднят балансировщик HaProxy, временами в логах появляются сообщения

Proxy *** reached system memory limit at 67 sockets. Please check system tunables.

По истечении короткого промежутка времени после ряда подобного рода сообщений сервер теряет связь с внешним миром до перезагрузки. Вот вывод netstat -m:

2004/2991/4995 mbufs in use (current/cache/total)

2001/1803/3804/32768 mbuf clusters in use (current/cache/total/max)

2001/1583 mbuf+clusters out of packet secondary zone in use (current/cache)

0/135/135/12800 4k (page size) jumbo clusters in use (current/cache/total/max)

0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)

0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
4503K/4893K/9396K bytes allocated to network (current/cache/total)

0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)

0/0/0 requests for jumbo clusters denied (4k/9k/16k)

0/0/0 sfbufs in use (current/peak/max)

0 requests for sfbufs denied

0 requests for sfbufs delayed

0 requests for I/O initiated by sendfile

0 calls to protocol drain routines

Если количество mbuf, сокетов и кластеров я нашел как увеличить с помощью sysctl, то под выделение памяти (выделенное жирным) не получается найти переменных. Подскажите, в какую сторону копать? Есть мысли, что проблема заключается именно в этом.

Вопрос задан более трёх лет назад
5148 просмотров

Комментировать

Подписаться 5 Оценить Комментировать

Решения вопроса 1

8 комментариев

xandr0s @xandr0s Автор вопроса

129374K bytes

вот это вы как изменили? из вышеперечисленных первый уже сдвигал, второй щас тоже увеличил.

Написано более трёх лет назад
Владислав @click0

и перегрузили сервер?

Написано более трёх лет назад
xandr0s @xandr0s Автор вопроса

да, стало меньше тут:

3311K/4144K/7455K bytes allocated to network (current/cache/total)

Написано более трёх лет назад
Владислав @click0
Покажите:

uname -a egrep -v '#|^$' /etc/sysctl.conf
Написано более трёх лет назад
xandr0s @xandr0s Автор вопроса

# uname -a
FreeBSD HF1 8.3-RELEASE FreeBSD 8.3-RELEASE #0: Mon Apr 9 21:23:18 UTC 2012 root@mason.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC amd64
# egrep -v '#|^$' /etc/sysctl.conf
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
kern.ipc.somaxconn=4096
net.inet.tcp.sendspace=65536
net.inet.tcp.recvspace=65536
net.inet.tcp.msl=15000
net.inet.icmp.icmplim=50
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
net.inet.tcp.drop_synfin=1
kern.ipc.nmbclusters=400000
net.inet.tcp.maxtcptw=40960
kern.ipc.maxsockets=204800
net.inet.ip.portrange.first=1000
net.inet.ip.portrange.last=65535
net.inet.ip.portrange.randomized=0
kern.ipc.maxsockbuf=83886080

вроде понял, выделенная память увеличивается по мере надобности

Написано более трёх лет назад

Владислав @click0

Еще повысьте значения, тогда больше памяти зарезервируется под сеть.

kern.ipc.shmmax=67108864
kern.ipc.shmall=67108864
net.inet.tcp.rfc3465=0
net.graph.maxdgram=8388608
net.graph.recvspace=8388608
net.route.netisr_maxqlen=4096
kern.ipc.maxsockbuf=83886080
net.inet.tcp.recvbuf_inc=524288
net.inet.tcp.recvbuf_max=16777216
net.inet.tcp.sendbuf_inc=524288
net.inet.tcp.sendbuf_max=16777216
net.inet.tcp.sendspace=65536

Написано более трёх лет назад

xandr0s @xandr0s Автор вопроса

Хорошо, спасибо. Почти все применил. Ядро без NETGRAPH_SOCKET (нагуглил, что именно это требуется для управления net.graph.x параметрами).

Написано более трёх лет назад
Владислав @click0
Сделайте еще грязный хак:

- edit /usr/src/sys/sys/select.h and /usr/include/sys/select.h files and modify there FD_SETSIZE value from 1024U to 16384U: #ifndef FD_SETSIZE #define FD_SETSIZE 16384U

Перед сборкой мира.
И потом пересобирите приложения, требующих более 1024 открытых сокетов.
Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 1

1 комментарий

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Highload

+1 ещё

Простой
Существует ли практика выставления приоритета запросу в очереди сообщений?
- 4 подписчика
- 17 февр.
- 1156 просмотров
1

ответ
Python

+2 ещё

Простой
Что выбрать в качестве промежуточного хранилища в проекте?
- 6 подписчиков
- 12 февр.
- 2455 просмотров
3

ответа
.NET

+3 ещё

Простой
Как реализовать атомарное обновление 2 файлов?
- 4 подписчика
- 26 янв.
- 987 просмотров
3

ответа
Базы данных

+3 ещё

Сложный
Какие есть инструменты и решения для экстремально быстрой online-аналитики потоковых данных?
- 4 подписчика
- 21 янв.
- 944 просмотра
3

ответа
Nginx

+1 ещё

Простой
Тест nginx -- сколько сообщений в log без потерь?
- 9 подписчиков
- 16 янв.
- 3233 просмотра
1

ответ
Компьютерные сети

+1 ещё

Сложный
FreeBSD v.14 — как настроить запуск сервиса wireguard?
- нет подписчиков
- 13 янв.
- 225 просмотров
1

ответ
Highload

Простой
Как создать новостную ленту подписчиков на высоконагруженных веб-проектах?
- 1 подписчик
- 03 янв.
- 57 просмотров
1

ответ
Linux

+1 ещё

Простой
Access логи. Нужны ли на серверах с большой опсещаемостью?
- 1 подписчик
- 03 янв.
- 152 просмотра
5

ответов
Виртуализация

+3 ещё

Сложный
Как перенести виртуальную машину FreeBSD с Proxmox на Hyper-V?
- 1 подписчик
- 18 дек. 2023
- 160 просмотров
1

ответ
Компьютерные сети

+1 ещё

Простой
Не работает мост с двумя и более интерфейсами в Freebsd?
- 1 подписчик
- 17 нояб. 2023
- 88 просмотров
0

ответов
Показать ещё Загружается…

Backend Developer в бьюти-платформу LUUK

УК «Решения» • Москва

от 200 000 ₽

Angular frontend developer, разработчик middle+

IT Force • Краснодар

от 200 000 ₽

Middle+ Marketing manager

Правое полушарие Интроверта

от 120 000 ₽

Доработать клиентское приложение для GTA 5 на C#

20 апр. 2024, в 00:51

1000 руб./за проект

Верстка и логика формы выбора билетов в зале для покупки

20 апр. 2024, в 00:43

10000 руб./за проект

Разработать формирование УПД на Java

20 апр. 2024, в 00:28

20000 руб./за проект

Answer 1 · 2013-11-09 15:40:53

Еще

kern.ipc.nmbclusters=400000
kern.ipc.maxsockbuf=83886080

У меня вот:

21502/10887/32389 mbufs in use (current/cache/total)
20464/7831/28295/400000 mbuf clusters in use (current/cache/total/max)
20464/7823 mbuf+clusters out of packet secondary zone in use (current/cache)
0/0/0/253036 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/74973 9k jumbo clusters in use (current/cache/total/max)
0/0/0/42172 16k jumbo clusters in use (current/cache/total/max)
92607K/36767K/129374K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters delayed (4k/9k/16k)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines

Answer 2 · 2013-11-09 20:46:51

ipf используется? Если да, то там тоже надо лимиты поднять.
Например:
net.inet.ipf.fr_statemax
net.inet.ipf.fr_statesize

Тюнинг freebsd?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт