Масштабируемость

При крупных внедрениях большое число одновременно работающих пользователей является одной из самых больших проблем. Для того, что бы оценить сколько пользователей вы можете обслуживать одновременно, вы должны примерно представлять какими услугами будут в основном пользоваться ваши клиенты.

При оптимизации производительности системы следует также уделить внимание некоторым настройкам ядра системы и TCP/UDP стека, изменяя которые, можно добиться как существенного увеличения числа одновременно обслуживаемых сетевых соединений, так и повышения количества открытых дескрипторов файлов, обрабатываемых CommuniGate Pro. Большинство операционных систем позволяют регулировать эти опции; методы, которые используются для этой цели, сильно отличаются от системы к системе, и, возможно, в некоторых случаях вам потребуется обратиться к производителю системы или провести небольшое исследование, что бы выяснить, каким образом делается в используемой вами системе.

Число доступных дескрипторов файлов должно быть примерно в два раза больше, чем число одновременных IMAP, POP, SMTP, SIP/RTP и других используемых соединений. Вы также должны быть уверены, что операционная система в состоянии эффективно открывать много TCP/UDP сокетов одновременно - некоторые ОС имеют "ассоциативный массив" ("хеш-таблицу") обслуживаемых сокетов, и размер этого массива должен быть задан больше, чем число требуемых сокетов. В большинстве случаев 8192 сокета и 16384 открытых дескрипторов файлов на процесс будет вполне достаточно, даже если система работает под большой нагрузкой. Избегайте чрезмерного увеличения этих значений, так как в большинстве случаев это приводит к повышенному потреблению памяти. Снятие в оболочке лимита на число открытых дескрипторов файлов также может привести к проблемам на некоторых операционных системах, так как это может вывести дескрипторы файлов за 32-битные или 64-битные значения, что, в свою очередь, может привести к повышенному расходу памяти и ресурсов центрального процессора.

Если предполагается обслуживать большое число TCP/IP соединений, то важно проверить время ожидания сервера перед высвобождением логически закрытого TCP/IP соединения. Если это время слишком велико, то на эти "мертвые" сокеты могут быть израсходованы все TCP/IP ресурсы ОС; все новые соединения будут отвергаться на уровне ОС, так что Сервер CommuniGate Pro будет даже не в состоянии предупредить вас о том, что это происходит.

Эта проблема может наблюдаться даже на сайтах, обслуживающих всего лишь несколько сотен пользователей. Это свидетельствует о том, что некоторые из клиентов настроили свои почтовые программы на слишком частые соединения с сервером. Если клиентская почтовая программа соединяется с сервером каждую минуту, а время TIME_WAIT сервера установлено в 2 минуты, то число "мертвых" сокетов будет все время расти, и, в конце-концов, потребит все TCP/IP ресурсы системы.

По умолчанию TIME_WAIT на многих системах имеет значение в 120 или 240 секунд; некоторые операционные системы стали по умолчанию устанавливать значение TIME_WAIT в 60 секунд, хотя, видимо, значение в 20-30 секунд является достаточно безопасным.

В большинстве операционных систем (включая Linux, FreeBSD, Solaris, Windows) поддержка HyperThreading не реализована полностью.

В отличие от многоядерных и/или многопроцессорных технологий, использование HyperThreading даёт очень маленький (если вообще даёт) выигрыш в производительности, но является причиной множества проблем (фатальные сбои в библиотеке нитей, плохая производительность файловой системы под большой загрузкой и т.д.).
Отключите HyperThreading при помощи настроек в BIOS.

Для того, что бы отрегулировать параметры DNS Клиента, используйте Веб Интерфейс Администратора. Откройте в области Установки страницу Сеть, затем откройте страницу DNS Клиент.

Вы можете попытаться использовать различные значения для Параллельных Запросов: в зависимости от установок вашего DNS сервера(ов), увеличение числа параллельно выполняемых запросов до 10-20 может привести к падению производительности сервера.

Если средний размер сообщения, пересылаемого через SMTP больше, чем 20K килобайт, то вы должны быть также осторожны при выборе числа SMTP каналов (нитей) для отправки сообщений. Слишком большое число одновременно пересылаемых сообщений может исчерпать пропускную способность вашей сети, что в результате также приведет к общему снижению производительности системы. 500 каналов, отправляющих данные на удалённые сайты с относительно медленными подключениями в 512 кбит/секунду могут порождать да 250 Мбит/секунду исходящего трафика с вашего сайта. Обычно трафик намного меньше, так как исходящие каналы затрачивают довольно много времени на обмен параметрами устанавливаемого соединения и передачу информации из конвертов сообщений. Но как только средний размер сообщения становится больше, основное время каналы начинают затрачивать на передачу реальных, а не служебных данных, что приводит к увеличению TCP трафика, порождаемого каналами.

В этом разделе объясняется, как оптимизировать ядро для наиболее часто используемых вместе с CommuniGate Pro операционных систем и параметры её TCP стека.

• Дескрипторы открытых файлов - максимальное число файлов и сетевых сокетов, которые могут открываться в одном процессе.
• Максимальный размер виртуальной памяти, доступный для процесса.

Пожалуйста, уточните у производителя операционной системы, являются ли предлагаемые изменения безопасными для её устойчивой работы и всегда тестируйте изменения на тестовой системе прежде чем использовать их на работающем сервере. Различия в версиях операционных систем, установленных текущих обновлениях, аппаратном обеспечении и требованиях к рабочей нагрузке могут привести к отличиям оптимальных значений от рекомендуемых здесь. В этих примерах не всегда приводятся оптимальные значения для каждой конкретной ситуации.

Файл "Startup.sh" CommuniGate Pro

SUPPLPARAMS="--DefaultStackSize 131072 --useNonBlockingSockets --closeStuckSockets --CreateTempFilesDirectly 10"
ulimit -n 16384

ncsize

Добавления в /etc/system

Приводимые ниже строки подойдут для большинства систем Solaris, работающих под большой загрузкой: Хорошей оценкой для установки этих значений являются значения между одно- и двукратной ожидаемой пиковой загрузки системы.

* system file descriptor limit (setting the max setting to 32768 may
* be better in some instances)
set rlim_fd_cur=4096
set rlim_fd_max=16384
* tcp connection hash size
set tcp:tcp_conn_hash_size=16384

Другие опции ядра:

# solaris 9/10 uses a default of 49152
ndd -set /dev/tcp tcp_recv_hiwat 49152 # or 65536
ndd -set /dev/tcp tcp_xmit_hiwat 49152 # or 65536
# increase the connection queue
ndd -set /dev/tcp tcp_conn_req_max_q 512
ndd -set /dev/tcp tcp_conn_req_max_q0 5120
# decrease timers
ndd -set /dev/tcp tcp_fin_wait_2_flush_interval 135000
ndd -set /dev/tcp tcp_time_wait_interval 60000
ndd -set /dev/tcp tcp_keepalive_interval 30000
## naglim should likely only be disabled on Backends 
## 1=disabled, default is 53 (difficult to confirm)
# ndd -set /dev/tcp tcp_naglim_def 1

Файл "Startup.sh" CommuniGate Pro

В Linux, файл Startup.sh по умолчанию находится в/var/CommuniGate/Startup.sh. Возможно, вам потребуется создать его. Этот файл читается сценарием запуска /etc/init.d/CommuniGate и исполняется при загрузке. Ниже приводится файл Startup.sh для CommuniGate Pro версии 4.3 или более поздней, подходящий для Linux версий 2.4 или выше. Возможно, вы столкнетесь с ситуацией, при которой вам потребуется больше дескрипторов файлов; в этом случае значение "ulimit -n" можно безопасно увеличивать до 32768.

SUPPLPARAMS="--DefaultStackSize 131072 --useNonBlockingSockets --closeStuckSockets --CreateTempFilesDirectly 10"
ulimit -n 16384

Ядро Linux версии 2.2 и более раниих версий:

До версии 2.2. ядро Linux позволяло открывать только 256 дескрипторов файлов. Если вы хотите, что бы ваш сервер обрабатывал более 100 TCP/IP соединений, используйте ядро Linux версии 2.2.x или выше для избегания проблемы "нехватки дескрипторов файлов".

Библиотеки нитей в Linux используют модель один-к-одному, так что каждая нить CommuniGate Pro является в действительности нитью ядра (фактически, "процессом"). Это не лучшее решение для очень больших систем, на которых должны работать несколько тысяч нитей.

Несмотря на то, что нити Linux обрабатываются ядром, в библиотеке нитей Linux так же имеется собственный диспетчер. По умолчанию, этот диспетчер использует статическую таблицу с 1024 записями; таким образом, невозможно создать более чем 1024 нити. Этого достаточно даже для довольно крупных сайтов, обслуживающих множество POP пользователей и пользователей, работающих через Интерфейс Веб Доступа, но может создать проблемы для сайтов, обслуживающих несколько сотен пользователей, работающих одновременно через IMAP. Для того, что бы увеличить это число, библиотека нитей Linux должна быть перекомпилирована с увеличенным значением параметра PTHREAD_THREADS_MAX.

Библиотека нитей Linux размещает стек нитей с шагом 2 мегабайта. Это не позволяет системе запускать более 1000 нитей на 32-битных компьютерах. Нитям CommuniGate Pro не требуется стек такого размера. Вы можете перекомпилировать библиотеку нитей Linux, уменьшив значение параметра STACK_SIZE до 128K килобайт.

Linux kernel 2.4:

LD_ASSUME_KERNEL=2.4.1
export LD_ASSUME_KERNEL

Ниже приводятся некоторые дополнительные регулировки для Linux с версией ядра 2.4. В большинстве поставок Linux, эти команды оболочки должны быть помещены в сценарий загрузки, выполняемый при старте системы. RedHat и некоторые другие поставки могут также иметь возможность настройки "sysctl" данных в файле /etc/sysctl.conf:

#!/bin/sh
# Linux 2.4 tuning script
# max open files
echo  131072 > /proc/sys/fs/file-max
# kernel threads
echo 131072 > /proc/sys/kernel/threads-max
# socket buffers
echo 65536 > /proc/sys/net/core/wmem_default
echo 1048576 > /proc/sys/net/core/wmem_max
echo 65536 > /proc/sys/net/core/rmem_default
echo 1048576 > /proc/sys/net/core/rmem_max
# netdev backlog
echo 4096 > /proc/sys/net/core/netdev_max_backlog
# socket buckets
echo 131072 > /proc/sys/net/ipv4/tcp_max_tw_buckets
# port range
echo '16384 65535' > /proc/sys/net/ipv4/ip_local_port_range

Ядро Linux версии 2.6 и более поздних версий:

# LD_ASSUME_KERNEL=2.4.1
# export LD_ASSUME_KERNEL

Закомментировав эти строки, вы по умолчанию разрешите линкование библиотек нитей POSIX (размещенным в /lib/tls/).

#!/bin/sh
# Linux 2.6 tuning script
# max open files
echo  131072 > /proc/sys/fs/file-max
# kernel threads
echo 131072 > /proc/sys/kernel/threads-max
# socket buffers
echo 65536 > /proc/sys/net/core/wmem_default
echo 1048576 > /proc/sys/net/core/wmem_max
echo 65536 > /proc/sys/net/core/rmem_default
echo 1048576 > /proc/sys/net/core/rmem_max
# netdev backlog
echo 4096 > /proc/sys/net/core/netdev_max_backlog
# socket buckets
echo 131072 > /proc/sys/net/ipv4/tcp_max_tw_buckets
# port range
echo '16384 65535' > /proc/sys/net/ipv4/ip_local_port_range

Ниже приводятся некоторые дополнительные регулировки, применимые как для FreeBSD 4, так и для FreeBSD 5.x/6.x.

Файл "Startup.sh" CommuniGate Pro

SUPPLPARAMS="--DefaultStackSize 131072 --useNonBlockingSockets --closeStuckSockets --CreateTempFilesDirectly 10"
ulimit -n 16384

Для установки параметров ядра при загрузке системы, может использоваться файл /boot/loader.conf.local:

# increase the TCP connection hash to a value just greater than peak needs
# (this can be set higher if necessary)
net.inet.tcp.tcbhashsize="16384"

Конфигурационный файл Загрузчика /boot/loader.conf должен быть изменён:

kern.maxdsiz="1G"                # max data size
kern.dfldsiz="1G"                # initial data size limit
kern.maxssiz="128M"              # max stack size
kern.ipc.nmbclusters="65536"     # set the number of mbuf clusters
net.inet.tcp.tcbhashsize="16384" # size of the TCP control-block hashtable

FreeBSD 5 и выше

# cache dir locations, on by default
vfs.vmiodirenable=1
# increase socket buffers
kern.ipc.maxsockbuf=1048576
kern.ipc.somaxconn=4096
# increase default buffer size
net.inet.tcp.sendspace=65536
net.inet.tcp.recvspace=65536
# decrease time wait
net.inet.tcp.keepidle=300000
net.inet.tcp.keepintvl=30000
# increase vnodes
kern.maxvnodes=131072
# increase maxfiles/maxfiles per process
kern.maxfiles=131072
kern.maxfilesperproc=65536
# increase port range
net.inet.ip.portrange.last=65535
# default: net.inet.ip.rtexpire: 3600
net.inet.ip.rtexpire=300
# decrease MSL from 30000
net.inet.tcp.msl=10000

Параметры ядра HP-UX могут, в зависимости от используемой версии HP-UX, устанавливаться с использованием различных механизмов. Следующие параметры ядра важны установить в значения большие, чем предполагаемая пиковая загрузка:

  maxfiles      Soft file limit per process
  maxfiles_lim  Hard file limit per processes
  maxdsiz       Maximum size of the data segment
  nfile         Maximum number of open files
  ninode        Maximum number of open inodes
  
  # suggested parameter settings
  maxfiles      4096
  maxfiles_lim  32768
  maxdsiz       (2048*1024*1024)
  nfile         32768
  ninode        32768

Также рекомендуется уменьшить значение параметра TCP TIME_WAIT:

ndd -set /dev/tcp tcp_time_wait_interval 60000

Mac OS X устанавливает 6 мегабайтный лимит на "дополнительную" виртуальную память, запрашиваемую приложением. Этого количества недостаточно для сайтов, обслуживающих более, чем 2,000 пользователей, и вы должны увеличить этот лимит, указав в файле Startup.sh:

ulimit -d 1048576
ulimit -n 16384