sam7> А скоро этот кошмар закончится - третий день постоянно 502, 503, 504?
sam7> Отправить пост с 4-мя аттачами до 15 минут занимает.
С имеющейся сейчас базой данных, на имеющемся сервере и в рамках имеющейся идеологии — может быть и никогда.
Сейчас форумы, это:
- База данных (тексты, служебная информация, кеши и т.п.): около 50Гб
- Аттачи: несколько сотен гигабайт. Точно оценить уже сложно, потому что данные понемногу растаскиваются по разным серверам, но где-то около 300Гб, наверное, есть. И каждый год ещё добавляется 50-60Гб. Аттачи за прошлый год составили 56Гб, за этот на текущий момент — 42Гб.
- Порядка 100 тыс. «просмотров» в сутки простыми пользователями и порядка 2 млн. отданных документов/файлов в сутки. Плюс к этому ещё сотни гигабайт кешированных картинок со сторонних сайтов, которые пропадают со временем на чужих сайтах и их кеширование единственный способ обеспечить отдачу картинок в топиках у нас годы спустя.
Для того, чтобы всё это показывалось без тормозов в данных условиях, приходится идти на множество ухищрений с оптимизацией и кешированием. И это неизбежно негативно сказывается на процессах
обновления системы, в т.ч. при написаниях постов.
Я расписывал всё это уже много-много раз. Какие я вижу выходы из ситуации?
1. Закрыть вообще все форумы нафиг, потому что они отнимают у меня ОГРОМНОЕ количество времени, ничего не давая взамен. У меня по работе дедлайн, сегодня в 11 часов презентация одного проекта, я встал специально в 4 утра, чтобы дописать недостающие компоненты системы, но вместо этого уже полтора часа разгребаю жалобы на форуме (и продолжаю писать это письмо — с учётом сбора всей перечисленной статистики это тоже отнюдь не 10 минут). Этот вариант самый простой, спасёт мне больше всего времени и нервов.
2. Грохнуть все базы данных, выкинуть весь навороченный функционал форума, типа превьюшек-сниппетов сайтов или кеширования картинок, и начать с чистого листа на любом простом, лёгком быстром движке сайта. Этот вариант легко реализуем и даже на практике существует в виде филиалов форума, типа
Убежище Balancer'а
3. Арендовать более мощный сервер с ~1Тб SSD и 64Гб оперативки и перетащить туда наши форумы. Этот вариант пока невозможен, поскольку форумы не смогут окупаться рекламой, придётся доплачивать из своего кармана, а именно в данный период времени с этим ничего не получится, так как у меня какое-то время нулевой личный финансовый баланс. Вон, 30-го за квартиру платить, а пока, так сложилось — нечем
4. Арендовать относительно лёгкий и недорогой сервер, который не сможет тянуть аттачи, но сможет быстро тянуть сам форум, аттачи перенести на распределённые файловые системы, типа IPFS, нагрузку на сам форум разделить/распараллелить по нескольким серверам. Это тот вариант, который я сейчас реализую. Я месяц назад арендовал второй недорогой сервер (об этом я писал ранее — 200Гб SSD, 32Гб RAM, €30/мес — из-за чего «рекламный баланс» Авиабазы стал нулевым, но хотя бы не отрицательным) и понемногу экспериментирую с переносом туда данных. Но задача не решается за 5 минут, не решается и за месяц, это ещё длительный процесс, а с учётом примечания к 1-му пункту о катастрофической нехватке времени — понятия не имею, когда процесс будет завершён.
5. Можете предлагать свои варианты. Критиковать и ныть — это самое простое.
Всё, пойду работать, а то через полчаса дочке в школу вставать, а у меня по основной работе конь ещё не валялся.
...
Update: на написание этого сообщения ушло около 40 минут.