Архитектура форумов Авиабазы — мысли и практика

Мысли вслух (когда такое пишешь, то в голове картинка становится чётче )

Все эти потенциальные угрозы со всех сторон (раз, два, да и три, хотя это несколько другой момент, а есть ещё и пара аспектов, которые только в закрытом можно обсуждать) основательно достали. Я, блин, технарь, и вся эта хрень мне как железом по стеклу…

Но закрывать проект, как бы руки, порой, не опускались, я пока не готов. А децентрализованные неблокированные решения, типа ZeroNet или RetroShare принять накопившийся объём данных пока не готовы.

Авиабаза сегодня — это что-то около 250Гб аттачей (и +60Гб в год), сколько-то десятков/сотен гигабайт (точно быстро не подсчитать, ресурсоёмкая операция) кеша картинок (большинство из которых на оригинальных адресах уже недоступны), более 30Гб баз данных и до более 3Тб трафика в месяц. А ещё к этому десятки/сотни гигабайт места на логи и бэкапы.

Чтобы обеспечить всю эту хрень, особенно файловые архивы с миллионами мелких файлов с активным случайным доступом, требуются относительно внушительные ресурсы (и дохрена времени на поддержку этого зоопарка ). Одиночный сервер с HDD с такой нагрузкой давно не справляется, а сервер с SSD нужных объёмов совершенно не по карману даже при европейских расценках хостинга. так что я сейчас понемногу растаскиваю компоненты по нескольких мелким относительно дешёвым серверам. Скажем, аттачи, разбитые по годам за прошедшие годы уже вынесены в основном со старого основного сервера, и хотя ещё нужны ему для работы, с него уже практически не раздаются.

В перспективе, если приложить руки, тяжёлые файловые коллекции со старого сервера можно вообще убрать, оставив только необходимое для формирования топиков форума и т.п.

Это позволяет сейчас задуматься о схеме ухода из под угрозы GDPR хотя и с ростом риска зависимости от Роскомнадзора.

Перенести хостинг целиком в Россию, боюсь, будет неподъёмно по финансам даже с учётом возможного регулярного краудфандига.

Значит, можно попробовать оставить основные мощности в Европе, но всю морду сайта перенести в Россию. Это будет создавать некоторые дополнительные задержки в скорости отдачи страниц (100-200мс на запрос), но не принципиальные. Зато наши сервера в Европе светиться не будут вообще и угроза санкций по GDPR будет минимизирована.

Также, видимо, придётся пересмотреть идеологию разделения форумов по тематическим поддоменам. Каждый домен должен быть полноценным зеркалом и уметь становиться основным форумом. Если какой-то из доменов попадёт под блокировку, то всегда можно увести сайт на другие. Хотя тут могут быть проблемы с Гуглорекламой — неизвестные материалы на balancer.ru, которые вызвали бан, могут вызвать проблемы на других доменах. Но тут можно попробовать прикрыться, разбив материалы по датам, положив это всё в поддомены третьего/четвёртого уровня. Это будет хуже для SEO, но чем-то приходится жертвовать

И, конечно, надо будет экспериментировать дальше в сторону создания полностью автономных форумов, связанных только через общий механизм навигации, типа пробного шара с Реформистом: Прожект, рабочее название «Параллельные миры» или «100 цветов» [Balancer#06.04.18 12:07]

А, вот ещё вспомнил, на что нужны быстрые гигабайты — на поисковый движок И хорошо, что он у нас тоже давно оторван от форумов и может работать достаточно автономно.

По поводу аттачей и сохранённых внешних картинок. Несмотря на все проблемы с IPFS, есть мысль, всё же, задействовать эту систему. Хотя, подозреваю, под неё тоже придётся задействовать отдельный сервер. Работая на одном сервере с другими сервисами, оно выжирает всё (диск, память, процессор) и не даёт другим шанса Но на отдельном сервере может быть довольно эффективной. Тоже надо будет экспериментировать. Я как раз ковыряюсь в этом направлении последние дни в контексте внешних картинок и превьюшек сайтов. А потом можно будет подумать и об аттачах.

Ряд вопросов (IPFS) ещё требует экспериментов, но, думаю, будет так.

Все группы (категории) форумов будут растянуты на независимые домены. Бэкенд, может, будет общий, может, со временем тоже раздельный, но морды — точно раздельные. Что касается самих форумов, то это и сейчас так, разве что исторически Морской находится на forums.airbase.ru — наверное, надо будет понемногу перевести его на flot.ml. Но вот всякие технические моменты, типа пользовательских профилей, поиска и т.п. сейчас общие. Надо их тоже разделять.

Однако, кроме раздельных, будет и общая входная точка, forums.wrk.ru. Там же будет выводиться и инфо с параллельных проектов, типа Реформист или LSBR.

Безнадёжность попыток затащить народ в децентрализованные сети я, наконец, осознал, так что фиг с ними, сдохнет контент форумов когда-нибудь — это будет проблема народа, не моя Свой контент будут со временем дублировать и в ZN, но это будет только моё.

Однако, возможность выкачивания бэкапов форумов в форматах Infonesy/Flatnesy продолжу делать. Объёмы будут относительно небольшие, особенно по конкретным пользователям, так что это будет доступно всем.

Файловые архивы (аттачи) буду пытаться перевести в IPFS. А там уже каждый сам решит, подключаться к их хранению/раздаче или нет. Помрёт, так помрёт.

Понемногу также движется работа над новым форумным редактором. Это, блин, должна получиться реальная революция Честный WYSIWYG (над Markdown), вставка картинок в любое место хоть аттачами, хоть из буфера обмена, таблицы, копипаст из других сайтов с сохранением разметки и т.п. Собственно, сам редактор уже есть, но надо экспериментировать/делать аплоад файлов/картинок.

Сейчас основных направлений работ и экспериментов три, все более-менее, так или иначе, связаны друг с другом:

1. Новый редактор и переход на Markdown.

2. Перевод файловых архивов на IPFS.

3. Распределение форумов по условно независимым хостингам в рамках Infonesy.

При работе над редактором стою на вопросе аплоада аттачей и «разворачивании» картинок и превью сайтов. Сейчас у нас на форумах вся работа над этим вопросом происходит при обработке ответа. Из-за чего процесс ответа весьма медленный (там ещё и тяжёлые кеши чистятся каждый раз, например). Планирую сделать хитрую многостадийную систему:

- Ответ пишется на форум мгновенно, без любой хитрой обработки и сразу отображается в ленте как автора (даже, скорее всего, без перезагрузки страницы, на AJAX) и у других пользователей.

- При наличии в сообщении тяжёлых компонентов (ссылки, картинки) сообщение помечается как находящееся в обработке (скажем, где-то в уголочке спиннер крутится или прогресс-бар) и в распределённую сеть закидывается запрос на получение информации о нужном контенте (превью ссылки, картинки и т.п.). Не локально, а в распределённой сети, потому что в наше время баны сайтов стали уже слишком частым делом. Кроме того, форумы итак будут распределёнными и нужный контент может уже быть где-то в сети.

- Обработчики в сети получают сообщение о том, что кто-то ищет контент и или закидывают в сеть ссылки на найденное (через IPFS) в своих архивах, или пытаются скачать нужное и, опять же, закидывают в сеть итог. В запросе среди прочей информации пишется, кого эта информация интересует, конкретный форум и пост.

- Тот форум, что закидывал запрос, следит за сообщениями о публикации запрошенных объектов. И когда видит, что есть ответ для одного из своих постов, то пересчитывает этот пост с учётом новых данных и обновляет содержимое поста в открытых браузерах пользователей, если такие ещё есть.

Реально такой процесс должен занимать секунды. Примерно, как и сейчас. Может немного дольше. Зато визуально будет выглядеть заметно приятнее — ты жмёшь в редактор кнопку «Ответить», мгновенно видишь упрощённый результат на форуме, несколько секунд крутится спиннер/прогрессбар, потом пост меняется уже на полный вариант.

Сейчас в рамках этого буду экспериментировать с давно назревшей задачей утягивания/обработки ссылок/картинок. Сейчас всё сделано криво и централизовано. Превью сайтов, например, у меня вообще на домашней машине делается Картинки, утянутые/кешированные с сайтов, хранятся на сервере Авиабазы в ужасном файловом архиве на десятки, если не сотни гигабайт (и из-за его архитектуры даже ломает пересчитывать размер, это очень долго), который давно тормозит сервер. И этот архив не легко растащить/разгрузить по другим серверам. IPFS будет создавать на один сервер, полагаю, нагрузки больше. Но зато её можно распределить между разными машинами.

Эксперименты с большой нагрузкой на IPFS у меня сильно задерживались, поскольку Hetzner, на котором у меня хостятся два сервера с самой большой дисковой системой (старый Htz, на котором сейчас в основном и сидят форумы и новый Habitat, который был арендован летом и который только вводится в эксплуатацию как файловая помойка, это на нём, например, стоит PeerTube), сильно не любит IPFS, считая её «хакерским софтом, сканирующим сеть» и банит хосты, требуя объяснений (раза три на эти грабли вставал). Однако, в IPFS, как оказалось, ввели настройки, отключающие такое сканирование и сейчас она работает без претензий со стороны Hetzner'а.

Нужно придумать эффективное и простое локальное key-value хранилище, чтобы каждый узел сети знал, есть ли у него нужные страницы/картинки в локальном IPFS-хранилище. Вот тут пока не решил, что удобнее и быстрее. То ли тупо в плоской файловой системе хранить или sqlite (просто, быстро разворачивается, экономно при хранении без использования), то ли писать в mysql (лучше держит нагрузку, особенно при модификациях). Наверное, надо идти в начале разработки по предельному упрощению и делать самый простой и быстрый вариант. А если с ним не выгорит, всегда можно доработать и усложнить, автономность узлов сети Infonesy позволяет это делать безболезненно и незаметно для других участников.

Вообще, постоянно ловлю себя на том, что пытаюсь заниматься преждевременной оптимизацией («Premature optimization is the root of all evil» ©) и постоянно приходится себя останавливать. Например, взять вставку картинок из IPFS на форуме. Сегодня считается хорошим тоном делать это через централизованный шлюз gateway.ipfs.io. Но это, во-первых, чужой сайт, который не хочется нагружать своим трафиком, который может тормозить и который может быть легко заблокирован тем же Роскомнадзором (я удивлён, что он до сих пор не заблокирован). Другой вариант — делать свой гейт (он даже и есть, но пока под мои частные задачи) и давать ссылки через него. Также активно идут разработки IPFS на JavaScript, когда нужный контент [с]может извлекать из сети прямо браузер, не обращаясь к другим серверам. Наконец, у отдельных энтузиастов может стоять свой узел IPFS на домашней машине, через который они и могут получать контент. В идеале эти подходы надо соединить. Типа, если есть свой узел, отдаём с него. Если нет, то через JS-вариант в браузере. Если его нет или не работает, то с собственного гейта форумов. А если он когда-то упадёт или закроется, то в постах, которые к тому времени могут храниться где-то в распределённой сети, будут стоят ссылки уже на «официальный» гейт IPFS. На разруливание этого вопроса я угрохал сегодня целую «рабочую ночь» и для экспериментов ещё мнооого времени и тестов нужно. Вот только если не увлекаться преждевременной оптимизацией, то это всё вопросы реально ещё не наставшего будущего. А сейчас можно тупо поставить ссылку да хоть на свой гейт. А на время экспериментов — и на «официальный». В таком виде запустить в работу и потом уже дорабатывать. Когда будет время/желание. Как я сам пишу много раз, наученный горьким опытом, лучше сырое и корявое, но востребованное и работающее на практике, чем отлично продуманное и грамотное, но так и не написанное