Архитектура форумов Авиабазы — мысли и практика

 
+
-
edit
 

Balancer

администратор
★★★★★
Мысли вслух (когда такое пишешь, то в голове картинка становится чётче :) )

Все эти потенциальные угрозы со всех сторон (раз, два, да и триm хотя это несколько другой момент, а есть ещё и пара аспектов, которые только в закрытом можно обсуждать) основательно достали. Я, блин, технарь, и вся эта хрень мне как железом по стеклу…

Но закрывать проект, как бы руки, порой, не опускались, я пока не готов. А децентрализованные неблокированные решения, типа ZeroNet или RetroShare принять накопившийся объём данных пока не готовы.

Авиабаза сегодня — это что-то около 250Гб аттачей (и +60Гб в год), сколько-то десятков/сотен гигабайт (точно быстро не подсчитать, ресурсоёмкая операция) кеша картинок (большинство из которых на оригинальных адресах уже недоступны), более 30Гб баз данных и до более 3Тб трафика в месяц. А ещё к этому десятки/сотни гигабайт места на логи и бэкапы.

Чтобы обеспечить всю эту хрень, особенно файловые архивы с миллионами мелких файлов с активным случайным доступом, требуются относительно внушительные ресурсы (и дохрена времени на поддержку этого зоопарка :)). Одиночный сервер с HDD с такой нагрузкой давно не справляется, а сервер с SSD нужных объёмов совершенно не по карману даже при европейских расценках хостинга. так что я сейчас понемногу растаскиваю компоненты по нескольких мелким относительно дешёвым серверам. Скажем, аттачи, разбитые по годам за прошедшие годы уже вынесены в основном со старого основного сервера, и хотя ещё нужны ему для работы, с него уже практически не раздаются.

В перспективе, если приложить руки, тяжёлые файловые коллекции со старого сервера можно вообще убрать, оставив только необходимое для формирования топиков форума и т.п.

Это позволяет сейчас задуматься о схеме ухода из под угрозы GDPR хотя и с ростом риска зависимости от Роскомнадзора.

Перенести хостинг целиком в Россию, боюсь, будет неподъёмно по финансам даже с учётом возможного регулярного краудфандига.

Значит, можно попробовать оставить основные мощности в Европе, но всю морду сайта перенести в Россию. Это будет создавать некоторые дополнительные задержки в скорости отдачи страниц (100-200мс на запрос), но не принципиальные. Зато наши сервера в Европе светиться не будут вообще и угроза санкций по GDPR будет минимизирована.

Также, видимо, придётся пересмотреть идеологию разделения форумов по тематическим поддоменам. Каждый домен должен быть полноценным зеркалом и уметь становиться основным форумом. Если какой-то из доменов попадёт под блокировку, то всегда можно увести сайт на другие. Хотя тут могут быть проблемы с Гуглорекламой — неизвестные материалы на balancer.ru, которые вызвали бан, могут вызвать проблемы на других доменах. Но тут можно попробовать прикрыться, разбив материалы по датам, положив это всё в поддомены третьего/четвёртого уровня. Это будет хуже для SEO, но чем-то приходится жертвовать :)

И, конечно, надо будет экспериментировать дальше в сторону создания полностью автономных форумов, связанных только через общий механизм навигации, типа пробного шара с Реформистом: Прожект, рабочее название «Параллельные миры» или «100 цветов» [Balancer#06.04.18 12:07]

А, вот ещё вспомнил, на что нужны быстрые гигабайты — на поисковый движок :) И хорошо, что он у нас тоже давно оторван от форумов и может работать достаточно автономно.
 55
+
+1
-
edit
 

Balancer

администратор
★★★★★
По поводу аттачей и сохранённых внешних картинок. Несмотря на все проблемы с IPFS, есть мысль, всё же, задействовать эту систему. Хотя, подозреваю, под неё тоже придётся задействовать отдельный сервер. Работая на одном сервере с другими сервисами, оно выжирает всё (диск, память, процессор) и не даёт другим шанса :) Но на отдельном сервере может быть довольно эффективной. Тоже надо будет экспериментировать. Я как раз ковыряюсь в этом направлении последние дни в контексте внешних картинок и превьюшек сайтов. А потом можно будет подумать и об аттачах.
 55
RU Полл #28.04.2018 06:27  @Balancer#28.04.2018 05:34
+
-
edit
 

Полл

литератор
★★★★☆
Balancer> Работая на одном сервере с другими сервисами, оно выжирает всё (диск, память, процессор) и не даёт другим шанса :) Но
Рома, проекту нужна команда.
Просто потому, что иначе у него есть биологическая SPOF. :)
 59.059.0
RU Balancer #28.04.2018 06:34  @Полл#28.04.2018 06:27
+
-
edit
 

Balancer

администратор
★★★★★
Полл> Рома, проекту нужна команда.

Ага. Нужна. Но её нету :)
 55
RU Balancer #28.04.2018 11:14  @Полл#28.04.2018 06:27
+
-
edit
 

Balancer

администратор
★★★★★
Полл> Просто потому, что иначе у него есть биологическая SPOF. :)

Кстати, та причина, по которой я активно хочу всех заталкивать в децентрализованные сети :D Там влияние биологической точки отказа минимально.
 55
RU Полл #28.04.2018 11:17  @Balancer#28.04.2018 11:14
+
-
edit
 

Полл

литератор
★★★★☆
Balancer> Кстати, та причина, по которой я активно хочу всех заталкивать в децентрализованные сети :D Там влияние биологической точки отказа минимально.
К сожалению, это не так.
Другой вопрос, что там проще начать делать самому... Ну а там втянуться. :)
 59.059.0
RU Balancer #28.04.2018 12:26  @Полл#28.04.2018 11:17
+
-
edit
 

Balancer

администратор
★★★★★
Balancer>> Кстати, та причина, по которой я активно хочу всех заталкивать в децентрализованные сети :D Там влияние биологической точки отказа минимально.
Полл> К сожалению, это не так.

Так. При грамотной организации проектов, от их организаторов вообще может ничего не зависеть. Вот открыл я Airbase.Talk (ссылка через прокси, вот — прямая). Даже если меня не будет и/или мастер-ключ будет потерян, ресурс продолжит работу сколь угодно долго, пока существует сеть в текущем виде. Так что влияние точки отказа минимизировано :)
 55

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru