Архитектура форумов Авиабазы — мысли и практика

 
+
+1
-
edit
 

Balancer

администратор
★★★★★
Мысли вслух (когда такое пишешь, то в голове картинка становится чётче :) )

Все эти потенциальные угрозы со всех сторон (раз, два, да и триm хотя это несколько другой момент, а есть ещё и пара аспектов, которые только в закрытом можно обсуждать) основательно достали. Я, блин, технарь, и вся эта хрень мне как железом по стеклу…

Но закрывать проект, как бы руки, порой, не опускались, я пока не готов. А децентрализованные неблокированные решения, типа ZeroNet или RetroShare принять накопившийся объём данных пока не готовы.

Авиабаза сегодня — это что-то около 250Гб аттачей (и +60Гб в год), сколько-то десятков/сотен гигабайт (точно быстро не подсчитать, ресурсоёмкая операция) кеша картинок (большинство из которых на оригинальных адресах уже недоступны), более 30Гб баз данных и до более 3Тб трафика в месяц. А ещё к этому десятки/сотни гигабайт места на логи и бэкапы.

Чтобы обеспечить всю эту хрень, особенно файловые архивы с миллионами мелких файлов с активным случайным доступом, требуются относительно внушительные ресурсы (и дохрена времени на поддержку этого зоопарка :)). Одиночный сервер с HDD с такой нагрузкой давно не справляется, а сервер с SSD нужных объёмов совершенно не по карману даже при европейских расценках хостинга. так что я сейчас понемногу растаскиваю компоненты по нескольких мелким относительно дешёвым серверам. Скажем, аттачи, разбитые по годам за прошедшие годы уже вынесены в основном со старого основного сервера, и хотя ещё нужны ему для работы, с него уже практически не раздаются.

В перспективе, если приложить руки, тяжёлые файловые коллекции со старого сервера можно вообще убрать, оставив только необходимое для формирования топиков форума и т.п.

Это позволяет сейчас задуматься о схеме ухода из под угрозы GDPR хотя и с ростом риска зависимости от Роскомнадзора.

Перенести хостинг целиком в Россию, боюсь, будет неподъёмно по финансам даже с учётом возможного регулярного краудфандига.

Значит, можно попробовать оставить основные мощности в Европе, но всю морду сайта перенести в Россию. Это будет создавать некоторые дополнительные задержки в скорости отдачи страниц (100-200мс на запрос), но не принципиальные. Зато наши сервера в Европе светиться не будут вообще и угроза санкций по GDPR будет минимизирована.

Также, видимо, придётся пересмотреть идеологию разделения форумов по тематическим поддоменам. Каждый домен должен быть полноценным зеркалом и уметь становиться основным форумом. Если какой-то из доменов попадёт под блокировку, то всегда можно увести сайт на другие. Хотя тут могут быть проблемы с Гуглорекламой — неизвестные материалы на balancer.ru, которые вызвали бан, могут вызвать проблемы на других доменах. Но тут можно попробовать прикрыться, разбив материалы по датам, положив это всё в поддомены третьего/четвёртого уровня. Это будет хуже для SEO, но чем-то приходится жертвовать :)

И, конечно, надо будет экспериментировать дальше в сторону создания полностью автономных форумов, связанных только через общий механизм навигации, типа пробного шара с Реформистом: Прожект, рабочее название «Параллельные миры» или «100 цветов» [Balancer#06.04.18 12:07]

А, вот ещё вспомнил, на что нужны быстрые гигабайты — на поисковый движок :) И хорошо, что он у нас тоже давно оторван от форумов и может работать достаточно автономно.
 55
+
+1
-
edit
 

Balancer

администратор
★★★★★
По поводу аттачей и сохранённых внешних картинок. Несмотря на все проблемы с IPFS, есть мысль, всё же, задействовать эту систему. Хотя, подозреваю, под неё тоже придётся задействовать отдельный сервер. Работая на одном сервере с другими сервисами, оно выжирает всё (диск, память, процессор) и не даёт другим шанса :) Но на отдельном сервере может быть довольно эффективной. Тоже надо будет экспериментировать. Я как раз ковыряюсь в этом направлении последние дни в контексте внешних картинок и превьюшек сайтов. А потом можно будет подумать и об аттачах.
 55
RU Полл #28.04.2018 06:27  @Balancer#28.04.2018 05:34
+
-
edit
 

Полл

литератор
★★★★☆
Balancer> Работая на одном сервере с другими сервисами, оно выжирает всё (диск, память, процессор) и не даёт другим шанса :) Но
Рома, проекту нужна команда.
Просто потому, что иначе у него есть биологическая SPOF. :)
 59.059.0
RU Balancer #28.04.2018 06:34  @Полл#28.04.2018 06:27
+
-
edit
 

Balancer

администратор
★★★★★
Полл> Рома, проекту нужна команда.

Ага. Нужна. Но её нету :)
 55
RU Balancer #28.04.2018 11:14  @Полл#28.04.2018 06:27
+
-
edit
 

Balancer

администратор
★★★★★
Полл> Просто потому, что иначе у него есть биологическая SPOF. :)

Кстати, та причина, по которой я активно хочу всех заталкивать в децентрализованные сети :D Там влияние биологической точки отказа минимально.
 55
RU Полл #28.04.2018 11:17  @Balancer#28.04.2018 11:14
+
-
edit
 

Полл

литератор
★★★★☆
Balancer> Кстати, та причина, по которой я активно хочу всех заталкивать в децентрализованные сети :D Там влияние биологической точки отказа минимально.
К сожалению, это не так.
Другой вопрос, что там проще начать делать самому... Ну а там втянуться. :)
 59.059.0
RU Balancer #28.04.2018 12:26  @Полл#28.04.2018 11:17
+
-
edit
 

Balancer

администратор
★★★★★
Balancer>> Кстати, та причина, по которой я активно хочу всех заталкивать в децентрализованные сети :D Там влияние биологической точки отказа минимально.
Полл> К сожалению, это не так.

Так. При грамотной организации проектов, от их организаторов вообще может ничего не зависеть. Вот открыл я Airbase.Talk (ссылка через прокси, вот — прямая). Даже если меня не будет и/или мастер-ключ будет потерян, ресурс продолжит работу сколь угодно долго, пока существует сеть в текущем виде. Так что влияние точки отказа минимизировано :)
 55
RU off-topic-off #10.06.2018 15:38  @Balancer#28.04.2018 12:26
+
-
edit
 

off-topic-off

аксакал
★★
☠☠
Balancer> Вот открыл я Airbase.Talk (ссылка через прокси, вот — прямая).

А подробнее ?
 60.060.0
NL Balancer #10.06.2018 22:47  @off-topic-off#10.06.2018 15:38
+
-
edit
 

Balancer

администратор
★★★★★
off-topic-off> А подробнее ?

ZeroNet

ZeroNet — распределённая (p2p) сеть для общения и обмена информацией, лишённая любых централизованных серверов. Вся информация хранится у участников сети. Таким образом доступность сайтов («zite» в терминах ZeroNet) никак не зависит от чьей-то работоспособности или прихоти. Сайт доступен вечно, пока нужен пользователям. Сеть выгодно отличается от аналогов типа FreeNet тем, что работает очень быстро (скорость работы в ней вообще не зависит от скорости Интернет-канала, от неё зависит только время первичной подготовки к работе) и очень проста в организации сайтов. //  Дальше — zeronet.a0z.ru
 

ZeroNet

ZeroNet p2p-сеть для бессерверной раздачи сайтов. ZeroNet: Decentralized websites using Bitcoin crypto and the BitTorrent network It's nowhere because it's everywhere! Sites are served by visitors. No single point of failure. How does it work? How does it work? Read the FAQ Read the FAQ Please donate to keep this project alive Please donate to keep this project alive //  zeronet.io   ZeroNet — Распределенные сайты через Bittorrent и Bitcoin — Стартовое окно ZeroNet В нынешнее время…// Infonesy — распределённая социальная система и прочее, связанное с p2p.
 
 55

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru