Мысли вслух по поводу распределённой социальной системы

О файловом обмене.

Пожалуй, при обмене через синхронизацию хорошим тоном будет отдавать в свой исходящий поток также входящие потоки. Это позволит организовывать транзитное распространение.

И в этом случае точно нужное уникальное имя файлам с данных. До этого момента с именем было пофиг, в общем-то. Сейчас начинаю использовать UUID в именах. Заодно это позволит осуществлять простую проверку на наличие исходных данных в приёмном каталоге без общего сканирования.

Я начал сейчас делать систему в расчёте на передачу данных/синхронизацию через p2p, но основное хранение, всё же, в обычных БД. Это позволяет минимально нагружать p2p-файловую систему на текстах. (Правда, аттачи всё равно хранятся в ней.)

Но сейчас подумал, что это не гарантирует синхронности данных и отсутствие потерь при полном выпадении сервера из сети. При подключении вторичных нод информация на них идёт с момента присоединения. Конечно, нода всегда может запросить оригинальную ноду на предмет архивов, но будет ли она это делать?

А вот если в p2p-файловой системе хранить, всё же, и сами сообщения, в т.ч. с записью хешей предыдущих сообщений, то есть шанс при необходимости достать архив прямо из p2p. Даже когда оригинальный сервер будет уже навсегда недоступен.

Проблема тут пока только с модифицируемым началом цепочки. Непонятно, как с ней быть. Классические p2p-ФС хранят по ключу неизменяемые данные. Топики — меняются. В оперативном запросе никаких проблем — получили хеш топика, вытянули по нему данные топика, в них — хеш последнего сообщения (или вообще хеши всех сообщений) и выбрали всё, что из ФС вытянется. Но что делать со старыми топиками?

Вероятно, нужно хранить списки хешей топиков в форумах, списки форумов в категориях и данных ноды. Тогда всё многолетнее многогигабайтное дерево можно будет развернуть с одного корневого хеша ноды. А вот он в IPFS может быть мутабельным (одна запись на ноду). Плюс этот хеш можно публиковать в чём-то типа Twister или в Blockchain.

Задача несколько усложняется, но терпимо. Всё равно уже дофига всего в IPFS публикуется. Надо бы только для надёжности подключить альтернативные p2p-хранилища, типа FreeNet.

Ещё задача. Полистал я тут анонимные форумы в i2p... В общем, забыл я уже с Авиабазой, что такое форумы, где нет препятствий с регистрациями и банов по IP И ладно бы, общение в таком стиле нормальным людям неприятно, но оно провоцирует на подобное поведение 2/3 социума (опять — теория разбитых окон). Отсюда индивидуальные решения по пользователям на «культурных» нодах, импортирующих данные с таких «беспредельных» будут слишком громоздкими. Напрашивается некоторая централизация, эдакие «Центры доверия». Рейтинги пользователей (и даже других нод), их отношения и т.п.

Это тот случай, когда централизация (формально — федерализация) не добавляет особо уязвимости системе. С одной стороны, блокировать всяким Роскомнадзорам такие ноды не за что, там вся информация открытая и неконфликтная. При этом даже блокировка ноды в одной стране не перекроет доступ к ней в других. Всегда можно держать реплики и копии таких нод по взаимному обмену. И в самом худшем случае, даже если рушится вся система каким-то образом, мы только теряем часть информации о пользователях. Само содержимое сети при этом не страдает.

Ещё — объём доступной информации может стремительно разрастаться. Нужно продумывать системы рекомендаций форумов, тем, пользователей. Поиск похожих тем и т.п.