Распределённые системы хранения данных

Задача — хранение данных в рамках нашей распределённой социальной системы.

Проблема в том, что каждая нода в общем случае не может (и не должна) хранить все данные всей системы. 

Проблема имеет простое, эффективное, но ограниченное решение: использование полноценных распределённых файловых систем нодами. Ноды соединяются в кластеры, разделяя ресурсы. Тут наиболее интересным выглядит Gluster. Близко (хотя и не совсем то, что нужно) — Tahoe-LAFS. Очень интересен вариант IPFS. Решения достаточно надёжные, отработанные, с развитым коммьюнити. Но у этого подхода недостаток — использование ограниченных серверных ресурсов их нод. Защищённость данных относительно невысока из-за малой избыточности. Проблемы с хранением.

Второй вариант решения — подключение к хранению данных самих пользователей. Это огромный дисковый массив, несравнимый с серверными решениями. Но тут существенная проблема в виде слабых пока реализаций, требования установки отдельных клиентов, малой скорости доступа к данным.

IPFS

Пока наиболее интересным вариантом выглядит IPFS. Основные плюсы:

— Файлы идентифицируются по хешу содержимого. Можно залить на разных нодах одни и те же файлы, у них останутся одни и те же идентификаторы.
— Система работает достаточно быстро.
— Система легко расширяется, софт на Golang прост в установке.
— Готовая прозрачная система гейтования. Можно использовать выдачу данных с гейтов сразу, не имея привязки к ним.

Минусы:

— Нет(?) вменяемого контроля наличия файлов в сети. Если все ноды-хранилища с файлом исчезнут, то никто не гарантирует доступность файла со временем
— Похоже, система разрабатывается одним человеком, что не очень хорошо гарантирует её будущее.

Update: речь идёт о хранении, собственно, файлов. Картинок, аттачей и т.п.

Gittorrent

Пока до сих пор так и не пощупал. Судя по тому, что знаю о системе, она может быть удобным бэкендом для хранения, собственно, текстов/сообщений. Если хватит производительности. Хотя, с другой стороны, как говорил ранее в параллельной теме, при полной автономности нод ничто не мешает гранулировать репозитории сколь угодно мелкими, избегая проблем многогиговых архивов.

Памятка. Изучить:

Ссылки:

Поискать Windows-версию:

Думаю в порядке эксперимента перевести аттачи, встраиваемые фото и видео Авиабазы на использование magnet-ссылок.

Логика будет такая.

По видео (Youtube и т.п.) всё просто:

— Видео показывается по дефолту оригинальным источником
— После показа стартует фоновая задача по закачке и публикации видео в p2p (торренты и т.п.)
— Сформированная Magnet-ссылка добавляется к видео в сообщении. Если со временем видео из доступа исчезнет, можно посмотреть в p2p (если останутся источники)

С фото логика примерно такая же. Но там есть концептуальная сложность. Стоит ли для оригинального фото давать ссылку на сайт или сразу на ipfs, откуда она может показываться с хорошей скоростью и независимо от исходных серверов. Первый вариант, с отдачей фото от себя, работает побыстрее. Второй — позволяет раздавать готовый HTML другим участникам той же Infonesy без модификаций, т.к. использует абсолютную переносимую адресацию.

Надо думать.

Альтернативы IPFS. Взято в форуме RetroShare

• ZeroNet
• Project Maelstrom
• Tahoe-LAFS
• RetroShare
• Storj
• MaidSafe
• MORPHiS
• Riak
• Ethereum
• Filecoin
• Sia (siacoin)
• Permacoin

На почту пришло, но, мало ли, кому-то ещё будет полезно, так что отвечу на форуме

Доброе времени суток Роман)

Нашел Вас вот здесь

Кто-нибудь работал реально с Tahoe-LAFS?

У меня тут возникло несколько вопросов, которые не очень понятны с куцей информацией офсайта. Главный вопрос — безопасность данных. Я правильно понимаю, что вся секурность соединений там в непубличности introducer-uri? И стоит его выдать публично,... // www.linux.org.ru

 

Искал информацию по этим технологию, желательно на русском, что бы сразу понять то ли это что мне нужно. Так же хотелось бы пообщаться с человеком который использовал эти технологии на практике.
На текущий момент у меня сложилась мнение что это две распределенные файловые системы, в них можно хранить файлы с избыточностью. Что-то говориться про безопасность - lafs шифрует трафик между нодами и "чужие" файлы на своей, а вот с ipfs непонятно.

Что мне хотелось бы реализовать - хранение моих данных на нескольких машинах(есть ли возможность ограничить обмен данными (или хранение)только между моими машинами?) Даже если придётся хранить части (или целиком) мои данные на других компьютерах, они шифруются и в lafs и ipfs?

Где есть толковая информация по всему этому(на русском языке желательно, что бы у меня не болела голова от технического английского

Используемые системы: linux и windows, хотя последнее не принципиально.

 

Сеть в Tahoe-LAFS полностью «закрытая». Не могу точно сказать, как такой подход называется, но это не федерализация, это полная изоляция. Как в Synching.

Ряд машин соединяются в сеть через так называемые «интродьюсеры» (одна выделенная нода для связки остальных — возможно, не проверял, интродьюсером может быть и любой участник уже имеющейся сети) и распределяют файлы только между собой. То есть, не зная секретного адреса интродьюсера другие компьютеры присоединится к сети не могут. В общем случае, когда сеть открытая, то сторонние машины прочитать файлы из сети могут. Но для этого им нужно знать точный адрес файла.

Я приводил примеры тестового использования Tahoe-LAFS в случае раздачи удалённых роликов YouTube: