Распределённые системы хранения данных

записная книжка
 
+
-
edit
 

Balancer

администратор
★★★★★
Задача — хранение данных в рамках нашей распределённой социальной системы.

Проблема в том, что каждая нода в общем случае не может (и не должна) хранить все данные всей системы. 

Проблема имеет простое, эффективное, но ограниченное решение: использование полноценных распределённых файловых систем нодами. Ноды соединяются в кластеры, разделяя ресурсы. Тут наиболее интересным выглядит Gluster. Близко (хотя и не совсем то, что нужно) — Tahoe-LAFS. Очень интересен вариант IPFS. Решения достаточно надёжные, отработанные, с развитым коммьюнити. Но у этого подхода недостаток — использование ограниченных серверных ресурсов их нод. Защищённость данных относительно невысока из-за малой избыточности. Проблемы с хранением.

Второй вариант решения — подключение к хранению данных самих пользователей. Это огромный дисковый массив, несравнимый с серверными решениями. Но тут существенная проблема в виде слабых пока реализаций, требования установки отдельных клиентов, малой скорости доступа к данным.
 43.0.2357.12443.0.2357.124
+
-
edit
 

Balancer

администратор
★★★★★

IPFS



Пока наиболее интересным вариантом выглядит IPFS. Основные плюсы:

— Файлы идентифицируются по хешу содержимого. Можно залить на разных нодах одни и те же файлы, у них останутся одни и те же идентификаторы.
— Система работает достаточно быстро.
— Система легко расширяется, софт на Golang прост в установке.
— Готовая прозрачная система гейтования. Можно использовать выдачу данных с гейтов сразу, не имея привязки к ним.

Минусы:

— Нет(?) вменяемого контроля наличия файлов в сети. Если все ноды-хранилища с файлом исчезнут, то никто не гарантирует доступность файла со временем
— Похоже, система разрабатывается одним человеком, что не очень хорошо гарантирует её будущее.

Update: речь идёт о хранении, собственно, файлов. Картинок, аттачей и т.п.
 43.0.2357.12443.0.2357.124
+
-
edit
 

Balancer

администратор
★★★★★

Gittorrent



Пока до сих пор так и не пощупал. Судя по тому, что знаю о системе, она может быть удобным бэкендом для хранения, собственно, текстов/сообщений. Если хватит производительности. Хотя, с другой стороны, как говорил ранее в параллельной теме, при полной автономности нод ничто не мешает гранулировать репозитории сколь угодно мелкими, избегая проблем многогиговых архивов.
 43.0.2357.12443.0.2357.124
+
-
edit
 

Balancer

администратор
★★★★★
Памятка. Изучить:

Documentation - Camlistore

If you’re just looking to set up a Camlistore server and use it yourself, check out our getting started guide. The documents below go into more detail on customizing the high level configuration for use such as alternative blob storage or synchronization to cloud storage. If you want to help the development of Camlistore or just want to know more about the how and why behind Camlistore, these docs are the going to help you get started. Something we didn’t cover here that you’re interested in? Ask on the mailing list. // camlistore.org
 

Ссылки:

Kickball/awesome-selfhosted

awesome-selfhosted - Selfhosting is the process of locally hosting and managing applications instead of renting from SaaS providers. This is a list of Free Software network services and web applica... // github.com
 

Поискать Windows-версию:

Tahoe-LAFS

Tahoe-LAFS is a Free and Open decentralized cloud storage system. It distributes your data across multiple servers. Even if some of the servers fail or are taken over by an attacker, the entire file store continues to function correctly, preserving your privacy and security. A one-page summary explains the unique properties of this system. 2015-07-30 v1.10.2 released 2015-06-15 v1.10.1 released 2015-04-07 — Tahoe-LAFS featured on a usability blog: “Why the command line is not usable” 2014-12-01 — "Least-Authority File System" is now renamed to "Least-Authority File Store". // Дальше — www.tahoe-lafs.org
 
 33
RU Balancer #14.01.2016 16:50  @Balancer#14.01.2016 16:47
+
-
edit
 

Balancer

администратор
★★★★★

Bittorrent через I2P - I2P

There are several bittorrent clients and trackers on I2P. As I2P addressing uses a Destination instead of an IP and port, minor changes are required to tracker and client software for operation on I2P. These changes are specified below. Note carefully the guidelines for compatibility with older I2P clients and trackers. This page specifies protocol details common to all clients and trackers. Specific clients and trackers may implement other unique features or protocols. We welcome additional ports of client and tracker software to I2P. // Дальше — geti2p.net
 

Торренты в I2P — Викиреальность

Чем ценна i2p сеть? Ценна она анонимностью и возможностью привычной всем коммуникации, посредством привычных же приложений. Сайты, форумы — оно конечно хорошо. А как дело обстоит с файлообменом, столь востребованным в наших землях? До недавних пор там существовали лишь ed2k приложения, ну и некие зачатки торрентов. I2PSnark — бит-торрент клиент для работы с торрентами I2P, встроенный в консоль маршрутизатора. Обладает довольно минималистичным внешним видом и базовым набором функций. Следует обратить внимание, что с помощью I2PSnark можно скачивать только внутренние торренты сети I2P. // Дальше — www.wikireality.ru
 

Торренты в I2P | ШПАРГАЛКО СУМАСШЕДШЕГО ПРОГРАММЁРА

Здравствуй, дражайший читатель. Чем ценна i2p сеть? Ценна она анонимностью и возможностью привычной всем коммуникации, посредством привычных же приложений. // www.shpargalko.com
 
 33
+
-
edit
 

Balancer

администратор
★★★★★
Думаю в порядке эксперимента перевести аттачи, встраиваемые фото и видео Авиабазы на использование magnet-ссылок.

Логика будет такая.

По видео (Youtube и т.п.) всё просто:

— Видео показывается по дефолту оригинальным источником
— После показа стартует фоновая задача по закачке и публикации видео в p2p (торренты и т.п.)
— Сформированная Magnet-ссылка добавляется к видео в сообщении. Если со временем видео из доступа исчезнет, можно посмотреть в p2p (если останутся источники)

С фото логика примерно такая же. Но там есть концептуальная сложность. Стоит ли для оригинального фото давать ссылку на сайт или сразу на ipfs, откуда она может показываться с хорошей скоростью и независимо от исходных серверов. Первый вариант, с отдачей фото от себя, работает побыстрее. Второй — позволяет раздавать готовый HTML другим участникам той же Infonesy без модификаций, т.к. использует абсолютную переносимую адресацию.

Надо думать.
 33
+
-
edit
 
RU Balancer #30.03.2016 20:05  @Balancer#30.03.2016 20:04
+
-
edit
 

Balancer

администратор
★★★★★
У Ethereum есть и другая интересная (возможно, неожиданная) аналогия, а именно сеть Freenet, которая была разработана для создания децентрализованных веб-сайтов. Это также бесплатное ПО, с помощью которого пользователи могут анонимно обмениваться файлами, публиковать «фри-сайты» (веб-сайты, доступные только через Freenet) и общаться на форумах без цензуры и с меньшим риском атак. Философским обоснованием Freenet является защита свободы слова и распространение знаний без цензуры.
Идеология Freenet имеет ряд привлекательных сторон, но и два существенных недостатка, которых нет в Ethereum. Во-первых, загрузка сайта Freenet часто занимает более одной минуты. Во-вторых, в этой сети нет приложений, и она содержит только статический контент. В Ethereum эти проблемы решены с помощью встроенного механизма поощрений и блокчейна, который упрощает создание приложений."
http://mapples.net/chem-efirium-privlekatelen-dlya-biznesa/
 

// RS
 33
RU Balancer #30.03.2016 20:16  @Balancer#30.03.2016 20:04
+
-
edit
 

Balancer

администратор
★★★★★
Balancer> Project Maelstrom

Пока нет реализации под Linux.
 33
RU Balancer #30.03.2016 20:19  @Balancer#30.03.2016 20:04
+
-
edit
 

Balancer

администратор
★★★★★
Balancer> * MaidSafe

Ещё не работает.
 33

RU Balancer #30.03.2016 20:24  @Balancer#30.03.2016 20:04
+
-
edit
 

Balancer

администратор
★★★★★
Balancer> * Ethereum

По-моему, не позволяет сразу использовать для файлообмена с нуля. Без предварительного взноса BTC или генерации своих коинов.
 33
RU Balancer #28.01.2017 01:55  @Balancer#30.03.2016 20:04
+
-
edit
 

Balancer

администратор
★★★★★
Balancer> Альтернативы IPFS

Впечатления по мере эксплуатации...

Balancer> ZeroNet

Распробовал и оценил. ИМХО, лучший сегодня вариант по созданию и распространению сайтов в p2p, без центрального сервера. Довольно активно общаюсь там, веду блоги и форумы. Даже филиал форумов Авиабазы есть, хотя и пустой :)

Balancer> Tahoe-LAFS

Интересная альтернатива IPFS для хранения файлов в коллективе (или наборе серверов). В отличие от IPFS не раздаёт «чужие» данные. Позволяет модифицировать данные по ключу. Например, делать аплоад в каталоги. Хорошая скорость. Использую для тестового хранения удалённого с YouTube видео.

Balancer> RetroShare

Отреагировал с большим интересом, но впоследствии разочаровался. Очень закрытая кривая система, которая почти не развивается. Публика в основном весьма параноидальная.
 44
+
-
edit
 

Balancer

администратор
★★★★★
На почту пришло, но, мало ли, кому-то ещё будет полезно, так что отвечу на форуме :)

Доброе времени суток Роман)

Нашел Вас вот здесь

Кто-нибудь работал реально с Tahoe-LAFS?

У меня тут возникло несколько вопросов, которые не очень понятны с куцей информацией офсайта. Главный вопрос — безопасность данных. Я правильно понимаю, что вся секурность соединений там в непубличности introducer-uri? И стоит его выдать публично,... // www.linux.org.ru
 

Искал информацию по этим технологию, желательно на русском, что бы сразу понять то ли это что мне нужно. Так же хотелось бы пообщаться с человеком который использовал эти технологии на практике.
На текущий момент у меня сложилась мнение что это две распределенные файловые системы, в них можно хранить файлы с избыточностью. Что-то говориться про безопасность - lafs шифрует трафик между нодами и "чужие" файлы на своей, а вот с ipfs непонятно.

Что мне хотелось бы реализовать - хранение моих данных на нескольких машинах(есть ли возможность ограничить обмен данными (или хранение)только между моими машинами?) Даже если придётся хранить части (или целиком) мои данные на других компьютерах, они шифруются и в lafs и ipfs?

Где есть толковая информация по всему этому(на русском языке желательно, что бы у меня не болела голова от технического английского :)

Используемые системы: linux и windows, хотя последнее не принципиально.
 


Сеть в Tahoe-LAFS полностью «закрытая». Не могу точно сказать, как такой подход называется, но это не федерализация, это полная изоляция. Как в Synching.

Ряд машин соединяются в сеть через так называемые «интродьюсеры» (одна выделенная нода для связки остальных — возможно, не проверял, интродьюсером может быть и любой участник уже имеющейся сети) и распределяют файлы только между собой. То есть, не зная секретного адреса интродьюсера другие компьютеры присоединится к сети не могут. В общем случае, когда сеть открытая, то сторонние машины прочитать файлы из сети могут. Но для этого им нужно знать точный адрес файла.

Я приводил примеры тестового использования Tahoe-LAFS в случае раздачи удалённых роликов YouTube:

А не сохранить ли нам координированно полезные данные в p2p-облаке? [Balancer#09.11.16 06:40]

… Переложил в Tahoe-LAFS. Но, соответственно, оно теперь недоступно в торрентах/ed2k. // Компьютерный
 
 44
Последние действия над темой

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru