Авиабаза распределённая

мысли вслух по поводу архитектуры и решений (много букв)
 
1 2 3
RU Balancer #13.05.2015 20:27  @Bredonosec#13.05.2015 20:11
+
-
edit
 

Balancer

администратор
★★★★★
Balancer>> Google, закрывавший на порядки более масштабные проекты смотрит с недоумением :)
Bredonosec> у него были другие, более интересные проекты. Для него 2 млн - это мелочь.

Фразу «на порядки больше» выкидываем? Только в Google Reader было 24 млн. активных пользователей.

Bredonosec> теперь рулят там несколько других человек из коллектива, - то есть, это не проект какой-то большой конторы, которой насрать на мелкое. Для команды это вполне себе большое.

Что особенно опасно. Подобные проекты в большинстве случаев заканчивают жизнь одинаково. Однажды их очередной покупатель не справляется с бизнесом, проект теряет пользователей, перестаёт приносить прибыль и закрывается. Объём проекта тут не важен. MySpace сдулся будучи единственным проектом своего владельца и имея 25 млн. пользователей. За 5 лет с 2005-го по 2014-й MySpace упал с 5-го места в мировом Интернете до 844-го.

Bredonosec> децентрализация? В плане рассредоточения по разным хостингам-серверам-веб-узлам, но в рамках одного проекта?

В первую очередь в плане рассредоточения по разным активны пользователям-энтузиастам.

Bredonosec> Честно говоря, думаю, это скорее защита от направленного уничтожения властями какой-либо страны.

Это один из дополнительных плюсов.

Bredonosec> Как защита от рассыпания и смерти в случае отказа (неважно почему) создателя продолжать работу с проектом - это не спасет.

Спасёт. Потому что проект будет жить не на конкретных хостингах, принадлежащих конкретному владельцу, а у всех, кто в проекте заинтересован.

Bredonosec> Так что, в этом плане борда ничуть не менее надежна.

Менее надёжна, потому что как только владельцы скажут «мы наигрались», проект закроется. Что в истории Интернета случалось гораздо чаще, чем не случалось :) В распределённой же системе не будет одного владельца, который может в один прекрасный день закрыть проект.
 4141
LT Bredonosec #15.05.2015 00:38  @Balancer#13.05.2015 20:27
+
-
edit
 
Balancer> Фразу «на порядки больше» выкидываем? Только в Google Reader было 24 млн. активных пользователей.
без разницы. У гугла есть проекты на порядки более крупные, и ему выгодно обнулять прохие проекты, чтоб люди шли в более "правильные" его же.

Balancer> Что особенно опасно. Подобные проекты в большинстве случаев заканчивают жизнь одинаково. Однажды их очередной покупатель не справляется с бизнесом,
какой покупатель?
это не коммерческое предприятие.
Как и а-база у тебя.

Balancer> В первую очередь в плане рассредоточения по разным активны пользователям-энтузиастам.
Но это еще опаснее..
В плане того, что вероятность любого из них охладеть или обидеться или как-то иначе пойти вразнос - намного выше, чем одного.
А и всё, часть данных потеряна. Или ты планировал зеркалить всё?

Balancer> Это один из дополнительных плюсов.
я понимаю, это основная цель?

Balancer> Спасёт. Потому что проект будет жить не на конкретных хостингах, принадлежащих конкретному владельцу, а у всех, кто в проекте заинтересован.
чтоб проект жил, надо оперативно косяки править. Надо постоянно отдавать время (дорогостоящео спеца) на текущий ремонт и допиливание. Просто заинтересованные, но не умеющие - этого делать не будут.

Balancer> Менее надёжна, потому что как только владельцы скажут «мы наигрались», проект закроется.
Батва уже наигрался. Лет 5 назад. А он владелец. И таки чо? Просто другие неравнодушные люди из коллектива рулят. Просто для юзера это непрозрачно, он общается с той же бордой. А кто та чего делает - юзер не в курсе.
Voeneuch, учи физику, манажор ))  26.026.0
+
+1
-
edit
 

Dmb_2007

опытный

В настоящее время BitTorrent, компания известная разработкой одноименного протокола межпользовательского обмена файлами, ведет работы по созданию... межпользовательского хостинга сайтов. Для этого по протоколу, во многом сходному с BitTorrent, предполагается размещать самые обычные веб-страницы как компаний, так и физических лиц без единого реального сервера. Любой статический сайт в такой системе будет распределен на фрагменты отдельных файлов между всеми участниками пиринговой сети. Чтобы стать таковым, нужно всего лишь скачать модифицированную версию браузера Chromium под названием «Проект Мальстрим» И даже если какой-то узел сети будет временно отключен, копии фрагментов с других пользовательских компьютеров сохранят доступ к любому сайту.
 

Отсюда - Пока госструктуры пытаются контролировать интернет, разработчики придумывают новые способы массовых коммуникаций: Интернет и СМИ: Lenta.ru
Si vis pacem, para bellum  42.0.2311.15242.0.2311.152
RU Balancer #15.05.2015 13:32  @Bredonosec#15.05.2015 00:38
+
-
edit
 

Balancer

администратор
★★★★★
Bredonosec> какой покупатель?
Bredonosec> это не коммерческое предприятие.

Один фиг — охлаждение интереса явление ещё более частое :)

Bredonosec> А и всё, часть данных потеряна. Или ты планировал зеркалить всё?

Естественно, зеркалить. Иначе распределённость только вредит.

Bredonosec> я понимаю, это основная цель?

Там нет основной цели. Это микс ряда целей:
— Сохранность данных через избыточность
— Защита от блокировок и гос. преследований
— Повышение надёжности из-за отсутствия привязки к одному хосту — падение одного хоста позволит работать с сетью через другие узлы
— Гарантия работоспособности проекта независимо от личных дел изначального владельца
— Распределение нагрузки, позволяющее избежать перегрузки одного узла

Bredonosec> чтоб проект жил, надо оперативно косяки править. Надо постоянно отдавать время (дорогостоящео спеца) на текущий ремонт и допиливание.

Да, это основная проблема. Остальное решается легко :)

Bredonosec> Батва уже наигрался. Лет 5 назад. А он владелец. И таки чо? Просто другие неравнодушные люди из коллектива рулят. Просто для юзера это непрозрачно, он общается с той же бордой. А кто та чего делает - юзер не в курсе.

И в результате однажды появляется кто-то типа [IMG]Abaddon, который как-то у нас грохнул целый форум, посчитав его ненужным :D Или вылезают проблемы, типа форума «Новостей космонавтики», когда всё начинает кривить из-за неудачно выбранной платформы. Или как на Сухой.ру однажды просто сносят нафиг архивы. Или как на Авиабазе вылезают проблемы с сервером...

Надёжность и долговечность — в открытости и распределённости.
 42.0.2311.13542.0.2311.135

+
-
edit
 

Mishka

модератор
★★★
Balancer> За 5 лет с 2005-го по 2014-й MySpace упал с 5-го места в мировом Интернете до 844-го.

Чего-то лыжи не едут! :F
 37.037.0
+
-
edit
 

Balancer

администратор
★★★★★
Balancer>> За 5 лет с 2005-го по 2014-й MySpace упал с 5-го места в мировом Интернете до 844-го.
Mishka> Чего-то лыжи не едут! :F

Пятёрку продублировал :) С 2009-го.
 42.0.2311.13542.0.2311.135
+
-
edit
 

Balancer

администратор
★★★★★
IPFS, похоже, развилась до уровня, когда к ней можно присмотреться. Что-то типа Tahoe-LAFS, но прозрачно связываемые сервера (а не вручную создаваемые сети) и замах на серьёзную инфраструктуру. По сути не файловое хранилище, а организация p2p-доступа к файлам. Но годится для зеркалирования, так как у одного файла на разных пирах будет один ID.

«Из коробки» работают гейты. В т.ч. центральный. Вот, скажем, фотка с моей машины, отдаваемая через сторонний гейт: http://gateway.ipfs.io/ipfs/QmTUeRKutKfbTRmoXsgRTv4r9zKJyFVrX3NVLQctRmoa1v

Можно расшаривать сразу целые каталоги и, вроде как, монтировать по fuse.

Думаю, довольно перспективно для раздачи на поддержку энтузиастам архивов аттачей и репозиториев сообщений.
 42.0.2311.15242.0.2311.152
+
-
edit
 

Balancer

администратор
★★★★★
Вот тут расписал более общие мысли.

Мысли вслух по поводу распределённой социальной системы [Balancer#17.06.15 01:27]

Не прошло и пяти лет. В процессе экспериментов с  Авиабаза распределённая пришёл к таким выводам. 1. Принцип хранения данных в конкретном случае не должен влиять на систему в целом. То есть, не важно, хранилище данных локальное на одной машине или распределено по p2p. Важно, что по запросу клиента оно может отдать весь контент или изменения. Пока, для старта, ориентируюсь на взаимодействие по git, в т.ч. буду играть с gittorrent 2. Внутренняя структура данных в конкретном репозитории не несёт…// CMF BORS©
 


Главный бонус новой архитектуры в том, что можно начинать её реализовывать с мелочи, с совсем простых связок. Наверное, начну с форумов с точки зрения генерации новостного контента и с точки зрения контента сайтов (той же Авиабазы).
 43.0.2357.12443.0.2357.124
+
-
edit
 

Balancer

администратор
★★★★★
Сложился, наконец, в голове пазл, как как реализовать сабж :) (ого, ещё +3 года с предыдущего сообщения!)

Описал в ZeroNet (ссылка на прокси, так что на почитать ничего устанавливать не нужно).

Придётся писать софт самому, но решается задача распределённого хранения, фотографий и т.п.

При этом для консервативной части сообщества принципиально ничего не изменится. Они смогут и дальше общаться на форуме. Но если немного почешутся на тему организации локального хранения данных, то эти данные останутся доступны у всех даже после закрытия/падения форумов. И у каждого будет архив собственных сообщений и всех тех, кто ему интересен (и без хранения левых не нужных ему пользователей).

Очень красивая идея получается :)
 55
RU кщееш #08.05.2018 01:08  @Balancer#08.05.2018 00:38
+
+1
-
edit
 

кщееш

аксакал
★★★★
Balancer> Очень красивая идея получается :)

эк тебя, боярин, таращит...

что животворящий РКН с людьми-то творит!

как стимулирует творческий процесс!
 65.0.3325.18165.0.3325.181
Это сообщение редактировалось 08.05.2018 в 02:07
+
-
edit
 

yacc

старожил
★★☆
кщееш> что животворящий РКН с людьми-то творит!
Ты это читал?

GDPR — новые правила обработки персональных данных в Европе для международного IT-рынка [yacc#06.05.18 13:11]

А теперь - мой перевод: Я написал это письмо несколько лет назад чтобы детализировать вопрос на персональную информацию в худшей форме который канадская компания может получить согласно PIPEDA. Я подумал что возможно имеет смысл обновить это в свете доступа по GDPR и представить худшую ситуацию. Вы можете это просто использовать в вашей органиции для оценки того, какой запрос вы можете потенциально получить. Более интресно то, что вы можете использовать это письмо как настольное упражнение,…// Политический
 
 64.0.3282.11964.0.3282.119
+
+1
-
edit
 

кщееш

аксакал
★★★★
кщееш>> что животворящий РКН с людьми-то творит!
yacc> Ты это читал?
yacc> GDPR — новые правила обработки персональных данных в Европе для международного IT-рынка [yacc#06.05.18 13:11]

нет. но о чем речь представляю.

И прогнозировал происходящее 15 лет назад. Как прогнозировал так и происходит.

Если США, ЕС и весь остальной мир кидается головой в колодец, то это еще не значит что нам в него надо кидаться.
У нас есть и возможно кардинально другого путь.
Тотального шифрования, тотального приоритета личного жизни человека и тотального же усложнения все мировой камарилье их сладенького контроля всего и всех, по возможной по причине нашего расслабона последние 30 лет.

то, что происходит с мировой культурой. с культурой человека в ИП- катастрофа планетарного масштаба. И вместо того чтобы четко обозначить границы недопустимого - наши силовики копируют невозможные для нас империалистические инструменты контроля личности.

и больше того.

при том, что все устройства иностранные, все железо иностранное, все протоколы чужие - иного пути у нас и не было и нет. Сравнения с Китаем неуместно. 20 лет назад надо было думать как быть в цифровом мире там, где сейчас Китай и в 83 как быть в промышленности там где сейчас Китай и какие реформы проводить.

Все остальное популизм, (которым ты занимался тут порой в частности и негосударственное мышление). И античеловечное мышление.

никакого отношения к борьбе с терроризмом история с телеграммом не имеет.
Это тупой отжим рабочей проги.

уже писал. Ровно те люди что отдали весь контроль ИП и всю цифру пиндосам -теперь пытаются нам навязать цифровой эскапизм.

Путь вниз. Деградация. Убожество.
 65.0.3325.18165.0.3325.181
+
-
edit
 

yacc

старожил
★★☆
кщееш> У нас есть и возможно кардинально другого путь.
У кого у нас?
 64.0.3282.11964.0.3282.119
+
-
edit
 

кщееш

аксакал
★★★★
кщееш>> У нас есть и возможно кардинально другого путь.
yacc> У кого у нас?

у тех кто не запад и не восток.
 65.0.3325.18165.0.3325.181
Последние действия над темой
1 2 3

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru