А не сохранить ли нам координированно полезные данные в p2p-облаке?

флейм о распределённом хранении данных
 
1 2 3 4

PSS

литератор
★★
Сообщение было перенесено из темы ДОКТОР.
Balancer> Но за последние годы, а вопрос поднял уже давно и возвращаюсь к нему регулярно, ещё не встретил ещё ни одного реально заинтересованного. Каждый доволен либо использованием централизованных ресурсов, либо собственной домашней копилкой.

Кстати. К вопросу сохранности. Когда Вы объявили об этом я помню присоединился и даже расширил несколько папок. С видео задержания Савченко и что-то еще

Но потом у меня умер винт на винте и стало не до этого. Так вот это что-то еще сохранилось? Можно все отследить?
История "Планеты Бурь" http://shubinpavel.ru/  44

  • Balancer [24.09.2017 16:12]: Перенос сообщений из ДОКТОР

Balancer

администратор
★★★★★
PSS> Кстати. К вопросу сохранности. Когда Вы объявили об этом я помню присоединился и даже расширил несколько папок. С видео задержания Савченко и что-то еще

Это в какой системе? Я подозреваю, что RetroShare? Она не позволяет автоматизировать распределённое хранение. Только раздавать свои файлы. Ну и тем, кто сам их скачает. Как с торрентами, только анонимно и медленно. Проблема в том, что нет средств контроля — сколько копий где хранится. И нет автоматики сохранения чужих файлов. Если никто не знает, что файл нужно продублировать, то никто него не продублирует.

PSS> Но потом у меня умер винт на винте и стало не до этого. Так вот это что-то еще сохранилось?

Если никто не выкачивал специально (я — нет), то нет :-/

В противоположность RetroShare, в ZeroNet нет нормальных средств хранения больших файлов. Но удобные инструменты сохранения мелких публикаций. То есть подписал любой сервер (свой или публичный прокси) на чей-то блог/форум/Wiki — и любые публикации там у автора будут сами сохраняться у всех подписчиков. Так, что автору не нужно даже сохранять потом у себя оригиналы. Автор вообще может работать не с одного своего компьютера, а с любого компьютера в Интернете, лишь бы у него был ключ для обновления публикаций.

Аналогичного решения для автоматизации сохранения больших файловых архивов (видео в первую очередь), по-моему, в природе пока нет :-/
 44
+
-
edit
 

Balancer

администратор
★★★★★
Итак, новый инструмент :)

ZeroNet [Balancer#05.10.17 16:36]

Всё, заработало нормально Вот пример видео (удалённого с YouTube) через Zero-прокси // Infonesy — распределённая социальная система и прочее, связанное с p2p.
 


Точнее, долгожданная функция старого.
 44
+
-
edit
 

Balancer

администратор
★★★★★
Ещё один пример, ещё один звоночек.

Закрыт russianplanes.net — следствие публикации о «кокаиновом деле»? [Форумы Balancer.Ru]

, похоже, прикрыли. Часом, не в связи с цитатой из Того Самого РБКашного текста? "Ресурс также указывает, что 6 декабря 2017 года самолет Ил-96 с бортовым номером 96023 действительно был в аэропорту… //  www.tanzpol.org
 

Было б оно децентрализовано — ничего бы не случилось.
 55
+
-
edit
 

TEvg-2

мракобес

Balancer> Ещё один пример, ещё один звоночек.

А какая разница? Любого могут убить за 1 секунду. Как убили Кота-да-Винчи.
А что касается хозяина - возьмет его Кей-Джи-Би за яйца и он сам всё сотрет или передаст куда следует.

russianplanes можно было выкачивать как сайт, когда он был ещё жив. И все дела.
 47.047.0
Balancer: предупреждение (+2) по категории «Обсуждение модераториала, политики модерации или агрессивное самовольное модерирование [п.8]»
+
-
edit
 

Balancer

администратор
★★★★★
TEvg-2> А какая разница? Любого могут убить за 1 секунду. Как убили Кота-да-Винчи.

В децентрализованных системах — нет.

TEvg-2> А что касается хозяина - возьмет его Кей-Джи-Би за яйца и он сам всё сотрет или передаст куда следует.

Не получится. Это распределённая система.

TEvg-2> russianplanes можно было выкачивать как сайт, когда он был ещё жив. И все дела.

Угу. «Пока жив». Этим нужно заниматься постоянно и выкачанный вариант динамически неработоспособен. После пропажи сайта для обеспечения доступа к этим данным его снова надо как-то оживлять...

На практике такие методы не работают. Абсолютно. Ты знаешь примеры, когда энтузиасты самостоятельно восстанавливали контент сайта, прибитого владельцем или хостером? Я — нет.
 55

  • Balancer [28.02.2018 12:57]: Предупреждение пользователю: TEvg-2#28.02.18 12:53
RU Алексей #09.03.2018 01:45  @Balancer#28.02.2018 12:57
+
-
edit
 

Алексей

опытный

Balancer> Ты знаешь примеры, когда энтузиасты самостоятельно восстанавливали контент сайта, прибитого владельцем или хостером? Я — нет.

Городской электротранспорт — База данных / Фотогалерея — TransPhoto

Крупнейшая фотогалерея городского электротранспорта России и мира. Базы подвижного состава, видеокаталог. //  transphoto.ru
 

Не совсем такая ситуация - владельцы активно помогали восстанавливать, но масштаб был ого-го.
В 2014 году накрылся винчестер, а бэкап был очень старый. И ничего, к сегодняшнему дню процентов 90 восстановили общими усилиями.
 58.058.0
RU Balancer #09.03.2018 12:16  @Алексей#09.03.2018 01:45
+
-
edit
 

Balancer

администратор
★★★★★
Алексей> Не совсем такая ситуация - владельцы активно помогали восстанавливать

Да, это совсем другая ситуация. И это всё равно единичные случаи :) В подавляющем большинстве случаев гибель ресурса = гибель всех организованных данных. Вот и russianplanes.net выше — в копилку.
 55

PSS

литератор
★★
Balancer> На практике такие методы не работают. Абсолютно. Ты знаешь примеры, когда энтузиасты самостоятельно восстанавливали контент сайта, прибитого владельцем или хостером? Я — нет.

ZENITcamera: Мемориальный сайт фототехники КМЗ

All about Photo cameras and lenses made by Krasnogorsky zavod //  www.zenitcamera.com
 

Из-за внутренних разногласий на КМЗ руководство приказало своему сотруднику создавшему сайт, прибить его. Он послушался. Осталась только одна страница и надпись

Сайт ZENITcamera: Мемориальный сайт фототехники КМЗ закрыт.
The site is closed.

07.10.1999–02.05.2012

Сайт ZENITcamera.com — бывший фототехнический сайт НТЦ «Красногорского завода им. С.А. Зверева» (первоначально имел имя http://www.zenit.istra.ru). Был организован в 1996 году в качестве общего информационного ресурса отделения фототехники НТЦ КМЗ (исторические и архивные материалы, фототехнические справочники и руководства), с 1999 года — в публичном доступе в Интернете.

Официальный веб-сайт ОАО «Красногорский завод им. С.А. Зверева»: Философия «Швабе»
 


А это как раз хороший пример ресурса который мало интересен подавляющему числу пользователей и сейчас. Но очень полезен как любителям, так и профессионалам. Причем его информация не важна сиюмоментно, но гарантировано требуется с течением времени.

В результате многие фотолюбители сделали несколько зеркал сайта. На разных хостинга. Из того, что смогли вытянуть. Например

Клуб Дальномер • Просмотр темы - Зеркало zenitcamera.com

Сообщения без ответов | Активные темы Список форумов » Дальномерные и другие пленочные фотоаппараты » Советские дальномерки Часовой пояс: UTC + 3 часа Список форумов » Дальномерные и другие пленочные фотоаппараты » Советские дальномерки Часовой пояс: UTC + 3 часа Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9 //  rangefinder.ru
 

Там и автор начального сайта появился

«Рукописи не горят», но к людям это, увы, не относится…
 


Чёрт его знает… Я даже не знаю, что будет, и будет ли, если эта копия попадётся на глаза, скажем так: кое-кому. Будем надеяться, что не попадётся.
Грустно всё это… Кстати, сайт не умер, он просто закрыт (и удалён с родных серверов :(.
А копия уже немножко устарела :P
 


Да уволят нахрен и всё…
 



Что самое характерное, именно они сайт и спасли. Один зарубежный фотолюбитель решил сослаться на зеркало сайта. И не разобравшись послал просьбу на сайт официального КМЗ. Там просто передали сообщение автору сайта. Его начальный контент, пусть он и решает. Он и пошел с начальству с вопросом.

Почему он может давать разрешение на использование информацию с сайта который он даже не может контролировать и не может восстановить свой?? Начальство, видимо остыв, сказало : "Делай, что хочешь." И оригинал вновь заработал.

И я не удивлюсь, если подобных историй, про сайты, десятки, если не сотни. За все время рунета. Просто они вне рамок наших интересов.

Увы. С тех пор так и не был восстановлен форум. И нет номеров ведомственной газеты КМЗ
История "Планеты Бурь" http://shubinpavel.ru/  55

Balancer

администратор
★★★★★
PSS> И я не удивлюсь, если подобных историй, про сайты, десятки, если не сотни. За все время рунета. Просто они вне рамок наших интересов.

Нет. Это всё равно единичные случаи. И все они требовали сложной кропотливой работы энтузиастов. При чём, как полагаю, объёмы во всех случаях небольшие. Можно вспомнить одно из восстановлений, в котором я сам участвовал:

Дневники 1 ОАЭ БПЛА ВВС Новороссии [Balancer#15.08.14 12:30]

ЖЖ забанил st-fuodoroff.livejournal .com, так что я на сохранение, пока доступны, перекину уцелевшие в кеше материалы сюда. Дневники 1 ОАЭ БПЛА ВВС Новороссии. Часть 1. 02:51 pm July 11th, 2014 11 июля эскадрилья БПЛА ВВС Новороссии «Гренада» получила в дар ещё один лёгкий разведывательный гексакоптер с увеличенной мощностью двигателей и повышенной дальностью полёта от Дмитрия О. из Калуги. После незначительной модернизации он пополнит строй лёгких разведчиков. Данный аппарат способен достигать…// Война в Донбассе
 


В то время, как без вести пропадают с концами тысячи, десятки тысяч ресурсов.

Вот закрыт russianplanes.net — кто-то будет его восстанавливать?

А можно просто изначально их вести в вариантах, в которых они не пропадают.
 55

PSS

литератор
★★
Balancer> Нет. Это всё равно единичные случаи. И все они требовали сложной кропотливой работы энтузиастов. При чём, как полагаю, объёмы во всех случаях небольшие. Можно вспомнить одно из восстановлений, в котором я сам участвовал:

Вы сказали, что не знаете таких случаев, я и привел пример

Balancer> В то время, как без вести пропадают с концами тысячи, десятки тысяч ресурсов.
Balancer> Вот закрыт russianplanes.net — кто-то будет его восстанавливать?

Посмотрим. Теоретически шансы на это есть. Но как бы его закрытым не востановили. Как Notabenoid.

Впрочем у меня сейчас ощущения, что отношение к пропаже сайтам уже изменилось. Народ привык и не хочет тратить свои человекочасы на восстановление чужой работы. Пусть и интересной.

Balancer> А можно просто изначально их вести в вариантах, в которых они не пропадают.

Подозреваю, что практически невозможно. Хоть и соблазнительно. Контент может быть большим. Помните, в прошлом году (или позапрошлом) я принимал участие в эксперименте по расшариванию файлов. Потом полетел винт. Спросил есть ли копии. Но никто не стал сохранять себе большие файлы и забивать свои винты..

Так и здесь. Объем информации что генерится сейчас в сети превосходит скорость обновления винтов у пользователей.
История "Планеты Бурь" http://shubinpavel.ru/  55

Balancer

администратор
★★★★★
PSS> Впрочем у меня сейчас ощущения, что отношение к пропаже сайтам уже изменилось. Народ привык и не хочет тратить свои человекочасы на восстановление чужой работы. Пусть и интересной.

Поэтому и нужно делать сразу, чтобы не пропадало :)

Balancer>> А можно просто изначально их вести в вариантах, в которых они не пропадают.
PSS> Подозреваю, что практически невозможно. Хоть и соблазнительно.

ZeroNet. Ещё далеко от идеала, там нет нормальных фотохостингов (хотя кое-что есть и я понемногу присматриваюсь), но вот для тех же блогов и форумов — то, что надо.

PSS> я принимал участие в эксперименте по расшариванию файлов. Потом полетел винт. Спросил есть ли копии. Но никто не стал сохранять себе большие файлы и забивать свои винты..

Потому что расшаривание не должно быть ручной работой. Это провальный подход, как показывает практика. Никто не будет заморачиваться личным включением в поддержку и контролем состояния. Это должно работать автоматически, как в ZeroNet. Ты можешь смотреть только то, что скачал к себе. Впрочем, это как и в обычном Интернете — ты смотришь только уже скаченное :) Но в отличие от обычного Интернет скачанное автоматически остаётся на раздаче, как в торрентах, пока принудительно не грохнешь. Это обеспечивает сотни серверов поддержки для мало-мальски интересного контента.

PSS> Так и здесь. Объем информации что генерится сейчас в сети превосходит скорость обновления винтов у пользователей.

Так речь не идёт о том, чтобы хранить всё, весь мусор. Речь о том, чтобы хранить реально интересное.
 55
+
-
edit
 

Balancer

администратор
★★★★★
Поскольку никого вопрос сохранения/восстановления удалённых видео не интересует, я за автоматикой не следил и сегодня обнаружил, что бэкап видео отвалился аж 27 октября. Сейчас восстановил, но то, что на YouTube удалялось за этот период, пропало.

Правда, хорошая новость, за это время в ZeroNet появился достаточно хороший вариант выкладывания видео, так что можно попытаться автоматизировать процесс переноса туда удалённого с YouTube :)
 55
RU Voennich #28.04.2018 19:39  @Balancer#11.03.2018 18:44
+
-
edit
 

Voennich

опытный

Balancer> ZeroNet. Ещё далеко от идеала, там нет нормальных фотохостингов (хотя кое-что есть и я понемногу присматриваюсь), но вот для тех же блогов и форумов — то, что надо.
Один вопрос - нет ли риска для "ноды" ZeroNet, что заинтересованные "злоумышленники" вместо того, что бы "убить" данные просто закачают, что нибудь сильно незаконное.

А "товарищи майоры" просто арестуют всех кого найдут, записав себе "палок" за "хранение и распространение" ?
главный флудер Авиабазы, Бредоносец - в игноре, пока не разберётся со школьным учебником по физике  66.0.3359.13966.0.3359.139
?? Balancer #29.04.2018 06:49  @Voennich#28.04.2018 19:39
+
-
edit
 

Balancer

администратор
★★★★★
Voennich> Один вопрос - нет ли риска для "ноды" ZeroNet, что заинтересованные "злоумышленники" вместо того, что бы "убить" данные просто закачают, что нибудь сильно незаконное.

Есть такой риск. Но спасают две вещи:

- В ZeroNet ты сам контролируешь то, что у себя хранишь (со всеми плюсам и минусами такого подхода). Да, если ты подписался на чей-то блог или какой-то фотохостинг, то будешь хранить материалы автора блога или пользователей фотохостинга, но ты сам выбираешь, подписываться на них или нет.

- В ZeroNet ты можешь быть довольно сильно анонимизирован, спрятавшись за Tor или даже i2p. Хотя это поставит в определённой степени крест на онлайн-просмотре видео, например, просто скорости канала не хватит. Но тут или паранойя/безопасность, или удобство.

Конечно, уязвимость есть и в таком случае, вычислить человека можно за любыми средствами анонимизации и не только через сеть, но тут уже не будет принципиальной разницы, когда тобой займутся на таком уровне, подсунут тебе запрещённый контент через ZN или подкинут домой пакет героина :)
 55
+
-
edit
 

Balancer

администратор
★★★★★
Поскольку решение конкретизировалось, вынес его в отдельную тему-инструкцию:

«Авиабаза распределённая» — коллективное хранение видео (инструкция для простых пользователей)

Продолжение ряда тем о переносе тяжёлых данных в коллективное облако. Зачем всё это нужно? Видео, выкладываемые на YouTube и другие подобные места — плохое место для хранения. Их массово выпиливают (вопросы правообладания, политическое давление, сцены жестокости и т.п.), ресурсы целиком могут попасть под блокировки, сервисы могут закрываться и т.п. Менять YouTube на Вконтакте или Rutube — шило на мыло. Радикально тут поможет только децентрализация. Чем пользоваться? После пары лет поисков пока…// Авиабаза
 
 55

Mishka

модератор
★★★
qurvax> *бави б-г. Отходят уже, почутка. И правильно. Я в курсе за "спектр", и очень в курсе, сколько мата по поводу ее проблем сгенерировано админами всех мастей.
Очень интересные утверждения. Отходят — на что? Ты себе представляешь объём работы и софта, чтобы достигнуть того же уровня, скажем, по всяким вебсервисам, разным фреймворкам?


Ну и админы, скажем, что наши, что в банках (где я работал или где мои бывшие коллеги работают, как разработчиками, так и QA, так и админами) особо не ругаются. Если они действительно нормально разбирающиеся ребята, то проблем там не больше и не меньше, чем в других "системах".
qurvax> Что им не нравиться - расказывать надо? Алюминий это, пожалуй, C с друзьями. А Java - нечто среднее между картониумом и клееной древесиной.
Надо. "Здаётся мне, Клава, что наши дети не от тебя..."
 60.060.0
US Сергей-4030 #18.07.2018 19:57  @qurvax#12.01.2016 13:50
+
-
edit
 

Сергей-4030

исключающий третье
★★
qurvax>Алюминий это, пожалуй, C с друзьями. А Java - нечто среднее между картониумом и клееной древесиной.

Вау, опять? Расскажи про джаву гуглу и амазону, а то они не в курсе, на каком отстое делают свои дела. :lol:
 67.0.3396.9967.0.3396.99
US Сергей-4030 #18.07.2018 20:04  @qurvax#12.01.2016 13:50
+
-
edit
 

Сергей-4030

исключающий третье
★★
qurvax> *бави б-г. Отходят уже, почутка. И правильно. Я в курсе за "спектр", и очень в курсе, сколько мата по поводу ее проблем сгенерировано админами всех мастей. Что им не нравиться - расказывать надо?

Да нет, проблемы всем известны. И плюсы всем известны. Но от человека, который считает, что C - нормально, лучше Джавы, слушать претензии странно.

PS Покопай архивы, у нас уже был один тут такой ядреный программер, очень был скор на расправу. Но к сожалению, оказался неосторожен, согласился на соревнование "кто быстрее построит такую-то задачку". Задачка был сделать интерпретатор языка (что-то бэйсикоподобное). На Jave все сделали, оно работало. Ядреный программер на C (или на C++, не помню) обоср**ся по полной программе. Так что ты того, осторожней. Ни в коем случае не соглашайся на такие провокации. ;)
 67.0.3396.9967.0.3396.99
RU Balancer #18.07.2018 20:07  @Сергей-4030#18.07.2018 20:04
+
-
edit
 

Balancer

администратор
★★★★★
Сергей-4030> Но от человека, который считает, что C - нормально, лучше Джавы, слушать претензии странно.

А что нормальнее, молоток или пассатижи? :)
 55
US Сергей-4030 #18.07.2018 20:30  @Balancer#18.07.2018 20:07
+
-
edit
 

Сергей-4030

исключающий третье
★★
Сергей-4030>> Но от человека, который считает, что C - нормально, лучше Джавы, слушать претензии странно.
Balancer> А что нормальнее, молоток или пассатижи? :)

Нормально прописать requirements. :)
 67.0.3396.9967.0.3396.99
Последние действия над темой
1 2 3 4

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru