А не сохранить ли нам координированно полезные данные в p2p-облаке?

флейм о распределённом хранении данных
 
1 2 3 4
RU Balancer #08.04.2016 23:12  @Balancer#07.02.2016 18:13
+
-
edit
 

Balancer

администратор
★★★★★
Balancer> Похоже, хранить все YouTube-ролики, на которые ссылаются на Авиабазе просто нереально :-/

Уточнённая оценка — около 70Гб в месяц. Хотя пока тоже очень приблизительная.
 33
RU Balancer #09.04.2016 09:07  @Balancer#08.04.2016 23:12
+
-
edit
 

Balancer

администратор
★★★★★
Balancer> Уточнённая оценка — около 70Гб в месяц. Хотя пока тоже очень приблизительная.

Гы! Один видеоролик на 21Гб размером! :D

Война с памятниками и прочая декоммунизация [Beholder44#17.03.16 09:48]

- 21.35 по местному. Ильич побеждает. - Строили русские, на совесть. Снести собираются бандерлоги "3 класса и коридор"   webcam.zp.ua webcam.zp.ua Запорожье 16.03.2016 Демонтаж памятника Ленину Что самое интересное, сносит памятник такая себе компания ФОРТ, хозяин и директор которой такой вот…// Украина, Крым, Новороссия
 
 33
+
-
edit
 

Balancer

администратор
★★★★★
Сохранение всех ID YouTube-роликов у меня работало ещё с прошлых экспериментов два месяца назад. Так что я решил для пробы напрячься и выкачать всё, посмотреть, что получится и как это будет выглядеть.

За два месяца вышло:

— 2200 роликов, упомянутых на форумах
— Как минимум, 67 роликов было на YouTube удалено
— Скачено что-то около 1500+ роликов (куда делись 2200-(1500+67) без понятия :) — может быть дублей и редактирований на форуме так много, каждый раз они считаются отдельно)
— Объём скачанного составляет порядка 130-140Гбайт. Точно сказать не могу, так как часть видео убивал сразу (типа упомянутых выше 21Гбайт стриминга сноса памятнику Ленина, также удалял художественные фильмы — их всегда можно найти и без YouTube). После чистки осталось около 100 Гбайт.

Решил рискнуть и поставить периодическое выкачивание упомянутых на форумах роликов на автомат. Вот чистить придётся вручную. Также пока неясно, как автоматизировать раздачу, чтобы для исчезнувших роликов реализовать их показ на форумах.
 33
+
-
edit
 

Balancer

администратор
★★★★★
Всё, вижу автоматическое появление в архиве новых youtube-роликов из сообщений форума. Процесс пошёл :)

Добавились ролики «Чемодан компромата» из панамских офшоров [Bod#09.04.16 21:41] и «Чемодан компромата» из панамских офшоров [Bod#09.04.16 21:47]
 33
+
-
edit
 

Balancer

администратор
★★★★★
Первое срабатывание:

Наши разведчики пролетели над палубой "Китти Хока" [Balancer#15.04.16 22:51]

… Вот, первое срабатывание системы сохранения всех YouTube-роликов форума Лежит у меня в архиве. Теперь только нужно придумать, как его раздавать желающим.// Авиационный
 
 33
RU Balancer #26.05.2016 13:01  @Balancer#15.04.2016 22:52
+
-
edit
 

Balancer

администратор
★★★★★
Balancer> Первое срабатывание:
Balancer> Наши разведчики пролетели над палубой "Китти Хока" [Balancer#15.04.16 22:51]

Вот, нашёл решение, как просматривать:

IPFSTube Player

Your browser does not support playing video. Update your browser to watch this video. // ipfstube.ultimon.wrk.ru
 
 33
+
-
edit
 

Wyvern-2

координатор
★★★★★
Важнейшее дело! Ввиду всего и да.

А чем можно помочь?
Жизнь коротка, путь искусства долог, удобный случай мимолетен, опыт обманчив.... Ἱπποκράτης  46.046.0
RU Balancer #26.05.2016 15:28  @Wyvern-2#26.05.2016 14:59
+
-
edit
 

Balancer

администратор
★★★★★
Wyvern-2> А чем можно помочь?

Простыми способами на раз-два-скачал-поставил-запустил — пока не знаю :)

Сложными — надо придумывать, как лучше хранить большие данные децентрализованно. Я пока решения идеального не нашёл.
 33
+
-
edit
 
CZ Andrey_Kr #28.09.2016 12:51  @Balancer#28.09.2016 12:01
+
-
edit
 

Andrey_Kr

втянувшийся

Balancer> Ещё срабатывание:
Balancer> Сирия атакует ИГИЛ [Balancer#28.09.16 12:00]
У меня ругается говорит, что файл поврежден. При этом ролик с СУ-24 нормально проигрывается.
 49.049.0
RU Balancer #28.09.2016 14:15  @Andrey_Kr#28.09.2016 12:51
+
+1
-
edit
 

Balancer

администратор
★★★★★
A.K.> У меня ругается говорит, что файл поврежден.

Кто ругается?
 44
CZ Andrey_Kr #28.09.2016 14:47  @Balancer#28.09.2016 14:15
+
-
edit
 

Andrey_Kr

втянувшийся

Balancer> Кто ругается?
Сделал скриншот ошибки.
Если перейти непосредственно по указанной ссылке, так же будет ругаться
https://gateway.ipfs.io/ipfs/QmYPdVaCQ8XSFmuagx5jhwATsznz59WTezQk9DqWHBdcbh
Прикреплённые файлы:
 
 49.049.0
RU Balancer #28.09.2016 14:54  @Andrey_Kr#28.09.2016 14:47
+
+1
-
edit
 

Balancer

администратор
★★★★★
A.K.> Сделал скриншот ошибки.

А, значит, Firefox просто не понимает .mkv в h264. Смотри в Хроме и производных. Или выкачивай перед просмотром на десктоп. Или открывай URL в проигрывателе, который может играть видео со ссылки, например, VLC.
 44
+
-
edit
 

Balancer

администратор
★★★★★
Очередное срабатывание:

Битва за Алеппо [Bredonosec#07.10.16 23:46]

… видео удалено. Можно найти где-то еще? по поводу же "спецпосланника оон", готового своей жопой прикрывать террористов от огня правительственных сил, только б их вывести из котла - только один вопрос: чем именно они так ему дороги? сколько он зарабатывает на войне, что они ему настолько нужны?// Современные международные конфликты
 


Но у нас так и не устаканился вопрос, как потом раздавать.

— Заливать каждое видео в Вконтакте — я этим точно заниматься не буду :) Во-первых, это размен шила на мыло, во-вторых, процесс невозможно автоматизировать. И, вообще, надо уходить от зависимостей от централизованных сервисов. Чем дальше, тем закручивать гайки будут сильнее.

— В прошлый раз я выложил файл в IPFS, но сейчас это 150Мб. Накладно.

— Помогать мне так никто и не спешит, а я уже утомился регулярно чистить сохранённые файлы, удаляя то, что точно не интересно или не будет удаляться. 200Гб раздел забит под завязку, после того, как у меня сдохли сразу три HDD на домашнем бэкап-сервере, с местом у меня туго. И имейте в виду, если сдохнет и этот винт, то все 200Гб сохранённых роликов пропадут :)

Проще всего получать файлы через Edonkey. В отличие от торрентов ed2k не требует создания торрент-файла для каждой раздачи. И работает поиск по сети. У нашего YouTube-файла ID=_hTSTO2mzrM. Делаем поиск по "_hTSTO2mzrM" и сразу находим:
code text
  1. ed2k://|file|Aleppo%20-%20up%20close%20with%20the%20rebels%20inside%20the%20besieged%20Syrian%20city-_hTSTO2mzrM.mp4|150631664|5A5B1DB9C0E7D3F672C3C8277A851894|h=FRDFT3RLRT5KPXD6UCKAPL7YSD3JIAKM|/|sources,95.31.15.24:52206|/


Можно качать.

Можно раздавать торрентами. В принципе, этот процесс даже автоматизируется. Только 5000 файлов раздавать сложно и нужно скриптописание.


Сейчас сохраню сообщение, чтобы получить адрес для торрента, потом продолжу редактированием :)
 44
RU Balancer #08.10.2016 21:12  @Balancer#08.10.2016 21:07
+
+1
-
edit
 

Balancer

администратор
★★★★★
Balancer> Можно раздавать торрентами.

Продолжаю. Торрент для этого файла в аттаче.

Можно попробовать использовать Magnet-ссылку:

code text
  1. magnet:?xt=urn:btih:A78BD8610DD056766D2F0A424FB17A7DCEB3E044&dn=Aleppo%20-%20up%20close%20with%20the%20rebels%20inside%20the%20besieged%20Syrian%20city-_hTSTO2mzrM.mp4&tr=udp%3a%2f%2ftracker.openbittorrent.com%3a80%2fannounce&tr=udp%3a%2f%2ftracker.opentrackr.org%3a1337%2fannounce&tr=http%3a%2f%2ftrax.corbina.ru%2fannounce
 
 44
RU Balancer #08.10.2016 21:15  @Balancer#08.10.2016 21:12
+
-
edit
 

Balancer

администратор
★★★★★
Balancer> Продолжаю. Торрент для этого файла в аттаче.

Понимаю, что большинству качать видео, чтобы посмотреть локально не понравится. Теоретически, сегодня Web позволяет смотреть торренты прямо из браузера. Например:

Instant.io - Streaming file transfer over WebTorrent

Streaming file transfer over WebTorrent (torrents on the web) Drag-and-drop files to begin seeding. Or choose a file: // instant.io
 

Открываем наш торрент или вставляем magnet-ссылку и смотрим.

На практике у меня пока не работает :)
 44
RU Balancer #08.10.2016 21:39  @Balancer#08.10.2016 21:15
+
-
edit
 

Balancer

администратор
★★★★★
Balancer> Instant.io - Streaming file transfer over WebTorrent

Так у меня и не заработал.

Зато раскопал старый ROX Player:

ROX Player - Powerful All-in-One Media Player

ROX Player - innovative media player for all types of video files, IPTV, DHT and P2P protocols. // roxplayer.com
 

В нём, что по открытию .torrent-файла, что по magnet-ссылке видео показывается нормально. Правда, пока я единственный источник, вначале буферизация до нескольких минут идёт. Нужно больше золота сидов-источников. Тогда работать будет шустро.

...

В принципе, можно организовать такой автоматизированный процесс. Если кто-то захочет присоединиться. Я могу заскриптовать процесс скачивания новых форумных YouTube-роликов. И сделать RSS-поток с ними. А многие качалки умеют сами качать автоматом файлы с RSS-ленты. То есть, как только кто-то на форуме опубликует видео-ссылку на YouTube, она скачивается у меня, начинает раздаваться через bittorrent, и выкачивается у всех, кто готов поддерживать хранение.
 44
RU Balancer #08.10.2016 21:48  @Balancer#08.10.2016 21:39
+
-
edit
 

Balancer

администратор
★★★★★
Ещё в копилку. Приложение под Google Chrome.

Torrent Stream

Watch h264 videos (mp4, some mkv) directly from torrents, without having to download them. // chrome.google.com
 

Должно играть видео по magnet-ссылке. Но у меня так и не начинает показывать. Видимо, потому что мало источников.
 44
LT Bredonosec #08.10.2016 22:19  @Balancer#08.10.2016 21:12
+
-
edit
 
Balancer> Продолжаю. Торрент для этого файла в аттаче.
Balancer> Можно попробовать использовать Magnet-ссылку:
попробовал забрать ( чисто случайно напоролся на тему, не угадал бы) - оппа, ошибка, не раздаётся..
Voeneuch, учи физику, манажор ))  26.026.0
NO Balancer #08.10.2016 23:00  @Bredonosec#08.10.2016 22:19
+
-
edit
 

Balancer

администратор
★★★★★
Bredonosec> ( чисто случайно напоролся на тему, не угадал бы)

Так я в той, оригинальной теме тебе отвечал же :) Должен был высветиться ответ.

Bredonosec> оппа, ошибка, не раздаётся..

Добавил сейчас ещё один удалённый пир. Правда, чисто для теста, места там мало на диске. Выкачала всё быстро (но не по magnet, а по торрент-файлу). Ещё рабочую машину попробовал подключить, но она до сих пор скачать не может ничего — там NAT свирепый :)

После этого поставил (ROX Player пол Linux нет, а это - есть) Strem.IO:

Watch videos, movies, TV series and TV channels instantly.

Watch your favorite videos, movies and TV series. // www.strem.io
 

Ввёл magnet-ссылку, несколько минут стояло, потом начало показывать.
 44
LT Bredonosec #09.10.2016 17:21  @Balancer#08.10.2016 23:00
+
-
edit
 
Balancer> Так я в той, оригинальной теме тебе отвечал же :) Должен был высветиться ответ.
хм.. никогда в ответы не заходил...

Balancer> Добавил сейчас ещё один удалённый пир.
еще раз нажал на торрент, открыть, - снова молчание... пиры 0(2)
Voeneuch, учи физику, манажор ))  26.026.0
+
-
edit
 

Balancer

администратор
★★★★★
Небольшой обзор проигрывателей торрентов на лету:

10 Free Ways to Stream Torrent Without Waiting for Complete Downloading • Raymond.CC

Many people still use BitTorrent to download TV series or movies and usually you need to wait until the file has finished downloading before you can start to watch. However, you can also stream torrent video files so they can be watched while they are downloading, here are 10 tools that can do it. // www.raymond.cc
 
 44

PSS

литератор
★★
Balancer>> Продолжаю. Торрент для этого файла в аттаче.
Balancer> Понимаю, что большинству качать видео, чтобы посмотреть локально не понравится.

Почему бы и нет? Только просьба, можно автоматом добавлять к имени файла расширение? Ави или мкв. Понимаю, что вручную это сделать элементарно, но ведь и автоматизировать еще легче.

Кстати, скачивать пришлось из-за того, что на форуме при проигрывании звук есть, а видео нет. С чем может быть связанно?
История "Планеты Бурь" http://shubinpavel.ru/  44

Balancer

администратор
★★★★★
PSS> Почему бы и нет?

Для типичного форумчанина это избыточное действие. Которое 90% форумчан делать не будут :)

PSS> Только просьба, можно автоматом добавлять к имени файла расширение? Ави или мкв.

То, что раздаётся торрентом итак с расширением. Расширение теряется только в файлах, раздаваемых по IPFS (то, что я встраивал видео прямо в браузер).

PSS> Кстати, скачивать пришлось из-за того, что на форуме при проигрывании звук есть, а видео нет. С чем может быть связанно?

Это ты про встроенный вариант? Зависит от формата видео и браузера. Понимает ли браузер его. С тех пор, как убили флеш, это стало проблемой.
 44
1 2 3 4

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru