Технические детали Авиабазы

 
1 20 21 22 23 24 25 26
+
-
edit
 

Balancer

администратор
★★★★★
Очень сырая (и пока жутко тормозная — 5-15 секунд на загрузку) рыба, но концепция уже видна. Так, примерно, будет выглядеть входная страница политической части:

Tanzpol

странное чувство. когда находишь на сосне в горах свой разбитый беспилотник и радуешься Радуешься потому что нашел. В лесу, на склоне, в нескольких километрах от старта, но нашелся и значит логи… Размахивание кулаками после драки Дебальцево. Как это было: исповедь разведчика Украинский боец Игорь Лукьянов (позывной Маклауд) рассказал ТСН.ua о том, с чего начинался "котел", почему он не верил,… 26.04.15. Сообщение от "Русской весны". "Украинская армия разработала и активно использует новую тактику артиллерийских обстрелов. // Дальше — tanzpol.works.home.balancer.ru
 

Это только входная страница. Будут отдельные страницы новостей (вместо текущего перехода на форум) и подразделов.

Но предложения/пожелания, в т.ч. по структурной организации принимаются.

После обкатки, доводки и реальной практики на tanzpol.org займусь организацией аналогичной структуры на airbase.ru и выделенном разделе по флоту. Давно назрело создание отдельного флотского портала.
 42.0.2311.9042.0.2311.90
+
-
edit
 

Balancer

администратор
★★★★★
Ну, вот, обновил в контейнере Ubuntu 14.04 до 16.04 (на хосте пока 14.04).

Вроде, под PHP7 вполне себе завелось всё. И работает, как и ожидалось, шустрее. Плюс продолжаю перенос кешей, логов и т.п. на lvm-разделы, что тоже немного облегчает жизнь.
 33

Unix

втянувшийся

Balancer> Ну, вот, обновил в контейнере Ubuntu 14.04 до 16.04 (на хосте пока 14.04).
А чего пользуешь? LX(D|C) или Docker?
 

Balancer

администратор
★★★★★
Unix> А чего пользуешь? LX(D|C) или Docker?

Основная часть Авиабазы — LXC. А так, вообще, бОльшая часть контейнеров на сервере — Docker. У Авиабазы два или три Docker-контейнера раздают аттачи форумов, один — поисковый, с sphinxsearch. Может, ещё есть, навскидку не помню.
 33
+
+1
-
edit
 

Balancer

администратор
★★★★★
Смотрю на таблицы размером по 5-10Гб и думаю, что пришла снова пора выносить контент из БД в файловую систему. Т.е. исходники постов, компилированный HTML постов — в файловую систему и ссылку на файл в БД. Всё равно со всем многоуровневым кешированием обращение к текстам осуществляется редко, поиск по текстам — только в служебных запросах. Зато MySQL не может такие здоровые таблицы держать в памяти целиком и надрывается на дисковой активности...

Как бонус — можно получить халявную версионность и реплицируемость для бэкапа, если хранить исходники сообщений в Git.

Реальный минус только в поисковой системе. Сейчас поиск тупо индексирует поля БД, а придётся брать данные из файлов. Но это лечится давно назревшим переходом на real-time индексы sphinx.

...

Для теста сперва перенесу на пробу контент сохранённых ссылок. Всё равно используется преимущественно как write-only, а разбухло уже до 9Гб. Сразу и для основной базы будет облегчение и посмотрю, как оно на практике себя поведёт...
 33
RU Balancer #07.06.2016 18:56  @Balancer#06.06.2016 01:12
+
+1
-
edit
 

Balancer

администратор
★★★★★
Balancer> Для теста сперва перенесу на пробу контент сохранённых ссылок.

Итак, позавчера вынес, вчера шёл процесс, сегодня система явно не стала работать тормознее, а таблица ссылок реально из 10Гб стала едва в 270Мб.

Сейчас только что закончил переписывание хранения компилированного html с БД в файлы. Пошёл фоновый процесс переноса. Вроде, тоже, тормознее не стало. Если всё будет ок, то в итоге 6Гб из БД в файлы уйдёт и минус одна таблица целиком.
 33

+
-
edit
 

Balancer

администратор
★★★★★
Завёл новый сервер (гы, в Литве! :D), будет использоваться для отдачи статических файлов (картинки-аттачи). Пока для теста перевёл на него отдачу аттачей старого форума, типа Фото и картинки [6]

Пусть не смущают адреса в a0z.ru, вида http://archive.attaches.forums.a0z.ru/8c/2b/8c2bd378acaa67766158de001a61975a.jpg
 44

sam7

координатор
★★★★
Balancer> Завёл новый сервер (гы, в Литве! :D),

А я-то думаю, чего сегодня форум так тормозит, хотел уже в Глюках вопрос задать, а тут вон оно чо...
 11.011.0
LT Bredonosec #27.01.2017 13:18  @Balancer#27.01.2017 10:31
+
+1
-
edit
 
Balancer> Завёл новый сервер (гы, в Литве! :D),
смотри чтоб не потерялось )))
а то у нас могут ))
 49.049.0
RU Balancer #28.01.2017 00:12  @Bredonosec#27.01.2017 13:18
+
-
edit
 

Balancer

администратор
★★★★★
Bredonosec> смотри чтоб не потерялось )))
Bredonosec> а то у нас могут ))

Да, я слышал про Балтнеты и т.п. :) В идеале я стремлюсь вообще всюду иметь вторую рабочую копию, чтобы при падении одной можно было легко на другую переключиться. Не всегда получается, но как раз повод будет :)

Вот ещё подумываю перевезти саму Авиабазу на другой сервер. Б/у с аукциона у Хетцнера. Тоже надо будет думать про резервирование...

Хм. Кстати, мысль. Если за (примерно) те же деньги, что сейчас, взять не сильно более мощный сервер, а два таких же, как сейчас. Нагрузку можно будет понизить не более мощным железом, а распределением запросов на две машины, зато будет резервирование — при отказе одной машины, пусть с тормозами, но все смогут работать на другой :) Надо подумать...
 44
+
-
edit
 

Balancer

администратор
★★★★★
Если весь файловый архив убрать в IPFS, обеспечив его раздачу через пару нод (для резервирования) на том же time4vps — это €3/мес. при резервировании и терабайте места.

Тогда можно заморочиться только БД на сервере. При чём может хватить и 24Гб оперативки (32 не обязательно, т.к. часть нагрузки с сервера итак снимется). Жаль, все варианты бюджетных 24/32Гб включают в себя уже итак ёмкие HDD, не сэкономить :) Цены на Хетцнере начинаются от €27, т.е. €54 за две машины против нынешних €42 за одну. Зато резервирование :)

...

Хм. Ещё есть Scaleway. €24 за 32G/50G+250G (что значит 50G SSD + 250G Direct SSD ?) или €18 за 16G/50G. Это уже сравнимо/конкурентно по цене...
 44
RU Balancer #28.01.2017 13:10  @Balancer#27.01.2017 10:31
+
-
edit
 

Balancer

администратор
★★★★★
Balancer> Пока для теста перевёл на него отдачу аттачей старого форума

Теперь к ним присоединились и аттачи за 2013 год.
 44
LT Bredonosec #29.01.2017 19:04  @Balancer#28.01.2017 00:12
+
-
edit
 
Balancer> Да, я слышал про Балтнеты и т.п. :)
а что балтнета? Была неплохая контора, сейчас её сьели каунасцы, но те же люди работают с теми же людьми, просто под другим лейблом.
Некоторые жирные госконтракты проиграли опять же каунасцам (сей тренд выглядит достаточно подозрительно, но коррупция у нас за норму)
Я про то, что в случае нездорового интереса местных граждан к каким-либо материалам на базе, при знании, что сервер снимается в литве, ты можешь потерять всё накопленное непосильным трудом. А это нехорошо.
Кроме того, не знаю структуру файлов, если также указывается ИП, с которого грузилось, или какие-то еще персональные данные, то я смогу ждать возможных незваных гостей. У нас не руина, но упоротость ненамного ниже, и далеко не один мой пост здесь тянул бы на статью.
 26.026.0
RU Balancer #29.01.2017 19:54  @Bredonosec#29.01.2017 19:04
+
-
edit
 

Balancer

администратор
★★★★★
Bredonosec> ты можешь потерять всё накопленное непосильным трудом

Первое правило любого ответственного проекта — не хранить данные в одной копии :) Я же выше писал, что планирую организовывать проекты, в т.ч. Авиабазу, не просто в формат, имеющий оперативные бэкапы, но в формат, имеющий всегда готовую рабочую резервную копию. Чтобы можно было просто переключиться на другой сервер и продолжить работу с ним с того же места. А то, вон, каждый простой Авиабазы приводит к заметной потере пользователей :)

Bredonosec> У нас не руина, но упоротость ненамного ниже, и далеко не один мой пост здесь тянул бы на статью.

Базы данных там нет. Только файлы (картинки, аттачи). Там слишком хилый хостинг, чтобы тянуть БД :)
 44
LT Bredonosec #30.01.2017 00:36  @Balancer#29.01.2017 19:54
+
-
edit
 
Balancer> Первое правило любого ответственного проекта — не хранить данные в одной копии :)
аа, тогда ок )

Balancer> Базы данных там нет. Только файлы (картинки, аттачи).
это радует :)
Хотя даже просто запросы на файлы могут давать заинтересованному лицу как минимум ипы читателей, а как максимум - всевозможные инжекты и прочую гадость, что делает небезопасным хождение..
 26.026.0
RU Balancer #30.01.2017 00:42  @Bredonosec#30.01.2017 00:36
+
-
edit
 

Balancer

администратор
★★★★★
Bredonosec> Хотя даже просто запросы на файлы могут давать заинтересованному лицу как минимум ипы читателей

Ну, тут ничего не поделать. Тут тебя и по пути в цепочке соединения кто угодно проконтролировать может (ну, кроме честного HTTPS).

Bredonosec> а как максимум - всевозможные инжекты и прочую гадость, что делает небезопасным хождение..

Да нет, через картинки практически нереально.
 44
RU Balancer #30.01.2017 00:44  @Bredonosec#30.01.2017 00:36
+
+1
-
edit
 

Balancer

администратор
★★★★★
Bredonosec> Хотя даже просто запросы на файлы могут давать заинтересованному лицу как минимум ипы читателей

Кстати, я подумываю о переходе на IPFS. Там этот вопрос очень-очень усложнится для стороннего наблюдателя :)
 44
+
-
edit
 

Peredel

втянувшийся

Почему когда я скидываю на форум ссылки на ютуб видео они у меня остаются в виде текстовых ссылок и не появляется само окно ютуба в сообщении ? просто копирую в окне адрес ссылки и вставляю тут
 50.050.0
+
+1
-
edit
 

ReST
RST_37

аксакал
★★
Peredel> Почему когда я скидываю на форум ссылки на ютуб видео они у меня остаются в виде текстовых ссылок и не появляется само окно ютуба в сообщении ? просто копирую в окне адрес ссылки и вставляю тут

Действуй через "поделиться"
Прикреплённые файлы:
225254.jpg (скачать) [568x424, 57 кБ, 2 загрузки]
 
 
 1717

Peredel

втянувшийся

ReST> Действуй через "поделиться"

Спасибо, а то что то непонимал чего там не срастается
 
Последние действия над темой
1 20 21 22 23 24 25 26

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru