[image]

Импортозамещение в ИТ

попытка использовать процессор байкал вместо импортных
 
1 13 14 15 16 17 18 19
ZA Татарин #28.04.2021 00:32  @yacc#27.04.2021 23:50
+
+2
-
edit
 

Татарин

координатор
★★★★★
yacc> А вот подавляющее большинство система, где есть процессоры - от ПК до смартфонов - вовсе не с китайскими процессорами, которым плевать на все лицензии.
Так это пока. Пока "Хуавей" не прижимали, он и "Андроид" на телефоне ставил, со всеми гугл сервисами.

Татарин>> Сами они с процессорами.
yacc> Только для самой критичной части.
Да для всего. Перекомпилять Андроид под МИПС-подобную архитектуру нового Лонгсона ничуть не сложнее, чем под оригинальный МИПС (а АНдроид, было дело, и на нём работал официально).

yacc> yacc>> Ну почему, процессор нужен в ограниченных объемах и он существует.
Татарин>> Эти объёмы при закрытии рынков быстро расширяются.
yacc> С фига ли?
Ну как же? Недоступно внешнее - используем своё.

Татарин>> Да ну? :) Ну давай, на примерах: как пострадает страна от чуть большего потребления "Эльбруса" на ТФлопс.
yacc> Кстати, а ты в курсе что часть АЭС в Китае - совместно с Вестингхаусом ( внезапно! )
Не понял этого примера.
Где тут страдания страны от бОльшего потребления "Эльбруса"?

Ничего внезапного: они там на этапе обучения технологии всего мира себе целыми станциями собирали - станцию от русских, станцию от французов, станцию от американцев... что реально внезапно! - так это станция с реакторами "Канду", на которую даже канадцы неофициально смотрели с недоумением, не веря в своё счастье. Этот праздник жизни давно закончился известными результатами - как бы самостоятельной разработкой на базе французов, как бы самостоятельной разработкой на базе Вестов, и вишенкой на торте - "Хуалонгом-1". Всё, больше ничего там американского уже не будет.

Татарин>> Денежные транзакции по всей России - это смешные десятки-сотни тысяч транзакций в секунду. Это меньше, чем делает система валидации московского метро (а она это делает с самого рождения 10 или солько там уже натикало) лет назад.
yacc> Пипец ты сравнил банковские транзакции с метро...
Возражения по сути есть?

Татарин>> Зачем? Ты покажи необходимость именно вот 7нм проца для этого.
yacc> А я и не говорил про 7 нм.
yacc> Но хорошо освоенный 65нм уже не катит
Почему? Обоснуй.

Татарин>> Да, небольшой (реально небольшой) выигрыш в производительности. Да, выигрыш в разы в потреблении. И что?
yacc> Для пользователей ПК это малоинтересно, а вот для ЦОД...
Для конкретно инженеров ЦОД - интересно, но ЦОД - малая часть страны. Ну жрёт какой-то ЦОД не 30МВт, а, допустим, 300. А все ЦОД страны - допустим, не 300МВт, а 3ГВт И что? Почему это критично в масштабах экономики страны размером с Россию? или с Китай?
   89.0.4389.12889.0.4389.128
UA FOBOSDEMOS #28.04.2021 01:12  @Татарин#28.04.2021 00:18
+
-1
-
edit
 

FOBOSDEMOS

опытный
☆★
☠☠☠
Татарин> Китаю уже лет 10-15 как не надо ничего "давать" - сам возьмёт.

Нет - технологии им никто не даст. Вернее дали то что хотели.
Сами тоже ничего не возьмут - на уровне торговли разве что.

Татарин> Которой в Китае в разы больше, чем в США.

Щас набигут потриоты и скажут что в РФ население богаче чем в Китае :D

Татарин> В Китае сейчас примерно 300 000 000 людей живущих на среднеамериканском уровне.
Татарин> Оставшийся миллиард тоже не совсем статУями стоИт, а наоборот - шевелится, работает и потребляет.

И тем не менее это не население США. Тем более что считать средним уровнем в разных совсем странах.


Татарин> При этом покупательная способность китайцев быстро растёт (с 2000-го - в 15(!)раз), а покупательная способность американцев - падает (с 2000-го по разным оценкам на от 15% до 30% для среднего американца).

Рост есть. Но непонятно к чему это приведет. Силу и прочность экономике Китая мне трудно оценить.
   77
RU yacc #28.04.2021 01:13  @Татарин#28.04.2021 00:32
+
-
edit
 

yacc

старожил
★★★
Татарин> Так это пока. Пока "Хуавей" не прижимали, он и "Андроид" на телефоне ставил, со всеми гугл сервисами.
Так он не только телефоны делает.

yacc>> Только для самой критичной части.
Татарин> Да для всего. Перекомпилять Андроид под МИПС-подобную архитектуру нового Лонгсона ничуть не сложнее, чем под оригинальный МИПС (а АНдроид, было дело, и на нём работал официально).
Это только кажется что как два пальца. И рынок андроидом не ограничивается.

Татарин> Татарин>> Эти объёмы при закрытии рынков быстро расширяются.
yacc>> С фига ли?
Татарин> Ну как же? Недоступно внешнее - используем своё.
С фига ли быстро ?

Татарин> Не понял этого примера.
Ты кажется говорил о мощной науке Китая - нафига тогда вестингхауз если сами могут ?
А... как ты там говоришь: быстро :D

Татарин> Ничего внезапного: они там на этапе обучения технологии всего мира себе целыми станциями собирали - станцию от русских, станцию от французов, станцию от американцев... что реально внезапно!
Прикинь, этап обучения еще не закончился - скажем первые AP1000 всего-то три года назад запустили.
Когда там китайцы первую атомную взорвали ? :D

С чего ты взял что с процессорами они настолько обучились, что могут совершенно автономно производить полным циклом ?

Татарин>и вишенкой на торте - "Хуалонгом-1". Всё,
Ну и сколько уже Hualong One установлено и работает ? :D

yacc>> Пипец ты сравнил банковские транзакции с метро...
Татарин> Возражения по сути есть?
Это совершенно разные отрасли.
Ты блин еще бы LAPACK вспомни :D

yacc>> Но хорошо освоенный 65нм уже не катит
Татарин> Почему? Обоснуй.
Потому что объем данных для обработки у тебя сейчас в несколько раз больше чем в том же 2007 году
Поэтому чтобы отклик был тот же - ставь процессор которые быстрее выполняет операции

Татарин>>> Да, небольшой (реально небольшой) выигрыш в производительности. Да, выигрыш в разы в потреблении. И что?
yacc>> Для пользователей ПК это малоинтересно, а вот для ЦОД...
Татарин> Для конкретно инженеров ЦОД - интересно, но ЦОД - малая часть страны. Ну жрёт какой-то ЦОД не 30МВт, а, допустим, 300. А все ЦОД страны - допустим, не 300МВт, а 3ГВт И что?
Дело не в потреблении - дело в скорости обработки.
Любая многопоточная архитектура всегда глючнее и геморнее в отладке однопоточной - это я про конечное ПО.
   70.0.3538.6770.0.3538.67
EE Татарин #28.04.2021 10:29  @yacc#28.04.2021 01:13
+
+3
-
edit
 

Татарин

координатор
★★★★★
Татарин>> Так это пока. Пока "Хуавей" не прижимали, он и "Андроид" на телефоне ставил, со всеми гугл сервисами.
yacc> Так он не только телефоны делает.
И? Было выгодно ставить андроид (или использовать интоловские процессоры) - делали так. Стало невозможным - будут делать этак.

Татарин>> Татарин>> Эти объёмы при закрытии рынков быстро расширяются.
yacc> yacc>> С фига ли?
Татарин>> Ну как же? Недоступно внешнее - используем своё.
yacc> С фига ли быстро ?
А с фига ли нет? Производственных мощностей хватает, всё готово. Поменять цифирьку требуемых штук в заказе - быстро.

Татарин>> Не понял этого примера.
yacc> Ты кажется говорил о мощной науке Китая - нафига тогда вестингхауз если сами могут ?
Я вообще-то вполне конкретный вопрос задавал (и повторил): что такого случится со страной от того, что "Эльбрус" потребляет больше? Вот в контексте не понял ответа про АЭС в Китае. Вот совсем не понял.

Насчёт "Вестингаузов" - нормальный китайский подход. Они получили все технологии с готовыми решениями со всего мира, сэкономили себе кучу времени на отработку... и не заплатили за это. Они заплатили за станции, которые стоЯт и дают энергию. Расплатившись фантиками, которые всё равно некуда девать.
Сколько там времени прошло после завершения строительства "Вестами" до появления "Хуалонга-1"?
М? :)

yacc> Прикинь, этап обучения еще не закончился - скажем первые AP1000 всего-то три года назад запустили.
Ага. И "Хуалонг" появился два года назад. Да, это - быстро. :)

yacc> yacc>> Пипец ты сравнил банковские транзакции с метро...
Татарин>> Возражения по сути есть?
yacc> Это совершенно разные отрасли.
Так возражения по сути - есть?
Ты вдумайся вообще какую хрень городишь: ты заявляешь, что 10-100 тысяч транзакций в секунду нельзя обработать с процессорами 10-летней давности. Что именно вот "современные процессоры" (что бы это ни значило) вносят некую магию, без которой в стране наступит 2010-й год и перестанут работать карточки и быстрые переводы.
Ну вот обдумай свой тезис и скажи сам себе, что ты не бредишь. :)


yacc> yacc>> Но хорошо освоенный 65нм уже не катит
Татарин>> Почему? Обоснуй.
yacc> Потому что объем данных для обработки у тебя сейчас в несколько раз больше чем в том же 2007 году
Ну? И?
Ты намекаешь на то, что в твоём понимании все транзакции проходят через один единственный процессор, и на его-то производительность всё и завязано, увеличить их число нельзя? Или вот почему "65нм не уже катит"? Ну какая-то же логика должна за твоими словами стоЯть, о чём-то же ты думал, когда это писал?

yacc> Поэтому чтобы отклик был тот же - ставь процессор которые быстрее выполняет операции
yacc> https://arxiv.org/pdf/1911.11313.pdf
А это каким боком?

yacc> Любая многопоточная архитектура всегда глючнее и геморнее в отладке однопоточной - это я про конечное ПО.
О!
То есть, ты реально думаешь, что банковские транзакции идут на одном процессоре, где, как на острие иглы, всё и крутится?!

Офигеть, сколько у меня к тебе новостей... только вот времени не хватит пересказывать. :)
   89.0.4389.12889.0.4389.128
RU yacc #28.04.2021 11:05  @Татарин#28.04.2021 10:29
+
-
edit
 

yacc

старожил
★★★
Татарин> И? Было выгодно ставить андроид (или использовать интоловские процессоры) - делали так. Стало невозможным - будут делать этак.
На Андроид был спрос на рынке. Сколько уже гикнулось ОС, которые предлагали ему альтернативу ?

Татарин> А с фига ли нет? Производственных мощностей хватает, всё готово. Поменять цифирьку требуемых штук в заказе - быстро.
Производственные мощности автономны ? Еще раз смотри на то же соглашение с Самсунг что я привел.

yacc>> Ты кажется говорил о мощной науке Китая - нафига тогда вестингхауз если сами могут ?
Татарин> Я вообще-то вполне конкретный вопрос задавал (и повторил): что такого случится со страной от того, что "Эльбрус" потребляет больше? Вот в контексте не понял ответа про АЭС в Китае. Вот совсем не понял.
Вообще-то потребление - это экономика.


Татарин> Насчёт "Вестингаузов" - нормальный китайский подход. Они получили все технологии с готовыми решениями со всего мира, сэкономили себе кучу времени на отработку... и не заплатили за это.
1) с чего ты взял что не заплатили - т.е. ты утверждаешь про НОЛЬ инвестиционных расходов самого Китая - откуда такая смелость ? :D
2) а с чего ты взял что эти технологии без их создателей работать будут ? Вот отцепи российский Фольсваген от родительской структуры и ее логистики - он выпустит хоть одну машину ?

Татарин> Ага. И "Хуалонг" появился два года назад. Да, это - быстро. :)
Быстро будет когда введут первый энергоблок, а пока это только проект.

yacc>> Это совершенно разные отрасли.
Татарин> Так возражения по сути - есть?
Тебе нравится теплое с мягким сравнивать ?

Татарин> Ты вдумайся вообще какую хрень городишь: ты заявляешь, что 10-100 тысяч транзакций в секунду нельзя обработать с процессорами 10-летней давности.
Татарин> Ну вот обдумай свой тезис и скажи сам себе, что ты не бредишь. :)
На каком ПО и в какой среде ?
Процессор 10 летней давности вполне может работать непосредственно с файлами - т.е. без движка СУБД.
А если еще и на ассемблере написать - то прикинь - и пентиум 100 может потянуть! :lol2:
Ты совсем не в курсе разработки ПО ?

Татарин> Ты намекаешь на то, что в твоём понимании все транзакции проходят через один единственный процессор, и на его-то производительность всё и завязано, увеличить их число нельзя? Или вот почему "65нм не уже катит"? Ну какая-то же логика должна за твоими словами стоЯть, о чём-то же ты думал, когда это писал?
См. выше

Татарин> А это каким боком?
Там тебе наглядно есть TFLOPS по техпроцессам. Прикинь - разница где-то порядок.

Татарин> То есть, ты реально думаешь, что банковские транзакции идут на одном процессоре, где, как на острие иглы, всё и крутится?!
Банковские транзакции проходят через СУБД. И прикинь - всякие джоины выполняются на CPU - в увеличившемся потоке данных.
И прикинь - банку для деятельность кроме обработки транзакций надо еще отчеты
И я тебе как DBA говорю - на легаси системах вполне себе проблемы - ибо то, что написали 10 лет назад сейчас тормозит - ибо писали их программисты под ТОТ объем данных, а он мягко говоря возрос.
И тут ты предлагешь использовать более старый процессор...Финиш! :D
   70.0.3538.6770.0.3538.67

U235

старожил
★★★★★
yacc> На Андроид был спрос на рынке. Сколько уже гикнулось ОС, которые предлагали ему альтернативу ?

На андроид был спрос потому что он беспроблемный и не парил мозг. И работал везде и на всем. Начнут людям сношать мозги где оно будет работать, а где санкции - найдут другую, более беспроблемную и дружественную, ОС.
   88.088.0

yacc

старожил
★★★
U235> На андроид был спрос потому что он беспроблемный и не парил мозг.
За Андроидом стоит Гугл и этим все сказано. Там скорее основа - магазин приложений.

U235>Начнут людям сношать мозги где оно будет работать, а где санкции - найдут другую, более беспроблемную и дружественную, ОС.
См. выше

Сделать смартфон для военных - не проблема и в РФ. А вот пользователям нужны приложения и выбор.
   70.0.3538.6770.0.3538.67

EG54

опытный

Татарин>>да и рынки стран вроде России были бы равнодушны к вопросу даже если бы юридические проблемы имелись бы.
yacc> Рынок РФ очень маленький в мировом масштабе

Эх, расшифровать бы почему Российский рынок маленький и не может проглотить наукоемкую продукцию?
Наша надежа олигархи у нас не наукоемкие?
Это относится к итогам?
   77
+
+2
-
edit
 

Sandro
AXT

инженер вольнодумец
★☆
yacc> Банковские транзакции проходят через СУБД. И прикинь - всякие джоины выполняются на CPU - в увеличившемся потоке данных.

SQL JOIN параллелится неограниченно на всех современных БД.

yacc> И прикинь - банку для деятельность кроме обработки транзакций надо еще отчеты

Это делается независимо от обработки клиентских запросов.

yacc> И я тебе как DBA говорю - на легаси системах вполне себе проблемы - ибо то, что написали 10 лет назад сейчас тормозит - ибо писали их программисты под ТОТ объем данных, а он мягко говоря возрос.

SELECT * FROM TABLE? Знаем, видели. Ну так не надо так писать.

yacc> И тут ты предлагешь использовать более старый процессор...

Массив более простых. Как современные видеокарты работают, знаешь? А почему они по быстродействию обошли CPU равной сложности просто навсегда, знаешь?
   52.952.9

yacc

старожил
★★★
Sandro> SQL JOIN параллелится неограниченно на всех современных БД.
Вообще-то не всегда. Особенно если это HASH или MERGE JOIN

yacc>> И прикинь - банку для деятельность кроме обработки транзакций надо еще отчеты
Sandro> Это делается независимо от обработки клиентских запросов.
И это тоже БД и тоже запросы. Причем с агрегатами.

Sandro> SELECT * FROM TABLE? Знаем, видели. Ну так не надо так писать.
Да не - с подзапросами и подселектами.

yacc>> И тут ты предлагешь использовать более старый процессор...
Sandro> Массив более простых. Как современные видеокарты работают, знаешь? А почему они по быстродействию обошли CPU равной сложности просто навсегда, знаешь?
А то, что спич шел о использовании GPU для SQL - ты тоже знаешь. Как и то, что это внезапно не взлетело - нет в продакшн системах баз на GPU
   70.0.3538.6770.0.3538.67

yacc

старожил
★★★
EG54> Эх, расшифровать бы почему Российский рынок маленький и не может проглотить наукоемкую продукцию?
Потому что всего порядка 150 млн потенциальных потребителей, в то время как компании типа IBM шуруют на мировом рынке - в том числе и в РФ
   70.0.3538.6770.0.3538.67
EE Татарин #28.04.2021 23:55  @yacc#28.04.2021 11:05
+
+3
-
edit
 

Татарин

координатор
★★★★★
Татарин>> И? Было выгодно ставить андроид (или использовать интоловские процессоры) - делали так. Стало невозможным - будут делать этак.
yacc> На Андроид был спрос на рынке. Сколько уже гикнулось ОС, которые предлагали ему альтернативу ?
Если китайцам недоступен Андроид - будут пользовать своё.

yacc> Производственные мощности автономны ? Еще раз смотри на то же соглашение с Самсунг что я привел.
У SMIC? Да.

yacc> yacc>> Ты кажется говорил о мощной науке Китая - нафига тогда вестингхауз если сами могут ?
Татарин>> Я вообще-то вполне конкретный вопрос задавал (и повторил): что такого случится со страной от того, что "Эльбрус" потребляет больше? Вот в контексте не понял ответа про АЭС в Китае. Вот совсем не понял.
yacc> Вообще-то потребление - это экономика.
БОльшая деятельности человека так или иначе относится к хозяйствованию. Вопрос ьыл совсем другой. Мне его скоипастить в третий раз, что ли?
Что ужасного ждёт страну?

Татарин>> Насчёт "Вестингаузов" - нормальный китайский подход. Они получили все технологии с готовыми решениями со всего мира, сэкономили себе кучу времени на отработку... и не заплатили за это.
yacc> 1) с чего ты взял что не заплатили - т.е. ты утверждаешь про НОЛЬ инвестиционных расходов самого Китая - откуда такая смелость ? :D\
С того, что все эти платежи - в стоимости станции, которая сама себя окупает, как нормальный коммерческий проект. Технологии же передавались просто в процессе (или не передавались, а изучались по месту неофициально).

yacc> 2) а с чего ты взял что эти технологии без их создателей работать будут ?
Угадай, сколько процентов от стоимости оборудования АЭС поставлено непосредственно из США?
Так что, кто "создатель" в случае с как бы "американской" АЭС в Китае - вопрос открытый.

Татарин>> Ага. И "Хуалонг" появился два года назад. Да, это - быстро. :)
yacc> Быстро будет когда введут первый энергоблок, а пока это только проект.
В среднем 5-6 лет на привязку к площадке и строительство. Ждать недолго.

Татарин>> Ты вдумайся вообще какую хрень городишь: ты заявляешь, что 10-100 тысяч транзакций в секунду нельзя обработать с процессорами 10-летней давности.
Татарин>> Ну вот обдумай свой тезис и скажи сам себе, что ты не бредишь. :)
yacc> На каком ПО и в какой среде ?
Да какая разница-то? :)
Это не однопоточная игрушка для дома. Это банковский процессинг. Не хватает одного процессора - ставишь 2. Не хватает 4 - делаешь кластер из 4 серверов по 4 проца. Не хватает этого кластера - доставляешь сервера.

yacc> Процессор 10 летней давности вполне может работать непосредственно с файлами - т.е. без движка СУБД.
Ой, всё... тебя уже унесло куда-то, в совсем далёкие дали...
Процессор 10-летней давности замечательно работали на СУБД.

yacc> А если еще и на ассемблере написать - то прикинь - и пентиум 100 может потянуть! :lol2:
yacc> Ты совсем не в курсе разработки ПО ?
А при чём тут ассемблер-то?!
(Кстати, большая ошибка полагать, что "человек+ассемблер" на нынешних процах будет лучше нынешнего компилятора; как правило, рядовой человек пишет код даже хуже, ибо не учитывает кучу нюансов, нужны исключительные случаи и исключительные люди, чтобы ассемблер что-то давал по скорости)

Я в курсе разработки ПО. Я его разрабатываю. Но то, что ты несёшь - какое-то безумие, право слово.

Татарин>> Ты намекаешь на то, что в твоём понимании все транзакции проходят через один единственный процессор, и на его-то производительность всё и завязано, увеличить их число нельзя? Или вот почему "65нм не уже катит"? Ну какая-то же логика должна за твоими словами стоЯть, о чём-то же ты думал, когда это писал?
yacc> См. выше
Не вижу логики вообще.

Татарин>> То есть, ты реально думаешь, что банковские транзакции идут на одном процессоре, где, как на острие иглы, всё и крутится?!
yacc> Банковские транзакции проходят через СУБД. И прикинь - всякие джоины выполняются на CPU - в увеличившемся потоке данных.
Так и что?

yacc> И прикинь - банку для деятельность кроме обработки транзакций надо еще отчеты
Так и что?

yacc> И я тебе как DBA говорю - на легаси системах вполне себе проблемы - ибо то, что написали 10 лет назад сейчас тормозит - ибо писали их программисты под ТОТ объем данных, а он мягко говоря возрос.
yacc> И тут ты предлагешь использовать более старый процессор...Финиш! :D
Да запросто, что такого-то? что тут вообще обсуждать-то?
Серьёзные вещи вообще пишутся с изначальной возможностью масштабирования. Такого, чтоб в какой-то момент всё упёрлось в один процессор и "база выросла, а нового процессора с соотвествующей скоростью ещё не выпустили" - представить даже укурившись нельзя. :) Но ты смог. :)

Это, прости, уровень пионеров, строящих сайт школьной библиотеки.
   90.0.4430.9390.0.4430.93
RU yacc #29.04.2021 00:54  @Татарин#28.04.2021 23:55
+
-
edit
 

yacc

старожил
★★★
yacc>> Производственные мощности автономны ? Еще раз смотри на то же соглашение с Самсунг что я привел.
Татарин> У SMIC? Да.

А пруф ?

Надеюсь ты понимаешь что я про весь мясокомбинат - от расходников и химикатов, до ТО
   70.0.3538.6770.0.3538.67

U235

старожил
★★★★★
yacc> За Андроидом стоит Гугл и этим все сказано.

Этим сказано что при продолжении американцами подобной политики и гугл и андроид потеряют рынки и уступят место менее замороченным системам и поставщикам, если в половине стран, причем самых развитых, они не будут работать из-за санкций. Ни пользователям ни разработчикам это не надо, и на былых заслугах долго продержаться не получится, если санкции будут продолжаться и усугубляться.

yacc> Там скорее основа - магазин приложений.

Это не эксклюзив гугла. Такой же магазин есть и у других разработчиков. У Хуавея, например, свой появился. Какая разница разработчикам, где продвигать свои приложения? Особенно если американские владельцы магазинов наглеют и либо требуют бабла, либо удаляют приложения из магазинов по политическим и идеологическим причинам.
   90.0.4430.9390.0.4430.93
RU U235 #29.04.2021 01:20  @Татарин#28.04.2021 23:55
+
+1
-
edit
 

U235

старожил
★★★★★
Татарин> Серьёзные вещи вообще пишутся с изначальной возможностью масштабирования.

Да уже на уровне самих СУБД давно предусмотрена кластеризация, то есть возможность крутить базу на нескольких машинах, если одна не справляется по производительности
   90.0.4430.9390.0.4430.93
RU спокойный тип #29.04.2021 08:38  @U235#29.04.2021 01:20
+
-
edit
 

спокойный тип
Спокойный_Тип

старожил
★★
Татарин>> Серьёзные вещи вообще пишутся с изначальной возможностью масштабирования.
U235> Да уже на уровне самих СУБД давно предусмотрена кластеризация, то есть возможность крутить базу на нескольких машинах, если одна не справляется по производительности

всё не так уж просто с кластеризацией...хорошо если у тебя федеративная система и можно отдельные базы на узлах крутить, отдельные инстансы (допустим по территориальным образованиям).
или если косистентность данных не требуется и можно иметь разные версии правды.

иначе тебе нужно узлы синхронизировать и бороться с взаимными блокировками и это всё очень увлекательно становится и нифига не линейно масштабируется. появляются перекосы данных между узлами, перекосы в запросах и куча высоокоплачиваемых людей что бы это жило в реальности под реальной нагрузкой.

Как мы спасали карточный процессинг с помощью Exadata

В последние 10 лет ВТБ переживает мощный рост вычислительной нагрузки. Каждый год она увеличивалась в полтора раза, а объем учетных данных — в два. Службы поддер... //  habr.com
 
В техническом ракурсе была еще одна сложность: OLTP-нагрузка карточных транзакций смешивалась с DWH/DSS-нагрузкой кастомизированной функциональности и отчетности.
 


вот они и вынесли DWH отдельно и затем эту задачу которая лучше кластеризуется и реализовали.

а OLTP осталось наверняка в одной базе, предположу на уровне кластера там сделано резервирование, раком так сказать (RAC) - чисто для отказоусточивости.
   87.087.0
Это сообщение редактировалось 29.04.2021 в 08:52

yacc

старожил
★★★
U235> Этим сказано что при продолжении американцами подобной политики и гугл и андроид потеряют рынки и уступят место менее замороченным системам и поставщикам, если в половине стран, причем самых развитых, они не будут работать из-за санкций.
Так не работает это в Китае причем только для Хуавей ну и вероятно в Крыму. Критической массы нет.

U235> Это не эксклюзив гугла. Такой же магазин есть и у других разработчиков.
Конечно есть. Скажем у Эппла.
Майкрософт попытался сделать но как-то загнулся в мобильниках, хотя я бы не сказал что там все совсем неудобно было.
   70.0.3538.6770.0.3538.67

U235

старожил
★★★★★
yacc> Так не работает это в Китае причем только для Хуавей ну и вероятно в Крыму. Критической массы нет.

Более миллиарда человек суммарно под санкциями - это нет критической массы? Уже одного Китая под санкциями достаточно для появления экономически эффективного конкурента гугла.

U235>> Это не эксклюзив гугла. Такой же магазин есть и у других разработчиков.
yacc> Конечно есть. Скажем у Эппла.

И скажем у Хуавея.
   90.0.4430.9390.0.4430.93
RU yacc #29.04.2021 09:46  @Татарин#28.04.2021 23:55
+
+1
-
edit
 

yacc

старожил
★★★
Татарин> БОльшая деятельности человека так или иначе относится к хозяйствованию. Вопрос ьыл совсем другой. Мне его скоипастить в третий раз, что ли?
Татарин> Что ужасного ждёт страну?
Ужасного - ничего.

Татарин> С того, что все эти платежи - в стоимости станции, которая сама себя окупает, как нормальный коммерческий проект.
А ничего что сроки несколько раз срывались и проект подорожал?

Как Westinghouse Китай покоряла

Проблемы, надежды и перспективы //  regnum.ru
 

Татарин> Технологии же передавались просто в процессе (или не передавались, а изучались по месту неофициально).
У Китая просто "солянка" атомных технологий с разных мест которые как-то надо стыковать
Например "Росатом" технологий особо и не передает ( и это понятно почему )

Путеводитель по атомному проекту Китая

Три корпорации, пять технологий и многое другое //  regnum.ru
 

Татарин> Угадай, сколько процентов от стоимости оборудования АЭС поставлено непосредственно из США?
А ты почитай ссылочки вверху внимательно

yacc>> Быстро будет когда введут первый энергоблок, а пока это только проект.
Татарин> В среднем 5-6 лет на привязку к площадке и строительство. Ждать недолго.
Нет референтного блока - речь о том что усвоили технологии пока не идет.

Татарин> Да какая разница-то? :)
Татарин> Это не однопоточная игрушка для дома. Это банковский процессинг. Не хватает одного процессора - ставишь 2. Не хватает 4 - делаешь кластер из 4 серверов по 4 проца. Не хватает этого кластера - доставляешь сервера.
Прикинь, а банковский процессинг даже у нас делают на IBM :D

Татарин> Процессор 10-летней давности замечательно работали на СУБД.
Гораздо меньшего объема. Если оценить что данные в 1.5 раза увеличиваются каждый год, то за 10 лет они увеличились почти в 60 раз.

Татарин> А при чём тут ассемблер-то?!
Он максимально позволяет тебе использовать ресурсы железа. Но можешь и на С в общем-то

Татарин> (Кстати, большая ошибка полагать, что "человек+ассемблер" на нынешних процах будет лучше нынешнего компилятора; как правило, рядовой человек пишет код даже хуже, ибо не учитывает кучу нюансов, нужны исключительные случаи и исключительные люди, чтобы ассемблер что-то давал по скорости)
Наивно полагать что оптимизирующий компилятор делает это лучше человека - он разве что рутину снимает. А уж у СУБД просто постоянно приходится оптимизатору помогать после кода разработчиков, которые просто хотят данные в базе хранить.
И напомню, что современные языки со средой исполнения тратят лишнее время на эту среду исполнения - типа питона или JVM, хотя лет 15 назад тоже самое на С или С++ работало просто без лишних накладных расходов.

Татарин> Татарин>> Ты намекаешь на то, что в твоём понимании все транзакции проходят через один единственный процессор, и на его-то производительность всё и завязано, увеличить их число нельзя?
Параллелизм в том же SQL ограничен или как это называют горизонтальное масштабирование. Это в NoSQL это легко, но там есть проблемы с целостностью.

Татарин> Или вот почему "65нм не уже катит"?
Потому что объем данных возрос на пару порядков. Я же не отрицаю, что с объемами 10 летней давности они бы справились ? :D Но тебе нужно обрабатывать именно современный объем.

yacc>> Банковские транзакции проходят через СУБД. И прикинь - всякие джоины выполняются на CPU - в увеличившемся потоке данных.
Татарин> Так и что?
См. выше

yacc>> И тут ты предлагешь использовать более старый процессор...Финиш! :D
Татарин> Да запросто, что такого-то? что тут вообще обсуждать-то?
Приехали...

Татарин> Серьёзные вещи вообще пишутся с изначальной возможностью масштабирования.
А кто тебе сказал что то, что уже понаписали, писали серьезно с возможностью горизонтального масштабирования а не на уровне индусов ?
   70.0.3538.6770.0.3538.67

yacc

старожил
★★★
U235> Более миллиарда человек суммарно под санкциями - это нет критической массы? Уже одного Китая под санкциями достаточно для появления экономически эффективного конкурента гугла.
Я так напомню что ранний СССР тоже был под санкциями. И США такой большой не была. И все равно Сталину пришлось покупать технологии и ими обучаться.
Так что количество человек - далеко не главный аргумент

U235> И скажем у Хуавея.
Только-только появился.
Не, со временем разовьется, но время требуется.
   70.0.3538.6770.0.3538.67
RU спокойный тип #29.04.2021 10:43  @yacc#29.04.2021 09:46
+
+1
-
edit
 

спокойный тип
Спокойный_Тип

старожил
★★
yacc> Наивно полагать что оптимизирующий компилятор делает это лучше человека - он разве что рутину снимает. А уж у СУБД просто постоянно приходится оптимизатору помогать после кода разработчиков, которые просто хотят данные в базе хранить.

есть специальные люди обученные физическому дизайну - физ моделированию и другие которые перфоманс тюнят - которые смотрят как оптимизатор работает и где на конкретной системе ботлнеки у конкретной цепочки расчёт - и под него тюнят физмодель и ETL.
иначе оптимизатор такого может наоптимизировать что кластер повесится.

причём они на ежедневной основе смотрят как оно работает относительно baseline - если система в проде и нагружена.


Татарин>> Серьёзные вещи вообще пишутся с изначальной возможностью масштабирования.
yacc> А кто тебе сказал что то, что уже понаписали, писали серьезно с возможностью горизонтального масштабирования а не на уровне индусов ?

серьёзные вещи они в процессе постоянной доработки так как на перспективу не угадаешь где оно будет расти и что нужно будет масштабировать.
понятно что возможность как бы закладывается но остаётся "техдолгом". нужно будет - потом распараллелим тут, распараллелим там, модель данных доработаем, архитектуру доработаем.
но прямо сейчас в моменте заказчик никогда не готов платить за распараллеливание того что ему может потребуется через год. ему бы сделать то что нужно было сделать ещё год назад ))).
   87.087.0
RU yacc #29.04.2021 10:56  @спокойный тип#29.04.2021 10:43
+
-
edit
 

yacc

старожил
★★★
с.т.> есть специальные люди обученные физическому дизайну - физ моделированию и другие которые перфоманс тюнят - которые смотрят как оптимизатор работает и где на конкретной системе ботлнеки у конкретной цепочки расчёт - и под него тюнят физмодель и ETL.
И это одна из моих обязанностей :)
Даже тулы есть что собирают планы, и DBA на регулярной основе их анализируют и смотрят затыки.

с.т.> иначе оптимизатор такого может наоптимизировать что кластер повесится.
Именно!

с.т.> серьёзные вещи они в процессе постоянной доработки так как на перспективу не угадаешь где оно будет расти и что нужно будет масштабировать.
А теперь прикинь что это делается еще по Scrum - т.е. итеративно по мере поступления...
Анализ на 10 лет вперед разве что по водопаду можно сделать, но это немодно :)
   70.0.3538.6770.0.3538.67
RU спокойный тип #29.04.2021 11:02  @yacc#29.04.2021 10:56
+
+2
-
edit
 

спокойный тип
Спокойный_Тип

старожил
★★
с.т.>> серьёзные вещи они в процессе постоянной доработки так как на перспективу не угадаешь где оно будет расти и что нужно будет масштабировать.
yacc> А теперь прикинь что это делается еще по Scrum - т.е. итеративно по мере поступления...
yacc> Анализ на 10 лет вперед разве что по водопаду можно сделать, но это немодно :)

а чё прикидывать - мы это и делаем.
но на 10 лет вперёд не получится - бизнес далее чем на год вперёд себя не может нормально спланировать, а как ты будешь без постановки от заказчика анализ делать.
   87.087.0
RU yacc #29.04.2021 11:05  @спокойный тип#29.04.2021 11:02
+
+1
-
edit
 

yacc

старожил
★★★
с.т.> но на 10 лет вперёд не получится - бизнес далее чем на год вперёд себя не может нормально спланировать, а как ты будешь без постановки от заказчика анализ делать.
Именно.
Поэтому когда Татарин говорит о легкости переноса на процессоры 10 летней давности - я падаю со стула.
А он, походу, в этом уверен :D
   70.0.3538.6770.0.3538.67
LT Bredonosec #29.04.2021 11:49  @Татарин#27.04.2021 23:18
+
-
edit
 
Татарин> Ты меня на измор берёшь, что ли?
в этом и смысл тактики =))
Или набредить, или, если не получается, взять на измор, чтоб собеседник перестал отвечать и выглядело бы словно тот бред "правдив".
   68.068.0
1 13 14 15 16 17 18 19

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru