Статистика: очередной КА убит софтом

НАСА докопалось: Mars Global Surveyor проработал в четыре раза дольше ресурса, а подох от паталогически дырявого софта. Вообще-то это явление уже как песня а-ля П.П.Шариков с балалайкой, приплясом и бинтами на голове. Раньше АМС дохли от естесственных причин — износа техники, непредсказуемых условий, ошибок операторов, а сейчас вот от неискоренимо дырявого софта для бортовых компов. Почитайте, очень внушаить.



The main culprit appears to be commands mistakenly sent up to the wrong memory address on the onboard computer in June 2006. "This resulted in the corruption of two independent parameters and had dire consequences for the spacecraft," the report states.

One of the two corrupted 'parameters' caused a solar array on the spacecraft to try to move beyond its limits when ground controllers commanded the arrays to swivel away from the Sun on 2 November.

Because the solar array was "driven against its hard stop", the spacecraft entered a special error mode, reorienting itself in space. In its new orientation, one of its batteries was directly exposed to the Sun, causing it to become overheated.

...

Ground controllers were unaware of the actual trouble throughout this critical time span, however, because of the second 'parameter' caused by the incorrect June 2006 software upload.

That parameter caused the spacecraft's high-gain antenna, which is used to communicate with Earth, to point away from the Earth. "Communication from the spacecraft to the ground was therefore impossible, and the unsafe thermal and power situation could not be identified by the MGS's ground controllers," says the report.

The incorrect June 2006 software upload was, in turn, meant to fix a problem created in September 2005. That is when two different engineers updated – in slightly different ways – two redundant control systems for the pointing of the high-gain antenna in 'error' mode. This led to a discrepancy in the computer's two memories, which the June 2006 upload was meant to fix.

In its new orientation, one of its batteries was directly exposed to the Sun, causing it to become overheated.

 

- batteri - это аккум? В любом случае, ИМХО, тут недоработка тепловиков есть. Как минимум - в ТЗ на систему терморегуляции. Кто им виноват, что не рассчитали/не задали на такой режим освещения? Неужто нельзя было догадаться, что подобная ориентация возможна?

Косяки софта - это, конечно, плохо, но всёж-таки и косым софтом МГС ресурс четырёхкратно перекрыл. В таком возрасте летательный исход почти неминуем не от того, так от другого.

Всё же железо отлетало четыре срока без ремонтов, а софт патчили и патчили, и в конечном итоге допатчились что два резервированных компа оказались с разным софтом. По ссылке в тексте сказано что в результате комп усадил батарею, не давал ей заряда, и привет. В общем, душераздирающее зрелище. НАСА претензий к железу не имеет, и все пинки адресованы отделу мягких игрушек.

AU принялся за старую песню. Железо было глюкавое по самое нехочу. Начать с того, что мотор крутился для убора солнечных батарей после того, как упор был достигнут. Это чисто железячная ошибка. С баратеями Факир уже отметил. С апдейтом — железячники не сделали схему компарации и когда сбойнуло (в частности — апдейт), то не смогли этого обнаружить. При этом все железячные недоделки пытались решить за счёт софта.

Не перестаю удивляться... Виноваты все кроме.
Впрочем, мне то что. One down.

The report says the mission team followed existing procedures and processes in running the mission, but that these procedures were 'inadequate' to catch the errors, and that the failure may not have occurred if the protocol had been more thorough or the team had recognised and addressed the inadequacies.

Нет, виноваты не все, т.к. железка отработала четыре ресурса — на том, с чем прилетела — и железе и софте. А потом её начали "улучшать", и кончилось тем чем кончилось. Именно поэтому виноваты программеры, т.к. все остальные не имели никакой возможности копаться в своей матчасти — ни улучшить, ни испортить. Копались только программеры, они и испортили:

"The loss of the spacecraft was the result of a series of events linked to a computer error made five months before the likely battery failure," said board Chairperson Dolly Perkins, deputy director-technical of NASA Goddard Space Flight Center, Greenbelt, Md.

Лично меня в этом всём достаёт в основном одно: patching culture. Все могут напортачить, но прежде чем железка улетает, все же и подписались под испытаниями, а значит с высокой вероятностью всё было работоспособно, что позже и подтвердилось в эксплуатации. Но потом пошли патчи "because we can".

На вопрос "ну и что?" отвечает название темы.
Неправильные команды с Земли посылаются ручками, а софт пишется и доводится до ума на стенде или аналоге. В первом случае можно сослаться на человеческий фактор, типа не на ту кнопку нажал, а во втором ссылаться не на что, т.к. всё необходимое было в распоряжении, включая время.
"Софт становится всё сложнее" — это головная болезнь, и поскольку из-за неё таки увеличивается доля аварий, что отражено в первом слове названия темы, эта болезнь является проблемой. Вы можете возразить, типа au бред несёт, и усложнение софта выводится из законов природы. Но с тем же успехом инженер механик может сказать что конструкции становятся тяжелее и хлипче, так что условный КА с одной тонны вырос до десяти, и запуск не переживёт, и посетовать на законы физики, дескать что же тут поделать, не он эти законы писал. Такого горе-инженера не просто бы уволили, а сдали в спецклинику. С софтом такой номер по-вашему должен проходить на счёт раз, каждый раз? Это риторический вопрос, вы уже высказались.

Зачем гадать, обобщать и терять из вида факты? Вон НАСА роет, оно и выявляет кто обкакался. Я не вижу там претензий кроме как к авторам патчей. Сам термин "patch culutre" придумал не я. Я лишь констатирую очевидный факт, и не я один:
[Oracle] Chief Security officer Mary Ann Davidson was speaking at the recent WWW2006 conference in Edinburgh, Scotland, when she commented on how the software industry was allegedly packed with bug-filled products, saying that "you wouldn't get on a plane built by software developers." CDNet reported on the speech in which Davidson described the industry as one in which most software developers weren't trained to "think in terms of safety, security and reliability" but instead being attached to a culture of "patch, patch, patch." This "patch culture" was costing businesses $59 billion, she said.


До этого по причине вообще в дупель низкопробного софта ушёл лесом DART, хотя это по-моему был дебют уже юного поколения авторов. Кстати, увидеть на этой странице справа ссылку на обсуждаемую тему очень неожиданно и знаково. Нарочно так не придумаешь.


Не знаю кого и за что из НАСА увольняли, но знаю что инженерный народ сам не раз увольнялся, чтобы не быть причастным.

NASA engineer quits 5 days before launch

В общем, что-то не хочется мне заведомо безысходных фракционных перепалок, но думаю эта тема ещё всплывёт.

Этот оракловец (баба) в выделенном тексте думает то что и я думаю. Смысл этой реплики был в отношении к делу и последствиях, а не в технических вопросах.
Насчёт сроков — это так, да. Но менеджмент пинать нужно отдельным сеансом. Поскольку здесь речь о КА, а не о продуктах-однодневках с "fast to market любой ценой" вожжой под хвостом, сроки имеют совсем другой приоритет и значение, а дефекты — совершенно другую стоимость и последствия.
Я тут не говорю о тонкостях разделения проектов на железо и софт. Я говорю о том же, о чём сказала эта баба — об отношении программистов к делу, ставшем уже "культурой производства". То о чём ты пишешь про кэш и т.д. — это отдельные грани абсурда, в котором оказалась эта промышленность из-за менеджмента. Да, там кругом тихий ужас, местами совсем даже не тихий. Всё очень запущено.
Но в данной теме я смотрю на тот аспект ситуации, что даже такие проекты, как АМС, и вообще КА, страдают из-за этого абсурда=беспредела. Ведь те люди, что программировали компы на Аполло и прочем подобном, это были совершенно другие люди по отношению к делу, по методам работы. И результаты были другие: Вояджер до сих пор работает; почему-то НАСА так и не апгрейдило компы Шаттла, и правильно сделали.
Вот взгляни и просто подумай о разнице в целом между сейчас и раньше, не вдаваясь в технические детали. Это совершенно другие люди, и по возрасту тоже.

Вот интересное произведение современного искусства: http://www.chrisvalentines.com/movies/challenger_columbia.wmv
В конце правильные слова, их нужно понять и проникнуться всем кто занимается этими делами, и в первую очередь тем, у кого с этим совсем плохо: менеджменту и за ними программистам. Первые абстрагируются вообще от всего..

For a successful technology, reality must take precedence over public relations, for nature cannot be fooled.
-- R. P. Feynman of the Rogers Commission

Да нет — всё гораздо хуже, к сожалению. Скажем так, есть у меня некоторые неофициальные источники из воненных компаний, которые и НАСА обслуживают. Можно валить на программистов. Но, если взглянуть на проблему глубже, то оказывается что вся инженерия (о чём уже говорили) идёт в Тартарары. Уже стало правилом, а не исключением переложить всё, что можно на плечи программёров — им легче поправить, им легче проверить, им легче... А на стандартную методику веривикации и валидации ни времени, ни средств не дают. Просто методы стандартного тестирования — белый ящик, серый ящик, чёрный ящик — никто не даст средств и времени тоже. Разговоры о том, что QA должен участвовать в дизайне, чтобы понимать продукт — ни шиша. Но и у железячников начинают резать и время, и рессурсы.

Мда..

Тут идут очень интересные тенденции в этом смысле. И боюсь, что это будет шагать по миру очень быстро. Пентагон не хочет развивать свой софт. Хочет брать с полки в целофановой обёртке и использовать его — выходит дешевле намного (ага — те же деньги). Идёт это дело из обычной промышленности. Раньше нельзя было уволить за то, что ты покупал у IBM. Сегодня в этой роли Microsoft (есть и другие). Зад прикрыт — не работает — надо сношать MS — я тут не при чём, я сэкономил армии (флоту, ВВС) много денег и решение хорошее, вот только MS подкачал! Пентагон хочет дать денег и получить взамен что-то готовое — может быть исследования (это нормально — всякие универы разбираются во многих областях лучше), может быть продукты другие (это уже хуже). При этом Пентогон давно не конкурент компаниям по набору спецов и их удержанию — ни в железе, ни в софте. Люди, которые могли бы командовать разработчиками в армейскую систему не очень вписываются, а тут ещё и по рукам дают, денег не дают, бенефитов не шибко, бегать надо и подтягиваться надо как всем. Проиграли они эту войну частным компаниям. Т.е. представить себе, что студент из MIT или CMU пойдёт в армию невозможно — они привыкли, что к ним относятся как к людям, что препы их выслушивают, что к препу можно подойти и просто спросить и/или поговорить, что в лабу можно прийти в 3 ночи, а можно ночь напролёт сидеть, зато на следующий день спать, что, если приспичит, то можно пойти в кино, а потом три часа отработать позже.

А уж историй про то, как приходит админ или разработчик к командиру, а тот про делай как я сказал, при этом этот товарищ танкист или марин — ходит тьма-тьмущая.

Ага.. а частным компаниям нужно делать growth, а на всё остальное им покласть. В результате получаются удивительные вещи. Это уже лирика, но что-то мне кажется что не будет никакого марса-луны, т.к. те люди уже ушли, а на смену им приходят люди вроде тех, что трудятся в МS, т.к. и в универах уже такие же люди учат студентов. Более того, те кто в универах учат инженерному делу, сами-то обычно инженерами и не являются. У них лучше получаются их же клоны. Фразу Фейнмана можно подкорректировать, и она станет вечной: For a successful technology, reality must take precedence over whatever, for nature cannot be fooled.

Народ, вы всё же грешите излишними обобщениями и, увы, незнанием дела. Ведь есть же примеры хорошего софта. Те же роверы, например. Вы может и не чувствуете это, а я вот вижу, что со времён MGS (а он СТАРЫЙ), через роверы и вплоть до New Horizons - космический софт ОЧЕНЬ вырос. Таких идиотских ошибок, как в 90-ые, уже не делают. В серьёзных конторах софт растёт. Что же касается индустрии вообще - я не чувствую, что она в бОльшей заднице, чем 10 лет назад, а манера перекладывать проблемы в дизайне на плечи программеров, и даже делать дизайн с тем рассчётом чтобы это можно было сделать - увы, уже останется с нами навсегда.

Вообще, по личному опыту, мой глубокое ИМХО что основная проблема индустрии софта - отсутствие нормальной инженерной культуры. А чисто в техническом плане - неумение (пока что) создавать надёжные программные инфраструктуры, точнее отсутствие должного внимания к ним. Но я вижу подвижки в этом деле, и наиболее они очевидны как раз в области космического софта. IMHO.

Что же касается Apollo - неправ ты, au, ох не прав . И насчёт патчей, и насчёт надёжности его софта. Вот, почитай лучше это: TALES FROM THE LUNAR MODULE GUIDANCE COMPUTER, ну и это потом тоже можно полистать: Apollo Guidance Computer and Other Computer History

То, что ЛМ-овский софт чуть не похерил первую посадку на Луну, сегодня немногие знают

Mishka>Тут идут очень интересные тенденции в этом смысле. И боюсь, что это будет шагать по миру очень быстро...Идёт это дело из обычной промышленности. Раньше нельзя было уволить за то, что ты покупал у IBM. Сегодня в этой роли Microsoft (есть и другие). Зад прикрыт — не работает — надо сношать MS — я тут не при чём

Такую интересную сторону затронул и тут же с неё съехал :-(

ИМХО тема гипертрофированной ответственности в современном западном (американском) бизнесе весьма интересна и достойна обсуждения. Шагает это дело по миру уже давно и кроме очевидных плюсов (которых ИМХО всё меньше) приносит весьма некислые минусы (которых всё больше, ИМХО, опять же).

А что - у такого серьезного аппарата не было земного дублера? Я думал, что вначале все опробуется на земле ии только если всё o`k - передается в эфир.

Ник

Tico> Вообще, по личному опыту, мой глубокое ИМХО что основная проблема индустрии софта - отсутствие нормальной инженерной культуры.

Об этом и речь.

Tico> А чисто в техническом плане - неумение (пока что) создавать надёжные программные инфраструктуры, точнее отсутствие должного внимания к ним. Но я вижу подвижки в этом деле, и наиболее они очевидны как раз в области космического софта.

Это называется системой. То что пишет Мишка, то что пишу я — это лишь разные грани одного и того же факта: разработчики (всех уровней) не мыслят системно, вот их недосистемы и разваливаются самыми нелепыми способами.

Tico> Что же касается Apollo - неправ ты, au, ох не прав
Мда, не знал... В одной книжке-наставлении-гуру по встроенному софту целая глава названа "Перестаньте писать большие программы!" Глава 3, если быть точным. Не приложение 3, а глава 3... В общем, Tico, поздравляю: ты потушил даже этот бледный свет в заду тоннеля. "If you want something done, do it yourself", увы и ах.