Суперкомпьютер своими руками для расчетов в ansys и 3d приложениях

[Борман 2 375]

Почищено. Следующий пост будет про суперкомпьютер. Обещаю.

[Fedor 1 597]

По большому секрету открою, что дифференциальные уравнения тоже очень часто бывают <noindex> линейными </noindex>

И вообще-то мкэ один из прямых методов решения вариационных задач, не прибегая к дифурам :)

[Fedor 1 597]

Его задача свести в одной из основных задач алгебры, а их решать умеем. Методов много. Дальше надо работать алгебраистам или как алгебраисты. Поэтому мне и не понравились Ваши статьи, что они не алгебраические. :)

Курант писал - Эффективное построение минимизирующих последовательностей является черезвычайно важной задачей с точки зрения численных расчетов и практических приложений. - собственно поэтому я и занимался теорией базисных функций, чтобы уйти от догадок и частных приемов к технологиям и последовательностям. Пытался обобщить все частное хозяйство :)

[Борман 2 375]

Участники беседы удаляются (на срок, который каждый сам для себя определит) для пополнения запаса знаний о суперкомпьютерах из других источников. Слёзные письма писать в личку. Помилован будет тот, кто определит себе больший срок.

[Влад. 6]

по сути аналоговый компьютер. Именно поэтому при решении некоторых задач можно достичь гигантского ускорения.

т.е. опять перешли на магнитную ленту? видимо моторчики от летающих моделей используют для вращения бобин.

[a_schelyaev 366]

Да сделайте уже интегрирование на кулачковых механизмах и спите спокойно.

:)

[vl 327]

Ну пока ISPA занимается фантастикой, а a_schelyaev ударился в ретро (кстати, когда обсудим RC-цепочки?) предлагаю обсудить современные вызовы - а именно, расчеты в облаках.

Итак, сейчас датацентры предлагают вычислительные мощности в облаках. Удобство очевидно - свой суперкомпьютер строится в течение минут (при настроенных образах). Считаем простую задачу - задействуем мало виртуальных машин, считаем сложную вещь - включаем много машин и автоматом много ядер и много памяти.

И не надо заранее покупать кластер, который к тому же быстро устаревает, не надо сразу покупать кучу лицензий софта (а платить за него также, как и за генерируемую в онлайне инфраструктуру). Одним словом выгода очевидна при плавающей загрузке, но есть если прикинуть внимательнее, то даже и при постоянной загрузке.

Другое дело, что нужно железо специально для hpc, а не под web, но то, что есть сейчас уже можно использовать.

Проблема в другом - все данные находятся далеко далеко, например, в США. Соответственно, есть проблема передачи данных туда-сюда, и, конечно, безопасность.

Передача данных. Туда идет сетка, размеры пусть 0.1-1 Гб, это - не проблема при нынешних сетях. Хотя зная ограничения по инету на ряде предприятий (типа 10 Мб в месяц на инженера в месяц). Но думаю, когда стоит выбор - покупать кластер за 100000 Евро или инет за 1000 рублей в месяц, то руководство может подумать. А можно закачать только геометрию и удаленно бить ее (но тогда работа с удаленкой будет интерактивной, что требует отзывчивого инета) + ухудшение проблем с безопасностью (одно дело, когда там только сетка, другое дело, когда точная геометрия).

Обратно идут результаты. Здесь уже объемы от нескольких гигабайт до терабайт. Здесь к тому же включается цена за трафик (для амазона 0,2$ за Гб, вобщем то мелочь). Ну при хорошем инете не проблема, но при нынешнем в России (не в Москве), проблема. С другой стороны, никто не мешает обработать результаты в облаке и там их и оставить на хранение (зашифровав, например), заодно и решим проблему сохранности без собственного сервера хранения.

То есть, в целом обмен данными - это небольшая проблема, а при нормальном удобном софте и неплохом инете, вообщше не проблема.

Безопасность. Здесь серъезнее гораздо. Во-первых, если на рабочее место предъявляются требования по безопасности (возможно это есть на режимных предприятиях), то это сразу становится непреодолимой проблемой. Точнее, она преодолима только при использовании корпоративного облака. Ну при нем решаются все проблемы, кроме цены, так что не далеко уйдем от текущей ситуации.

Далее безопасность обеспечивается софтом и безопасностью линий передачи. Допустим с этим также можно разобраться используя нормальный софт.

Остается то, что в принципе компания провайдер облака ограничена только юридически от использования этих данных. И если это находится в тех же США, то даже юридически эти данные слабо защищены перед американскими компаниями (так как находятся так же в юрисдикции США). Другое дело, так ли нужны эти данные, чтобы из-за них портить репутацию и иметь юридические и имеджевые проблемы? Не всегда.

Отсюда вроде бы выводы: если безопасность критична (оборонка и стратегические вещи и только, все остальное высосано из пальца), то юзаем корпоративные облака и экономим на инете и разделении ресурсов с юристами и бухгалтерами.

Если безопасность не настолько критична (производство любых гражданских нестратегических объектов), то использование облаков вполне разумно.

Соответственно, наиболее актуально это для мелких и средних компаний - им дорого покупать постоянные лицензии и железо при переменной необходимости в нем. Это актуально у нас в России, где универы понакупали кластера и сидят, чешут в затылке, а что теперь с ними делать. Это актуально, например, для какого-либо промышленного кластера, когда участники кластера делять одно и то же инфраструктурное пространство.

Но это мое мнение, мнение со стороны расчетчика. Какие могут быть аргументы за и против у других?

P.S. Как аргумент против. Аскон сделал свой сервис в облаке, но по крайней мере один из сервисов уже обанкротился и убирает эту услугу за невостребованностью (не знаю, что делает сам Аскон). Да и в целом в CAD немного смещены акценты, чем у нас, так что это немного другое.

[Борман 2 375]

Могу ошибаться, но у какого то MS-Офиса есть кричалка, что-ти типа "Office Anywhere". Т.е. все твои документы хранятся на удаленном сервере, а доступ и редактирование - через браузер и авторизацию.

Это я об этом...

Обратно идут результаты. Здесь уже объемы от нескольких гигабайт до терабайт.

ведь незачем гнать модель к себе домой. Можно анализировать результаты удаленно.

[Борман 2 375]

А как ее создавать? Как ее отлаживать?

На удаленной машине, на которой установлен нужный софт.

<noindex>http://ru.wikipedia.org/wiki/Терминальный_сервер</noindex>

[a_schelyaev 366]

Но это мое мнение, мнение со стороны расчетчика. Какие могут быть аргументы за и против у других?

Остановка номер один в этих облаках это первый отдел. Если нет, то нет.

Пункт два - хранение данных и их повторная обработка.

А так, для наших условий имеет смысл договариваться с близлежащим ВУЗом. Кластеров понакупили и теперь делают на них лабы по параллельномуц программированию.

Касаемо билинговых схем, то, например, у FlowVision они есть и уже сейчас промышленность очень активно хочет этим воспользоваться. Но это доступно только для тех, у кого есть лицензия FlowVision.

Мы, кстати, даже на Амазоне пробовали развернуть свой инструмент - и ничего нормально.

:)

[Борман 2 375]

А можете дать ссылку, чтобы линейную статику в таком режиме считать.

И по какой схеме оплату считают.

Нет. Примера у меня нет. А было бы интересно, если бы АНСИС поднял бы у себя сервер с демо-версией, на котором можно было бы исполнять APDL-код.

[vl 327]

Это я об этом... ведь незачем гнать модель к себе домой. Можно анализировать результаты удаленно.

Именно так. Мы сейчас как раз так и работаем - сидим в одной стране, запускаем задачи на серверах (не в облаках, а просто сервера и рабочие станции) и лицензиях в другой стране. При этом прекрасно работаем в графическом интерфейсе, в данном случае в той же винде. Благо и результаты сразу остаются у заказчика, даже качать не надо, только исходную модель себе потом подкачиваем. Там же генерим картинки для отчета, сам отчет делаем у себя, чтобы рабочий стол не занимать (увы, недостатки винды).

[Борман 2 375]

Просто для примера... когда работал в МТС, там типа есть система, в которой строится отчетность. Тебе на экране отображается рабочий стол того сеанса, который ты запустил на терминальном сервере. Разумеется ты не будешь гонять по сети гигабайты информации - все хранится, считается и отображается на уделенной тачке. А нахрена мне на компе иметь гигантскую базу, пусть она хранится там, где быстро обрабатывается ? Если нужно, я её сохраню к себе на комп.. а могу и на сервере сохранить... объем трафика - минималльный.

[vl 327]

Чтобы понять что такое квантовый компьютер, как он работает, нужно понимать основы квантовой механики. Если вы квантовую механику называете фантастикой, то это ваше личное мнение.

ISPA, квантовую механику я достаточно понимаю, и без проблем могу решить уравнение Шредингера, найти линии спектра водорода и рассчитать потенциальные ямы.

Фантастикой я назвал ожидания пользователей ISPA )). К слову, говоря квантовые компьютеры больше подходят для решения переборных задач - суть дискретная оптимизация и поиск.

Какие задачи вы собираетесь решать в облаке? Если это задачи Динамики и прочности, то это выброшенные деньги. И даже кластер только под эти задачи это тоже выброшенные деньги.

Решение других задач нет смысла обсуждать в этом разделе.

Вообще, у нас данный вопрос возник при решении CFD задач. Но поскольку именно в этом разделе была тема про суперкомпьютеры своими руками, то сюда и запостил.

Также очевидно, что вопрос актуален для задач краша - для явных методов решения динамики.

Но в целом я пока не вижу проблемы с решением и любой другой объемной задачи прочности. Про деньги ниже.

Компьютер с большим количеством оперативной памяти, например 128 Гб, с двумя процессорами, с хорошим видео ускорителем, будет и быстрее и дешевле.

вот как то сомнительно, что дешевле. Да и что быстрее. Аргументы: этот же самый компьютер: с двумя процессорами, большим количеством оперативки (сейчас у амазона только 32Гб на машину, но если мы говорим вообще о будущем, то не проблема и 128 Гб, а при распределении так хоть и терабайты можно собирать) да еще с картами TESLA или FERMI, а не просто хорошим видео будет стоять в облаке. Да не один, а сколько требуется задаче для оптимального решения (хоть целиком в памяти). И я могу использовать этот комп только когда мне надо и платить только за это время, а не покупать его разом и платить огромные деньги.

Более того, не все фирмы могут позволить бюджет на такую технику, которая к тому же быстро стареет. Новые процессоры у нас выходят раз в два года, а срок амортизации 3 вроде? Так что здесь все в соотношении цены времени и готового компьютера. И если смотреть тот же амазон, то в пользу облака.

Но задачи статики и динамики нужно уметь решать. И уверенно можно сказать, что если пользователю не хватает 128 Гб оперативной памяти для решения своих задач, то ему и облако кластеров не поможет.

это банально и уже обсуждали. И уверено можно сказать «640КБ должно быть достаточно для каждого».

А как ее создавать? Как ее отлаживать?

И что потом на память останется?

Дешевле отдать расчет сторонней фирме.

Прямо там и создавать, прямо там и отлаживать. Там и хранить на память.

Где надежнее и дешевле хранить ? - на супернадежных всегда(!) доступных серверах в датацентре с охлаждением, специальной системой питания, квалифицированным и сотрудниками, где каждые сутки сохраняется бэкап независимо от вас? Или у себя с доморощенным админом-студентом, который завтра уйдет, с криво настроенным файловым сервером, который вырубается, если включить в офисе все кондиционеры? Немного утрировал, но в целом надежность винта в моем ноутбуке и сервере в фирме на порядки ниже, чем в облаках. Я опять же не говорю уж о стоимости такого хранения.

По поводу сторонней фирмы. Фирме платят деньги не за машинные часы, как правило, а за человеческие. Грубо говоря - это ваши деньги, как расчетчика. Так что отдавать их глупо. А вот уменьшить свои расходы на машину, уменьшить машинные часы за счет более быстрого решения задачи в облаке, наверное, разумнее.

А можете дать ссылку, чтобы линейную статику в таком режиме считать.

И по какой схеме оплату считают.

Ссылку не дам. Но повторюсь сами постоянно работаем (не только считаем) в таком режиме на обычных удаленных серверах с помощью обычного удаленного рабочего стола. Работаем в винде и на клиенте и на сервере.

Оплата в облаках простая - за час использования машины. Поработал, посчитал, выключил.

Причем можно готовить модель на простой машине, лишь бы модель влезла в препроцессор. А для расчета за пять минут включить расчетные машины и платить уже за расчетное время.

Вот ссылка на прайс: <noindex>http://aws.amazon.com/ec2/pricing/</noindex>

Вот параметры узла в облаке:

23 GB of memory

2 x Intel Xeon X5570, quad-core “Nehalem” architecture

1690 GB of instance storage

64-bit platform

10 Gigabit Ethernet

А вот узел с GPU:

22 GB of memory

2 x Intel Xeon X5570, quad-core “Nehalem” architecture

2 x NVIDIA Tesla “Fermi” M2050 GPUs

1690 GB of instance storage

Мы прикинули для наших задач. Выигрыш по цене выходит аж на 2 порядка (при локальной подготовке модели) если смотреть на кластер.

Так что если решите перейти от фантастики (квантовые вычисления в ISPA) к реальности (облачные вычисления с ISPA), то обращайтесь - мы как раз сейчас размещаем один CAE проект в облака, так что небольшой опыт появился.

А так, для наших условий имеет смысл договариваться с близлежащим ВУЗом.

да, верно. Единственно, информацию у них постоянно забирать - ибо ненадежно. А вот считать вполне можно.

Мы, кстати, даже на Амазоне пробовали развернуть свой инструмент - и ничего нормально.

:)

Вот что значит нормально? Тесты проводили? Как оно по сравнению с кластером? Как ускоряется задача при увеличении числа узлов? Все таки там не Infiniband, плюс виртуализация, так что было бы здорово увидеть цифры.

вот еще аргумент против - бухгалтерия.

Бухгалтерия крупных предприятий привыкла работать так - есть договор (кстати, договор на бумаге с тем же амазоном ведь abbu получишь), в договоре прописана сумма за услугу, например на год. И если мы говорим, что теперь у нас плата переменная, то как объяснить бухгалтерии, сколько она должна платить? Значит надо заранее запланировать сумму (учесть возможную загруженность в течение будущего года), оплатить эту сумму и постараться не превысить ее. Если делать с запасом, то выгода может быть неочевидна.

К тому же инженеру все равно, как правило, сколько фирма платит за это. Ему удобнее (смотри слова ISPA) когда все под рукой.

[a_schelyaev 366]

Вот что значит нормально? Тесты проводили? Как оно по сравнению с кластером? Как ускоряется задача при увеличении числа узлов? Все таки там не Infiniband, плюс виртуализация, так что было бы здорово увидеть цифры.

Зависит же от тарифа. Чем дешевле, тем хуже.

вот еще аргумент против - бухгалтерия.

Элементарно Ватсон. Предприятие вообще не нужно посвящать, что это Амазон. Точнее, это оговаривается изначально, а потом ваша контора уже будет той прослойкой, которая является одним окном для клиента.

[vl 327]

Поэтому, приведите любой пример, на котором видно, что решение статики, динамики, потери устойчивости будет быстрее с использованием кластера или облака.

я привел пример с крашем - задача прочности, динамика. Кластер ускоряет линейно числу узлов.

Пример со статикой - любая (достаточно хорошо определенная) статическая задача, которую решаем PCG методом. Без проблем параллелизуется, реальные примеры можете прорешать в star-ccm или openfoam (я говорю именно о прочностных задачах, в данных cfd пакетах их можно решать), реальное ускорение.

Настран также ставится на кластер и ускоряет решение, да и ансис вроде тоже можно запустить.

Прямые методы конечно хуже параллелизуются на MMP архитектуру, но все равно это делается. Так что теперь дальнейшие шаги за решателями.

а так я конечно согласен, что проблема в первую очередь всплывает в cfd из-за требований больших моделей. Но и для прочности согласитесь хорошо, если вся задача целиком влезет в память и обойдется без своппинга. А это реально на кластере.

Проблема в скорости графики. Большие объемы данных все равно нужно перегонять.

Как вы будете создавать модель если время отклика очень большое?

Про какую интерактивность можно гоаорить в этом случае?

современные программы удаленного доступа эту проблему решают уже достаточно хорошо. К примеру, я сидя в Москве работают на наших серверах за 1000 км в одну сторону и за 3000 в другую сторону. При этом интерактивно крутя модель. Иногда, когда инет проседает, то переключаю разрешение на 1024х768 и цвет на 8 бит. А так 1280х1024 и 16битный цвет. Отлик вполне комфортный для работы - чувствуется, но не раздражает.

Канал 4-8 Мбит/c. Ну тут важнее ping, а не скорость.

Софт научился картинку хорошо сжимать. Это уже не эра X-Window.

А поддержка - это кнопочное решение. Раз в сутки нижимаете кнопку и все дела. Есои уж это вызывает проблемы, то отдавайте свои деньги дяде.

Человеческий фактор стоит дорого. Поэтому для меня дешевле это аутсорсить.

Вот в том и дело, что вы говорите о чем о своем.

А я говорю о задачах динамики и прочности.

Да. Это то что я и хотел услышать - критику данного решения от расчетчика-прочниста. Хотелось бы еще взгляд начальника, директора и т.п.

Самый навороченный компьютер под эти задачи стоит 15-20 тыс. долларов. Один большой расчет окупает полностью затраты. А вы говорите про 3 года.

Да, и сколько по времени на данном компьютере идет расчет в год? У меня нет специально собранной статистики, но навскидку 1-3 месяца максимум. Остальное время тратится на подготовку модели и эти мощности простаивают.

Отсюда: работа этой машины в облаке обойдется в 4-10 раз дешевле. Упущенная выгода.

Собственно из этого и возникла тема.

[Борман 2 375]

ИСПА,

сейчас существуют задачи (ну в пределах статики), которые вы НЕ могли решить 3 года назад?

Вот именно.

Сильнее крошить, и тащить больше нелинейностей - тоже не всегда хорошо, а иногда плохо. Что еще можно на модель накрутить, чтобы она потяжелела? Да ничего...

[vl 327]

Зависит же от тарифа. Чем дешевле, тем хуже.

то есть, на максимальном тарифе разницы по сравнению с нормальным кластером нет?

Сеть и виртуальность никак не ощущается?

Элементарно Ватсон. Предприятие вообще не нужно посвящать, что это Амазон. Точнее, это оговаривается изначально, а потом ваша контора уже будет той прослойкой, которая является одним окном для клиента.

Ну да, так и предлагается.

сейчас существуют задачи (ну в пределах статики), которые вы НЕ могли решить 3 года назад?

Вот именно.

Сильнее крошить, и тащить больше нелинейностей - тоже не всегда хорошо, а иногда плохо. Что еще можно на модель накрутить, чтобы она потяжелела? Да ничего...

Похоже на практическую гипотезу о пределе размерности статической задачи? )).

Типа "любая задача статической прочности может быть решена с максимальной точностью с размерностью не более чем ХХХ dof".

[a_schelyaev 366]

Сеть и виртуальность никак не ощущается?

Под виндами виртуальность плохо ощущается. Сеть - зависит от денег.

Честно говоря, я не помню есть на Амазоне инфинибенд или нет.

Тут просто для нас ситуация следующая - мы знаем пределы в рамках которых есть нормальное ускорение по нашему софту. И если клиенту приспичит, то мы эти требования транслируем железным людям, а они выставляют смету.

Вот и все.

Прямые методы конечно хуже параллелизуются на MMP архитектуру, но все равно это делается. Так что теперь дальнейшие шаги за решателями.

Просто ИСПА у нас фанат прямых методов и еще недавно, видимо, добрался до разреженных методов.

Так что тут об чем-то разговаривать бесполезно. Причем в нормальном смысле, т.к. он опирается только на решенные им и его клиентами задачи.

Вот когда упрется в размерность, тогда и пойдет в сторону итерационных методов и слово METIS будет для него как отче наш.

:)

[vl 327]

Максимальная производительность кластера на GPU 4 Тфл. Стоимость 24 тыс долларов.

Чтобы разговор был предметным. О каком кластере вы говорите. Какая производительность?

Какая цена. Какое потребление энергии? Какова стоимость обслуживания?

Выше я привел ссылку на цены и характеристики системы. К примеру для кластера на 4-х картах, то есть, с такой же производительностью, получаются примерно такие расклады:

- цена: 4.2$ в час. или для 1-3 месяца машинного времени в год: 3000$-9000$ в год. Если арендовать сразу на год, то дешевле;

- потребление энергии - понятия не имею и по фигу поскольку это проблема облачного сервиса;

- стоимость обслуживания - для меня 0, так как включено в 1-й пункт.

Итого имеем что облака в 2,5-8 раз дешевле. Спасибо за пример. Может где не прав - поправьте.

Я уж не говорю о том, что через год у меня не остается на руках устаревшее железо.

Про динамику.

Для задач на собственные значения кластер не нужен. Требуется компьютер с большой оперативной памятью.

ага, и такой компьютер может быть кластером, верно? Причем опять же дешевле, чем мощная машина, по расчетам приведенным выше.

А дальше переходите в обобщенные координаты. И опять кластер не требуется. В прямых методах решения время уходит не на перемножение чисел, а на выборку данных из памяти. Кластер не усколяет выборку из памяти.

Вообще то ускоряет - он за счет распределенной памяти позволяет не использовать винт в отличие от обычного компа. Вы говорите о 96Гб. Какая размерность задачи для ИСПА получается для данной памяти без свопа для прямого разряженного метода решения без перехода в обобщенные координаты и подструктур?

И еще, ISPA, а у Вас нелинейные задачи случаются? Ну например, резину когда нибудь считали? Расскажите, как мне считать резину в динамике? Или железо, но с учетом геометрической нелинейности? Или биомеханику. Собственные вектора искать на каждой итерации?

А как решать сопряженные задачи? CFD+прочность+тепло?

Я к тому, что все зависит от цены облака. При определенной цене получается дешевле, чем свой кластер.

Но Ваш тезис я понял - согласно гипотезе приведенной выше человечество достигло требуемого предела размерностей в задачах статической прочности. Таким образом, для решения реальных, а не выдуманных задач достаточно просто мощного сервера. А завтра и средней офисной машины. Я вобщем-то не возражаю. Кроме того, что конкретно сейчас дешевле не покупать и этот мощный сервер.