Суперкомпьютер своими руками для расчетов в ansys и 3d приложениях

[Гость ISPA]

И в итоге проще купить Квадру, на которую и гарантия дольше, если что.

Квадра тоже не для рсчетов 24/7.

Это российское желание экономить. Для расчетов нужен ускоритель.

Так вот надо сравнивать скорость современных ксеонов и ускорителей. И видео ускоритель уже не имеет такого преимущества как 3-4 года назад.

Ускоритель с 6 Гб памяти стоит 180 000 руб.

И что вы ускорите одним ускорителем если решать задачи требуэщие 40-60 Гб. Это копеечное ускорение будет.

Я уж не говорю про задачи 120-140 Гб.

[Eugeen 6]

Понятно, что игровые не расчетаны на 24/7 full load по теплу, поэтому надо немножно доработать руками.

У меня несколько видеокарт: ATi-5870 и 7950. Нагружены постоянно 24/7 с 95-99% нагрузкой. Нагрузка определяется по программе MSI Afterburner, ею же я управляю частотами и напряжением на карте.

Никаких проблем с памятью не наблюдал. Карты я покупаю с Military components (в основном MSI).

[a_schelyaev 366]

Квадра тоже не для рсчетов 24/7.

Если верить Антону Джораеву из NVIDIA, а более достоверного источника лично у меня нет, а также изученной публицистике по процессорам и тому как там организовано с точки зрения производства, то для Квадры контроль качества отличается. Поэтому и гарантию дают большую по срокам.

Практика, пока, это подтверждает.

Это российское желание экономить. Для расчетов нужен ускоритель.

Т.к. мы не считаем а разрабатываем, то и нагрузка на ускоритель у нас не 360 дней в году.

;)

Так вот надо сравнивать скорость современных ксеонов и ускорителей. И видео ускоритель уже не имеет такого преимущества как 3-4 года назад.

С нашей колокольни вопрос в организации вычислений и пока ресурс мы видим.

Что там получится в итоге - время покажет.

И что вы ускорите одним ускорителем если решать задачи требуэщие 40-60 Гб. Это копеечное ускорение будет.

Я уж не говорю про задачи 120-140 Гб.

Это состояние сегодняшнего дня.

Но количество ядер на ЦП растет и будет расти по мере развития технологического процесса и нужно быть готовым к новым реалиям.

[Гость ISPA]

Это состояние сегодняшнего дня.

Но количество ядер на ЦП растет и будет расти по мере развития технологического процесса и нужно быть готовым к новым реалиям.

Так я с этого начал.

Процессор 3930 - 16 000 рубоей, 64 Гб памяти - 14 000 руб.

Средняя скорость при работе с большими разреженными матрицами - 70-80 Гфл.

Сколько стоит ваша квадра, сколько у нее памяти, и какая средняя скорость работы с большими матрицами.

Вы собираетесь такой процессор ускорить с помощью какой-то квадра?

[Bonusfrag 104]

В гостях будешь сам узнаешь.

Ну так приглашайте) Заодно сборничек прихвачу, если лишние будут.

Про сборничек см. ЛС

Нет. Выход из строя со временем. Это разработчиком диагностируется на раз два.

Если возвращаемое значение меняется на одной и той же операции не в последних знаках, а в первых.

я, видимо, не совсем понятно ответил - оно вышло из строя скорее всего из-за перегрева

+ м.б. у вас видюхи - нереференс с разогнанной памятью.

Перегрев объясним, т.к. в расчете память используется существенно активнее, чем в игре. (особо на запись (?)).

Т.е. получаем перегрев в любом случае, а если есть разгон - даже заводской - то запаса еще меньше.

Поэтому надо усовершенствовать сразу после покупки:

либо на термопрокладках вот такие штуки использовать:

много дизайнов и разной высоты - подобрать нужные не сложно,

либо вот такое на пистонах или винтах - выбор поменьше, но тож разные бывают.

Ну или - карточки бывают разные: (<noindex>пруф</noindex>)

Сразу отмечу два момента. Во-первых, наличие термопрокладок, благодаря которым основание СО контактирует с микросхемами видеопамяти. «Референс» с лопастным вентилятором этим похвастаться не может. Во-вторых – оригинальное компоновочное решение: «хвост» СО (отсек с турбиной) не соприкасается с печатной платой, а «висит» в полутора сантиметрах над текстолитом. За счет этого тангенциальный вентилятор может забирать воздух сразу с двух сторон, а не с одной, как у большинства стандартных видеокарт AMD и NVIDIA

или вот еще обзор <noindex>(пруф)</noindex> - там первая карта без охлаждения памяти , а вторая - имеет контакт памяти с радиатором.

Так что вопрос был очень-очень конкретный и важный. Т.е., думаю, что это - решаемая проблема.

И в итоге проще купить Квадру, на которую и гарантия дольше, если что.

Ну вопрос гарантии - да, дольше. Но это не для массового потребления. Цена решает.

Только надо правильно выбирать карточки или модернизировать СО.

Конечно, хорошо, если разработчик включит в софт какую-то утилиту проверки + отключаемую пользователем выборочную проверку во время расчета.

Я выше приводил цитату:

Корректность работы GPU устройств требует внимания

реализована дополнительная функциональность для проверки корректности вычислений

Так вот надо сравнивать скорость современных ксеонов и ускорителей. И видео ускоритель уже не имеет такого преимущества как 3-4 года назад.

Ускоритель с 6 Гб памяти стоит 180 000 руб.

И что вы ускорите одним ускорителем если решать задачи требуэщие 40-60 Гб. Это копеечное ускорение будет.

Ну вы о разном - прочность и газодинамика имеют разницу: 6 ГБ - это около 2 млн ячеек, для многих CFD задач - достаточный объем. Вон на сайте ТЕСИС - расчет спускаемого аппарата для РКК Энергия - 1,5 млн всего. Так что, если ускорение будет - то это очень и очень хорошо. Большинству хватит одной ВК на рабочую станцию.

[Bonusfrag 104]

Кстати, про конфиги, выложу свои:

Начальство вроде обещалось выделить денег новый ПК для расчетов.

Собрал пару бюдженых конфигов, ВК тут только для геометрии, не для счета.

Последнее число в строке - примерная цена девайса на момент составления (~20 дн. назад)

А: 4 ядра

1 Процессор Intel® Xeon® Processor E3-1230V2 / 4 ядра (8 потоков) @ 3,3ГГц / 7400

2 Мат.плата ASRock Z75 Pro 3 / разгон памяти, RAID / 3050

3 Память Samsung M378B5273DH0-CK0 (BCK0) / 4 ГБ, 1600 МГц (гонится до 2000+) / 700х4=2800

4 Жесткий диск Seagate ST2000DM001 / 2 ТБ, 7200rpm, объединить в RAID / 3350х2=6700

5 Видеокарта MSI N630GT-MD2GD3 / 810 МГц, 2ГБ видеопамяти / 1900

6 Корпус Cooler Master Elite 335U / есть 1 кулер, фильтры от пыли / 1650

7 БП Aerocool VP-550 / 550 Ватт / 1600

8 Кулер и радиатор ЦП TITAN TTC-NK35TZ/RPW(KU) / башенный радиатор, PWM-кулер / 550

9 Кулер корпуса TITAN TFD-12025H12ZP/KU(RB) / PWM-кулер / 200

Итого: 25850

Б: 6 ядер

1 Процессор Intel Core i7-3930K / 6 ядер (12 потоков) @ 3,2ГГц / 17500

2 Мат.плата ASRock X79 Extreme / LGA2011 (стоят от 6000…) / 6200

8 Кулер и радиатор ЦП Cooler Master Hyper 412 P / до 250Ватт TDP / 1350

Остальные комплектующие те же.

Итого: 39900

[Гость ISPA]

Ну вы о разном - прочность и газодинамика имеют разницу: 6 ГБ - это около 2 млн ячеек, для многих CFD задач - достаточный объем. Вон на сайте ТЕСИС - расчет спускаемого аппарата для РКК Энергия - 1,5 млн всего. Так что, если ускорение будет - то это очень и очень хорошо. Большинству хватит одной ВК на рабочую станцию.

Не могу с вами согласиться. Лмнейная алгебра а этих задачах одна и таже.

Стоимость ускорителя с 6 Гб памяти - 180 000 руб. За эти деньги уже можно купить клмп с 2 Ксеонами.

Я же задал вопрос по скорости квадра при работе с большими матрицами. А в ответ тишина.

Вот все подробно изложено. И по скорости и по памяти.

<noindex>http://www.ispa-soft.ru/statxi/statxq18.htm</noindex>

Квадрам такая средняя скорость даже при работе с 3 Гб матрицами и не снилась. Я же делаю тесты.

А если поставить второй Ксеон - это будет в 1.8 раза быстрее. Но ведь можно и 4 Ксеона поставить. И памяти можно взять в 100 раз больше !!!!!

А вопрос по средней скорости Квадры остается открытым.

[Bonusfrag 104]

Не могу с вами согласиться.

Я чуть о другом - типичная задача для вас - сколько она требует памяти?

всё, с чем я пока сталкивался, влезает в 8 Гиг, включая систему и разную требуху, которую лень выгрузить.

16 Гиг будет с запасом.

60 Гб - это типичная задача? Вот по вашей ссылке - там три примера - каждый сколько памяти требует? (чтоб я представлял, о чем речь)

кстати, вот и игровая карта на 6 гиг.... <noindex>http://market.yandex.ru/model.xml?modelid=...0&hid=91031</noindex>

[Гость ISPA]

Вот по вашей ссылке - там три примера - каждый колько памяти требует? (чтоб я представлял, о чем речь)

Там же для каждого примера в тпблишах указана память.

[Гость ISPA]

Я чуть о другом - типичная задача для вас - сколько она требует памяти?

всё, с чем я пока сталкивался, влезает в 8 Гиг, включая систему и разную требуху, которую лень выгрузить.

16 Гиг будет с запасом.

Дело не в количестве памяти.

Я тоже о другом. Если при работе с новыми процессорами от Интел использовать в расчетах только сопроцессор, то Квадра дает небольшое ускорение.

А если использовать расширенные регистры то скорость решния на процессорах будет в 10-15 раз быстрее.

Я поэтому и прошу представителя компании Тесис сказать о скорости работы софта от Тесис на 6 ядрах процессора 3930 и о скорости Квадра.

Как только разработчики Тесис начнут использовать расширенные регистры скорость работы на ПРОЦЕССОРЕ с матрицами размером 4-5 Гб вырастет в 10-15 раз!!!!

И Квадра будет только замедлять решение.

При тактовой частоте 3.2 Ггц, СРЕДНЯЯ скорость работы с разреженными матрицами размером 4-6 Гб до 90 Гфл!!!! с двойной точностью и до 180 с одинарной точостью

На сопроцессоре скорость максимум 5-6 Гфл с любой точностью.

Поэтому новая версия ИСПА работает с расширенными регистрами и про Квадру уже можно забыть.

[Гость ISPA]

Есть предложение.

Померяйте скорость квадры Линпаком или скорость видео ускорителя.

Не думаю, что она будет большой, придется большие массивы по шине гонять, а это снижает скорость.

Шумиха с Квадрами уже закончилась.

[a_schelyaev 366]

Вы собираетесь такой процессор ускорить с помощью какой-то квадра?

Объясняю по другому.

Мы переписываем нашу организацию вычислений под вычислители с большой степенью параллелизма и прочими ньюансами.

А уж процессор это ГПУ или еще какие внешние устройства - по барабану.

Ну так приглашайте) Заодно сборничек прихвачу, если лишние будут.

Про сборничек см. ЛС

Я тебе отложу.

А по видеокарте вопрос мелочный и нашего с тобой внимания не стоит.

Интенсивность вычислений у разработчиков сопоставима с игровой.

Мы же пока разрабатываем, а не активно считаем.

Разница большая.

Я поэтому и прошу представителя компании Тесис сказать о скорости работы софта от Тесис на 6 ядрах процессора 3930 и о скорости Квадра.

Ничего не буду рассказывать, т.к. работа не закончена.

[Гость ISPA]

Ничего не буду рассказывать, т.к. работа не закончена.

То вы говорите, что активно счмтаете на видео картах м поэтому память глючит.

То еще конь не валялся.

Объясняю по другому.

Мы переписываем нашу организацию вычислений под вычислители с большой степенью параллелизма и прочими ньюансами.

А уж процессор это ГПУ или еще какие внешние устройства - по барабану.

Прежде чем переписывать софт, делают тесты, определяют скорость.

Пока вы будете переписывать появится новый процессор от Интел. Раза в 2 быстрее будет чем 3930.

Программа напмсанная под ГПУ полностью привязана к ГПУ. Это я вам как разработчик говорю.

[Bonusfrag 104]

А м.б. речь не о ГПУ?

Есть же Xeon Phi на Knights Corner...

UPD:

Мы переписываем нашу организацию вычислений под вычислители с большой степенью параллелизма и прочими ньюансами.

А уж процессор это ГПУ или еще какие внешние устройства - по барабану.

[Гость ISPA]

А м.б. речь не о ГПУ?

Есть же Xeon Phi на Knights Corner...

Речь шла о расчетах на квадро и игровых картах. А это ГПУ.

У меня все ходы записаны.

[Гость ISPA]

Есть же Xeon Phi на Knights Corner...

Кстати, не встречали ли Вы тестов скорости на Линпак для этого устройство.

В рекламе говорится о скорости больше 1000 Гфл на двойной точности.

Если эту скорость дает тест на Линпаке, то это очень серьезно.

[a_schelyaev 366]

То вы говорите, что активно счмтаете на видео картах м поэтому память глючит.

То еще конь не валялся.

См. выше. Я не говорил, что активно считаем.

Я писал, что игровая карты у разработчиков летят.

Вот и все.

Прежде чем переписывать софт, делают тесты, определяют скорость.

Пока вы будете переписывать появится новый процессор от Интел. Раза в 2 быстрее будет чем 3930.

Если процессор будет быстрее, то и наш алгоритм будет работать быстрее.

Только и всего.

:)

Я, кстати, забыл спросить выше про расширенные регистры - а что тут имеется в виду?

Двойная или четверная точность или что?

Программа напмсанная под ГПУ полностью привязана к ГПУ. Это я вам как разработчик говорю.

Если она написана на CUDA, то да.

[Гость ISPA]

Я, кстати, забыл спросить выше про расширенные регистры - а что тут имеется в виду?

Двойная или четверная точность или что?

У процессора Интел появились регистры размером 256 бит, 4 double, до этого были 128 бит.

За 1 такт делается операция с 4 double.

Вы читайте внимательно статью. Тактовая частота у 3930 меньше, а скорость выше в 2 раза.

Отсюда и увеличение скорости.

Получается, что я был прав предположив, что софт от Тесис считает только на сопроцессоре.

Но это уже каменный век.

[Bonusfrag 104]

Если она написана на CUDA, то да.

Кстати, приоткройте секрет: OpenCL или DirectCompute?

[Eugeen 6]

Дешевые вычислители весьма востребованы в различных отраслях. Даже в богатеньком Росатоме, где идет огромный объем расчетов, стараются экономить. Я думаю, что настоящий рывок в применении GPU произойдет, когда основной процессор(ры) и GPU будут работать с общим полем оперативной памяти.

Мы у себя на фирме реализовали расчеты с ускорением как на CPU так и на GPU (и на nVIDIA и на AMD) с большими разреженными матрицами с комплексным спектром СЗ. Теперь мы хорошо понимаем (даже чувствуем ) как надо ускоряться, где граница, начиная с которой GPU будет иметь преимущество.

Вот некоторые результаты: <noindex>http://my-files.ru/kbrb/Bulgarian summit Reactior safety 2011-11-02.pdf://http://my-files.ru/kbrb/Bulgarian s... 2011-11-02.pdf</noindex>