Паралельные вычисления в Cfx V10 64-bit

[Расчетчик 0]

Добрового времени суток всем.

У меня просьба о помощи ко всем. Горю.

Моя проблема следующая: несистематический сбой CfxSolver'a V10 64-bit Linux оптимизированного под AMD при распределенных вычислениях.

Суть проблемы в следующем: При паралельном распределенном счете на 4 узлах после сброса Backup'a все процессы (крме двух) на всех узлах переходят в состояние ожидания (sleep), хотя память в системе занимают и процессор нагружают, но счет не идет, хотя аварийной остановки так же не происходит. Два процесса соответственно висят как Running. После принудительного снятия процессов и перезапуска с только что сброшенного Backup'a делается одна итерация и снова происходит остановка по схеме после сброса Backup'a. Сам Backup соответственно сбрасывается нормально с него происходит рестарт и он просматривается в постпроцессоре)

Считаю на следующем железе:

4 узла с 16 Гб оперативной памяти на каждом.

На каждом узле 4 двухядерных процессора Opteron c частотой 2,2 ГГц.

200 Гб-дискового пространства на RAID-массиве, файловая система-nfs.

Сеть кажется Myrinet.

OS-RHEL, с версией не уверен, кажется 3-я.

Запускаю на каждом узле по 8 процессов-итого 32 процесса.

Эта же задача запущенная все с того же Backup'a с 4-мя процессами на каждом узле (итого 16 процессов на всем кластере) успешно считается, сбрасывает Backup'ы и вообще ведет себя вполне адекватно. Считается почти в 2-раза медленнее. Загрузка процессоров соответственно выше 50% не подниамется.

Все процессы забирают в совокупности порядка 40 Гб оперативной памяти.

Сразу скажу, что запуск задачи из примеров (StaticMixer) в тойже конфигурации запуска на тех же узлах (с теплобменом излучением), не приводит к каким либо проблемам. Все отлично считается и отлично сбрасываются Backup'ы.

Во всех случаях использую: HP MPI x64.

С другими библиотеками распределенных вычислений пока не проэкспериментировал.

Запуск задачи происходит с удаленного терминала через ssh.

В чем может быть проблема? Проблема в опреационке, железе или сам CFX глючит?

Посоветуйте как выявить проблемное место?

Немного о задаче:

Расчет охлаждения однофазными газовым потоком твердых тел с внутренними источниками тепла с учетом теплообмена излученим.

Модель турбулентности-SST, потоков газа-2.

Модель теплообмена излученим-Discret Transfer, без рассеивания и поглащения средой, поверхности серые. В задаче 40 доменов. Размер задачи 22'000'000-элементов и 20'000'000-узлов.

Часть сетки структурированная Hexa (20'000'000-элементов и 19'000'000-узлов), все остальное Tetra сетка. Для сшивки используются GGI интерфесы между тетраэдром и гексаэдром, а так же между гексаэдром и гексаэдром. Сшивка во всех случаях осуществляется по границам доменов твердого тела и газовых доменов.

Заранее благодарен за советы и различные соображения.

Изменено 9 июня 2007 пользователем Расчетчик

[dmiantosha 11]

22 000 000 000

[Miki 3]

1 а машинки HP ? если нет то меняйте библиотеку распараллеливания

2 в протоколах сети никаких ошибок передачи нет ? проверьте логи драйверов myrinet

3 ось оптимизирована под АМД ? есть уверенность в правильных руках того кто это делал ?

имхо ставьте rhel 4, настраивайте сетку и мониторьте загрузку памяти и процов в момент бэкапа

10 версия CFX относительно 11, использует много памяти для интерфесов и радиации

исходя из 20 млн узлов я бы очень аккуратно посмотрел загрузку памяти.

[Расчетчик 0]

1 а машинки HP ? если нет то меняйте библиотеку распараллеливания

Нет машинки, не HP, однако MPI HP вроде как поод 64 бит, а встроенный mpich вроде как не совсем под 64. Или я что то путаю?

2 в протоколах сети никаких ошибок передачи нет ? проверьте логи драйверов myrinet

Сложно сказать,посмотрю.

3 ось оптимизирована под АМД ? есть уверенность в правильных руках того кто это делал ?

Сложно сказать оптимизирована или нет. Не я настривал. На кластере куча сисадминов и им виднее в данном случае, я выступаю только в роли потребителя.

имхо ставьте rhel 4, настраивайте сетку и мониторьте загрузку памяти и процов в момент бэкапа

Памяти точно хватает, т.е. в своп не залазит, загрузка на процах падает во время бакапа.

10 версия CFX относительно 11, использует много памяти для интерфесов и радиации

исходя из 20 млн узлов я бы очень аккуратно посмотрел загрузку памяти.

Не могу найти 11-ую 64-битную версию под Linux не под AMD, не под Intel.

Оперативки хватает, в своп не залазит. Хотя в общей сложности на всех узлах занимает порядка 40 Гб оперативки.

[spectr 0]

Подскажите методику организации распараллеливания решателя CFX на 2 компа под linux (у меня ubuntu x64)?

Или подскажите, где лучше об этом почитать?

[dimaZ 1]

Подскажите методику организации распараллеливания решателя CFX на 2 компа под linux (у меня ubuntu x64)?

Или подскажите, где лучше об этом почитать?

на сайте <noindex>http://www.parallel.ru/</noindex> в разделе информация -> библиотека научных материалов ->

есть методичка: Воеводин Вл.В., Жуматий С.А. "Вычислительное дело и кластерные системы".-М.: Изд-во МГУ, 2007. - 150 с. ISBN 978-5-211-05440-0 .

для старта подойдет -)