CFX + Windows 2008R2 + кластер

[ftanke 0]

Здравствуйте, такая проблема, мучаюсь уже 2й месяц. Имеется машина: IBM, 4 проца по 12 ядер. 130гб ОЗУ, ССД 250гб. + ко всему этому рабочие станции с win7x64. Возникла сильная необходимость в кластере =) Нашел ветку на этом форуме <noindex>http://fsapr2000.ru/index.php?showtopic=15178</noindex> где описывается параллелизация. Все достаточно просто, но у меня не запахало в итоге =) Но суть не в этом. На IBM поставил win2008r2, поставил 14й ансис. Запускаю локал параллел задачу в CFX и солвер просто висит. На ядра вроде бъет, но появляется заголовок Solve и он дальше молчит и ничего не делает. Не пойму почему так, на тачках с семеркой локал параллел естественно нормально работает.. а здесь - нет. обращаюсь к коммунити за помощью:

1. Как заставить работать все ядра (на сколько потянет лицуха) в cfx на IBM машине

2. Грамотно развернуть кластер с головным узлом IBM и рабочими станциями на win7x64.

Спасибо заранее. Сам уже не знаю куда копать.

[Алексей Шмаков 0]

1. По фотографии не лечим :), приложите пожалуйста .out файл. Возможно на команде Solve зависает, чтобы Вы могли ввести логин/пароль для планировщика задач MS Windows HPC Server 2008R2, а это окно скрыто за остальными окнами на рабочем столе (если используете MS MPI). А если Platform Computing MPI (PC MPI), то надо тоже сохранить логин/пароль, согласно инструкции в ветке указанной Вами ранее.

2. Чтобы грамотно развернуть кластер надо соеденить отдельной высокоскоростной сеткой сервер и рабочие станции под Win7. Нужна HPC редакция серверной ОС и далее в ней выполнить действия по созданию/настройке кластера.

3. Воспользоваться инструкциями из раздела помощи ниже, чтобы задачи из CFX Solver Manager отправлялись в планировщик задач кластера, а он бы уже выделял вычислительные ресурсы и лицензии ANSYS.

// Installation and Licensing Documentation // Configuring High Performance Computing Guide // Configuring ANSYS CFX Parallel // 2. ANSYS CFX Windows Parallel Setup // 2.3. Setting up and Running CCS 2003/HPC 2008

Учтя небольшие замечания к ней ниже.

Установить на главном узле кластера ANSYS CFX & ANSYS Workbench, расшарить C:\Program Files\ANSYS Inc как \\<HeadNodeName>\ANSYS Inc

далее выполнить установку на главном и вычислельных узлах согласно разделу помощи 4.1.3. Network Installation and Product Configuration, с той корректировкой, что команда будет

C:\Windows\Microsoft.NET\Framework\v2.0.50727\CasPol.exe -m -ag 1.2 -url file://"\\<HeadNodeName>\ANSYS Inc\*" FullTrust

расшарить рабочую директорию на главном узле, например C:\Users\<UserName> как \\<HeadNodeName>\<UserName>

при запуске на расчет в Define Run ввести FULL, Submit to Windows CCS or HPC Queue, кол-во ядер, рабочую директорию \\<HeadNodeName>\<UserName>

Заменить Installation Root в файле hostinfo.ccl на управляющем узле

Installation Root = \\HeadNodeName\ANSYS Inc\v140\CFX

P.S. Чтобы поменьше было проблем в 2008 сервере с Workbench, надо добавить его в доверенные узлы локальной сети (открыть Internet Explorer, настройки безопасности, локальная сеть/local intranet, кнопка узлы/sites, написать hostname главного узла, нажать добавить).

[ftanke 0]

Спасибо за развернутый ответ =) Тему можно считать не актуальной, т.к. поплевавшись с WinHPC Server и Win2008r2+HPC Pack, я поставил RHEL 6.2 (Red hat Linux Server Enterprise 6.2) и теперь очень рад =) Ансис встал сразу, cfx и fluent параллелятся тоже сразу на линуксе, в отличие от виндов..

В красной шляпе по умолчанию даже стоят 3 решателя - выбирай любй =))

От объединения в кластер головного IBM и станций с Вин7 отказался, т.к. сеть у меня обычная - 100мбс.. Будет только глючить и тормозить =)

Решил просто считать на серве в 48 ядер. + ко всему этому поставил SSD на 240гб.. на SSD - ансис и файлы проекта..

Теперь буду по Вашей инструкции мутить кластер среди рабочих станций по сети, без IBM машины..

Еще раз спасибо за мануал по HPC. Сохранил себе на комп.

Изменено 5 апреля 2012 пользователем ftanke

[Расчетчик 0]

Здравствуйте, такая проблема, мучаюсь уже 2й месяц. Имеется машина: IBM, 4 проца по 12 ядер. 130гб ОЗУ, ССД 250гб. + ко всему этому рабочие станции с win7x64. Возникла сильная необходимость в кластере =) Нашел ветку на этом форуме <noindex>http://fsapr2000.ru/index.php?showtopic=15178</noindex> где описывается параллелизация. Все достаточно просто, но у меня не запахало в итоге =) Но суть не в этом. На IBM поставил win2008r2, поставил 14й ансис. Запускаю локал параллел задачу в CFX и солвер просто висит. На ядра вроде бъет, но появляется заголовок Solve и он дальше молчит и ничего не делает. Не пойму почему так, на тачках с семеркой локал параллел естественно нормально работает.. а здесь - нет. обращаюсь к коммунити за помощью:

1. Как заставить работать все ядра (на сколько потянет лицуха) в cfx на IBM машине

2. Грамотно развернуть кластер с головным узлом IBM и рабочими станциями на win7x64.

Спасибо заранее. Сам уже не знаю куда копать.

У меня все работает, тока машина не IBM

Настраивал следующим образом:

1. Поставил английскую версию win2008r2 Enterprise+SP1

2. отключил полностью UAC в локальной политике безопасности

3. в настройках локальной политики безопасности: убрал усиления разрешений для внутренних системных объектов, разрешил анонимный доступ к именованным каналам-добавил С$, разрешил применение разрешения для всех к анонимным пользователям

4. отключил брандмауэр и DEP

5.Включил .net 3.5.1 в системе (Add Future)

6. поставил из под встроенного Administrator'a полностью (все модули) ансис с путями по умолчанию

7. поставил лицензию в которой количество лицензий на CFX превышает количество ядер на которых требуется осуществить запуск

8. перезагрузился

9. сложил в папку с английским путем без пробелов задачу StaticMixer и запустил на все доступные локально 64 ядра задачу, распараллелив локально с помощью Platform MPI Local Parallel

для запуска в распределенном режиме делал дополнительно после установки ансис следующее:

1. из папки C:\Program Files\ANSYS Inc\v140\commonfiles\MPI\Platform\8.1.2\Windows установил Platform-MPI-V8.01.02.02-20110907r с опцией "Platform MPI Libraries, tools and and service for Windows XP/2003/Vist/2008" все остальное по умолчанию. в конце согласился что бы сервис запустился немедленно. в настройках служб поставил в настройках сервиса немедленный перезапуск после сбоев (на всякий случай)

2. из папки C:\Program Files\ANSYS Inc\v140\commonfiles\MPI\Platform\8.1.2\Windows запустил setpcmpipassword.bat и набрал пароль текущего пользователя (Administrator)

3. поставил системную переменную CFX_SOLVE_DISABLE_REMOTE_CHECKS=T

4. перезагрузился

5. запустил cfx5parhosts -benchmark на обоих узлах

6. добавил информацию о первом вычислительном узле из файла hostinfo.ccl в аналогичный файл на втором, в файл на первом узле соответственно из файла на втором.перезапустил cfx для того что бы обновленная иноформаци в hostinfo.ccl была доступна в CFX

7. сложил в папку с английским путем без пробелов задачу StaticMixer и запустил на все доступные 128 ядер ( по 64 ядра локально на двух узлах) задачу, распараллелив с помощью Platform MPI Distribute Parallel

Примечания:

1. запускать и устанавливать rshd и mpich2 или hp-mpi как описанно в <noindex>http://fsapr2000.ru/index.php?showtopic=15178</noindex> не нужно под win2008r2 и win7 (в ансис 14 вместо hp-mpi используется pc-mpi)

2. сеть должна быть настроена-т.е. узлы должны пинговаться и быть видны друг другу. я обычно проверяю следующим образом адекватность настройки сети-подключаю сетевой диск к примеру на второй узел так \\node1\С$ и иду по сети со второго узла на первом в папку C:\windows\system32 и делаю там каталог-если каталог создан-сеть готова к употреблению с CFX

Не смотря на успешную настройку рапараллеливания испытываю серьезные проблемы с графикой на win server 2008r2 Enterprise+sp1.

А именно периодически CFXPre, CFXPost и Workbanch не запускаются или вылетают с ошибкой: "The NVIDA OpenGL driver lost connection with the dysplay driver and is unable to continue. the application must close. Error code:2 NVIDA OpenGL Driver".

Видео: ASUS Gforce GT 430

Драйвера:опробовал от 266.хх до 301.хх

Пробовал обновлять DirectХ

В системе включены: Desctop Expirience

Иногда проблема не возникает, иногда ни в какую не запускается. Температура видео низкая, тесты видео на OpenGL и DirectX различными утилитами проходят.

Аппаратное ускорение видео при установке драйверов видео-включил

Пробовал ставить на машину win7-все отлично работает без нареканий

Прошу помочь мне в решении описанной проблемы