Российские САЕ

[Eugeen 6]

Да как жеж десятое, когда при нормальной размерности затрахаешься качать данные из RAM в GPU и наоборот?

Кабы в GPU влезала матрица целиком, тогда бы оставалось параллелить и только.

А тут приходится играться больше с блоками, как оптимальнее разбить, чтобы не упала скорость обработки. А потом смотришь на результат и думаешь, а стоило ли геммороится с этим GPU ?

Да, есть проблемы.

1. Алгоритмическая проблема:

В больших задачах без техники разреженных пока не обойтись. Но в этом кроется другая проблема - трудность распараллеливания алгоритмов работы с такими матрицами. Здесь есть большое поле для математиков и программистов.

2. Проблема с "железом":

Искусственное (естественное?) разделение памяти CPU и GPU (даже типы памямяти разные) и наличие интерфейса между ними является серьезным барьером для ускорения программ при применении GPU.

Однако наблюдается определенный прогресс в этом направлении. Уже сейчас я работаю с видеоплатой GTX-580 с 3-мя Гигами видеопамяти. В следующем квартале AMD анонсировала выпуск новой линейки ATI-79ХХ старшая модель которой - 7990 будет иметь 6 гигабайт видеопамяти. Важный фактор - переход к стандарту PCI-e 3. Это ускорит обмен с видеоплатой раза в 2. Так что есть надежда ускорить вычисления благодаря переходу на новое железо.

Нам всем ясно, что проблема решилась бы при работе CPU и GPU на общую память, но пока производители плат не увидят в нас конкурентов геймерам на рынке продаж своей продукции, они вряд-ли пойдут этим путем. Так что будем сами выкручиваться

[Eugeen 6]

Я правильно понял, что в задаче расчетная сетка не больше 100000 ячеек?

Могу вам поставить итерационную решатель для вашего софта. Работает по схеме MPICH между узлами с распределенной памятью + Intel TBB (многопоточность) для параллелизма внутри узла на общей памяти. Есть и Ланцож и GM-RES (авторская разработка).

В приведенном примере (если Вы прочитали) расчет делается только для реактора. Там порядка 58000 уравнений (след. матрица 58000х58000). Матрица сильно разреженная. Для расчета процессов в первом контуре ВВЭР-1000 уже подключается 4-е петли с 4-мя парогенераторами (там нет симметрии) и размерность как минимум удваивается. Еще проблема - нейтронная кинетика. сейчас нас держат физики, которые готовят нейтронно-физические константы. У них слишком грубая сетка - покассетно с 10-ю разбиениями по высоте. А надо бы поТВЭЛьно.

Хотя задача сопряженная, но я думаю, что не имеет сильных связей и будем пробовать декомпозицию на 2-а этапа.

Сначала итерируются поотдельности гидродинамика, теплопроводность и кинетика, а потом эти блоки итерируются между собой.

Сейчас для итераций используется Ньютон. Хотя сходимость хорошая, но стоимость итерации велика. Именно здесь у нас пока существенный резерв повышения быстродействия.

Я был бы очень благодарен, если Вы поделились своим опытом ускорений , особенно с применением алгоритмов распараллеливания.

В другой ветке форума Вы Вы упоминали, что некая контора из Росатома заказывает работу по двухфазным CFD. (Отмечу, что ни немцы, ни французы, ни пиндосы по этому пути для подобных расчетов не идут.)

Я их знаю, здесь называть не буду, но скажу, что они отстают от нас как Россия от Китая. А им еще надо будет встраивать нейтронную кинетику в совместный расчет. Так что пока они нам не конкуренты.

[a_schelyaev 366]

Предположим, что на видео карте 1 Тбайт видео памяти. Так вот прямые методы решения нв GPU будут работать МЕДЛЕННЕЕ, чем даже на 1 CPU.

Не надо преполагать. Я пишу про реальность.

Вот когда на картах бытовых будет по терабайту памяти, вот тогда и поговорим.

А пока курим бамбук.

Дело в алгоритме, а не в количестве памяти.

Это и ежу понятно, не надо считать всех кругом идиотами. Учитесь читать.

Поэтому, прежде чем переходить на GPU нужно придумать ВЫСОКО параллельный алгоритм не требующий большого количества памяти. И в ИСПА такой алгоритм есть.

Расчеты на обычной ИГРОВОЙ карте идут в 20-30 раз быстрее чем на 1 CPU.

Я же постоянно про это говорю. А вы постоянно говорите, что этого не может быть, потому что такого ускорения нет ни в АНСИС ни в АБАКУС.

У ИСПЫ задачи сами по себе маленькие. В Абакусе народ решает задачи большей размерности и более сложные по физической постановке.

А уж облачным вычислениям вообще не применимы для прямых методов.

ИСПА, облачные вычисления это просто ресурсы на стороне. Закажите тот аппаратный ресурс который нужен под вашу задачу и спите спокойно.

Параллелизм там всего лишь один из заказных параметров.

Сейчас для итераций используется Ньютон. Хотя сходимость хорошая, но стоимость итерации велика. Именно здесь у нас пока существенный резерв повышения быстродействия.

До ньютоновских итераций мы опускаемся, но для нас это криминал.

Я был бы очень благодарен, если Вы поделились своим опытом ускорений , особенно с применением алгоритмов распараллеливания.

Если нужна практическая реализация, то это исключительная договорная работа.

Сейчас мы заканчиваем выделение нашего решателя в отдельное независимое универсальное приложение.

Если интерес есть, то я дам знать - сможете погонять на ваших задачах.

В другой ветке форума Вы Вы упоминали, что некая контора из Росатома заказывает работу по двухфазным CFD. (Отмечу, что ни немцы, ни французы, ни пиндосы по этому пути для подобных расчетов не идут.)

Насколько знаю - идут. Но по пути заказывания подобных исследований у нас.

А им еще надо будет встраивать нейтронную кинетику в совместный расчет. Так что пока они нам не конкуренты.

Если я не ошибаюсь, то американский код ТОRТ как раз и отвечает за нейтроны.

Несколько лет назад работа по интеграции CFD FlowVision и TORT была проведена и гоняется в хвост и гриву в приволжском округе.

CFD постановка как раз включает в себя и Навье-Стокс и уравнения энергии и многокомпонентность, а с недавних пор и тепловой погранслой (для жидкого Ме хладогента).

[Eugeen 6]

Если нужна практическая реализация, то это исключительная договорная работа.

Сейчас мы заканчиваем выделение нашего решателя в отдельное независимое универсальное приложение.

Если интерес есть, то я дам знать - сможете погонять на ваших задачах.

Интерес есть. И проект есть серьезный - ВВЭР-ТОИ. Надо только понять как нам стыковаться.

Насколько знаю - идут. Но по пути заказывания подобных исследований у нас.

Нам всегда полезно иметь другие варианты прог для сравнения. К сожалению, пока не с кем. Возможно первыми будете Вы. Французы со своим Катаром (видно простудились молча лечаться, инфы от них минимум) давно возятся и прорыва не видно, пиндосы тоже не горят желанием раздется перед публикой. Но что я заметил, при наличии суперкомпов ни те ни другие не приводят данных расчетов, проведенных на СК. Это наводит на сомнение, что проблема распараллеливания у них решена. Поскольку мы сотрудничаем с немцами из GRS, то от них мы тоже получаем подобные мнения.

Если я не ошибаюсь, то американский код ТОRТ как раз и отвечает за нейтроны.

Несколько лет назад работа по интеграции CFD FlowVision и TORT была проведена и гоняется в хвост и гриву в приволжском округе.

CFD постановка как раз включает в себя и Навье-Стокс и уравнения энергии и многокомпонентность, а с недавних пор и тепловой погранслой (для жидкого Ме хладогента).

Да знаем мы это пироженое из Окриджа

Вы только посмотрите на умопомрачительные времена расчета одного состояния

:

<noindex>http://www.osti.gov/bridge/purl.cover.jsp?...Sp/webviewable/</noindex>

и сразу можно поставить крест на совместной нестационарной задаче.

У нас в Курчатнике Монте-Карловские проги давно есть, даже целый проект:

MCU Project -- <noindex>http://mcu.vver.kiae.ru</noindex>

и параллелятся они неплохо, но времена счета заоблачные.

Еще замечу, что гидродинамика пароводяных потоков несколько (мягко говоря) отличается от жидкометаллических. Простой перенос с металла на воду не получится.

Но если Вы работаете в этом направлении, то нам есть что и Вам предложить.

[Eugeen 6]

Немного наивно плдагать, что кто-то бесплатно отдаст коммерческий и отлаженный код. Это во-первых.

Саша - это менеджер. Его прямая задача - это пиар. Вчера он предложил отдать код. Сегодня оказалось, что его надо дописать и отладить.

Менеджер не оешает такие вопросы. Выходите на уровень руководства фмрмы и обсуждайте этот вопрос.

Но я уверен, что отлаженный, коммерческий, эффективный код бесплатно никто не отдаст.

Бизнес - есть бизнес. Я не прошу даром отдавать что-то. Вот немцы из GRS сделали неплохую прогу - Athlet, но считала она один вариант три недели. Мы вошли с ними в альянс. Они нам дали прогу - мы ускорили ее больше чем на порядок. Обе стороны что-то получили. Равноценный ли альянс? Трудно учитывать все нюансы, но раз он продолжается, значит он взаимовыгодный.

Найти общие интересы с доплатой - вот мое предложение. Но покажите товар лицом

[Eugeen 6]

В такой постановке вам прямая дорога к руководству.

Уверен, что вы ускорите софт который рекламирует Саша в 10 а может и в 100 раз.

Потом и нам расскажите как это сделали.

Я не понял, мы им ускорим, или они нам?

Как в анекдоте про то как Гиви впоминал название конфет:

Гиви

Ми иё? НЭт, Ана нас!

[a_schelyaev 366]

2 Eugeen

Ну вы спрашивали про совместные расчеты, я вам привел пример. А то, что TORT это штука ветхая знают все. Но она отлажена, верифицирована и признается по обе стороны океана. Так что влезать в нее вот просто так под предлогом ускорения никто не хочет.

По сотрудничеству - что вы хотите конкретно предложить и что нужно конкретно вам?

Я уже понял, что вам будут интересны наши методы и я понял, что вам не тяжело и самим констролить на ГПУ.

По ГПУ у нас работа идет своими силами по контрактам с промышленностью. План составлен, отчеты пишутся.

Чтобы найти точки соприкосновения, давайте вы напишете предложение о сотрудничестве, а я его отнесу нужному человеку.

Порекомендую вам заходить к нам по АМД, т.к. сейчас мы идем со стороны CUDA, а по АМД у нас все по нулям.

Хорошо?

[Eugeen 6]

2 Eugeen

Ну вы спрашивали про совместные расчеты, я вам привел пример. А то, что TORT это штука ветхая знают все. Но она отлажена, верифицирована и признается по обе стороны океана. Так что влезать в нее вот просто так под предлогом ускорения никто не хочет.

Вся проблема в том, что раньше делались оценки безопасности ВВЭР, теперь же нужны многовариантные расчеты обоснования режимов и конструкций. Когда один вариант считается неделями, то нет возможности надежного обоснования безопасности установки и придется опять вводить коэффициенты запаса на незнание, а это угробит проект ВВЭР ТОИ, т.к. получится все тот же серийный ВВЭР

По сотрудничеству - что вы хотите конкретно предложить и что нужно конкретно вам?

Мы умеем обращаться с водой и паром во всех теплофизических смыслах, без чего ни одна прога расчета пароводяных потоков не обойдется, причем библиотеки у нас оптимизированные и быстроходные. У нас есть набор тестов для проверки прог на точность расчета. Этого для начала достаточно, чтобы налаживать сотрудничество.

Я уже понял, что вам будут интересны наши методы и я понял, что вам не тяжело и самим констролить на ГПУ.

По ГПУ у нас работа идет своими силами по контрактам с промышленностью. План составлен, отчеты пишутся.

Чтобы найти точки соприкосновения, давайте вы напишете предложение о сотрудничестве, а я его отнесу нужному человеку.

Порекомендую вам заходить к нам по АМД, т.к. сейчас мы идем со стороны CUDA, а по АМД у нас все по нулям.

Хорошо?

У нас нет проблем с программистами, у них высокий уровень как специальных знаний (физики процессов) так умение программировать (Fortran, C), в т.ч для GPU (для nVidia и ATI без разницы). У нас потребность в проверенных алгоритмах распараллеливания процессов решения систем нелинейных уравнений большой размерности.

[a_schelyaev 366]

1. Насчет воды - у вас это у кого?

2. По нелинейным вещам - как появится независимый решатель, то дам знать.

[Eugeen 6]

1. Насчет воды - у вас это у кого?

http://files.mail.ru/PGK4PH

2. По нелинейным вещам - как появится независимый решатель, то дам знать.

[Eugeen 6]

Эти переговоры напомнили мне анекдот про бизнес в России.

Два русских бизнесмена заключили договора на покупку вагона леса за 1 миллион рублей.

После этого один пошел искать вагон леса, другой пошел искать миллион рублей.

Лимон есть - леса пока нет!

[Fedor 1 597]

"потребность в проверенных алгоритмах распараллеливания процессов решения систем нелинейных уравнений большой размерности" - если есть линейные, то какая тогда проблема? В малом все линейно, шагайте потихоньку, ведь еще Галуа показал, что выше четвертого порядка для полиномов нет гарантированных конечных шагов. Итерируйте с мужеством и оптимизмом как советовал Стренг и все дела

Вагон это не серьезно. В девяностых отправлял составами и судами параллельно со многих станций и портов скандинавам и финнам на ЦБК и лесопильные заводы

[Eugeen 6]

"потребность в проверенных алгоритмах распараллеливания процессов решения систем нелинейных уравнений большой размерности" - если есть линейные, то какая тогда проблема? В малом все линейно, шагайте потихоньку, ведь еще Галуа показал, что выше четвертого порядка для полиномов нет гарантированных конечных шагов. Итерируйте с мужеством и оптимизмом как советовал Стренг и все дела

Да это понятно. Нам сгодится и алгоритм распараллеливания процессов решения систем линейных уравнений большой размерности. К нелинейной задаче мы его пришпандорим Да где его взять?

[Eugeen 6]

Предлагаю проверить скорость решения для матрицы иеплопровности в ИСПА.

Какая размерность устроит?

Размерность в докладе, который я выложил 58000х58000. Матрица Якоби, с которой мы итерируем несимметричная и неопределенная (из-за гидродинамики спектр собственныз значений - комплексный). Это я к тому, что есть существенное различие с задачей теплопроводности. Но если речь идет только о распаралллеливании, то это интересно.

[a_schelyaev 366]

Кто конкретно из всего списка авторов?

Вы опять говорите про то в чем не разбираетесь.

ИСПА на игровой карте с 3 Гб памяти решает задачи а 5 мил. степеней свободы.

5 млн степеней свободы.... округлим до 6 млн. Имеем по 6 степеней свободы в каждом узле.

1 млн узлов. Если сетка налбрана из тетра-элементов, то делим еще на 4 и получаем 250000 элементов.

ИСПА, по CFD меркам это копейки сегодня.

Если гекса элементы, то мы приближаемся к тому порогу, где задачи еще влезают в память ГПУ.

Но млн элементов это уже для определенного класса задач сегодня не интересно.

Так что кто тут не понимает вопрос для меня понятный.

:)

[a_schelyaev 366]

Так никто задачи ИСПА с залачами CFD не сравнивает. Я не считаю себя специалистом в области CFD.

Это вы себя считаете универсальным расчетчиком. Я таковым не являюсь.

А для решения задач статики, динамики и т.д. 6 млн. степеней свободы это очень даже большая размерность.

Ой мама миа...

ИСПА, специально для тех, кто в танке, цитирую самого себя

Нет никакого пути по серьезным задачам на PC с недорогим GPU. Прежде чем писать ахинею за всех для начала нужно уточнить область применения. Если статика в МКЭ, то да. Если прочая лабудень в одномерном приближении, то да.

Если CFD на базе Навье-Стокса, то до свидания.

Вы, вообще, с кем тут общаетесь?

С фантомами у вас в голове?

[Fedor 1 597]

"из-за гидродинамики спектр собственныз значений - комплексный" - всегда думал что собственные числа зависят от линейного оператора, а не от водки или пива...

[a_schelyaev 366]

Размерность в докладе, который я выложил 58000х58000.

Мы решили, что самое простое будет взять у вас пример вашей матрицы.

Начать можно с небольшой, чтобы понять, что за тип задачи перед нами.

[Eugeen 6]

"из-за гидродинамики спектр собственныз значений - комплексный" - всегда думал что собственные числа зависят от линейного оператора, а не от водки или пива...

У Якобиана, как у всякой добропорядочной матрицы, есть собственные векторы и собственные значения. В первом классе ЦПШ нас учили, что уравнения ГД описывают волновую природу явления. Дальше надо объяснять?

[Eugeen 6]

Мы решили, что самое простое будет взять у вас пример вашей матрицы.

Начать можно с небольшой, чтобы понять, что за тип задачи перед нами.

Вы, как понимающий в ГД, можете взять самую примитивную систему 3-х уравнений (неразр., движ., и энергии) на любой удобной Вам одномерной сетке в невязком приближении и смоделировать какой-нибудь колебательный процесс в реальном газе напр. в трубе.

Аппроксимация неявной схемой даст матрицу, свойства которой будут очень близки к нашей модели. Если у Вас получится с такой матрицей, у меня уверенность в том, что и наша проблема решится.

Вы всегда говорили что собственные числа зависят от минимального и максимального диагонального члена.

Вспомните теорему Гершгорина о кругах.