Суперкомпьютер своими руками для расчетов в ansys и 3d приложениях

10 января 2012

<noindex>http://ru.wikipedia.org/wiki/Python</noindex> - по моему не серьезно для мкэ и подобных задач :)

отнюдь

для примера - <noindex>http://ru.wikipedia.org/wiki/SALOME</noindex>

в общем случае для числодробилок (конечно с некоторым ущербом по производительности) и как замена матлаб, в связке с <noindex>http://ru.wikipedia.org/wiki/SciPy</noindex> вполне серьезно и вполне успешно применяемо

10 января 2012

Конечно, Matlab или python не серьёзны для общего пакета МКЭ. А вот например, для небольшого пакетика - контакт резинового цилиндра с плоскостью, например, если он заточен именно под эту задачу и тока - очень ничего. Мы сможем вообще всё dll или самую долгую часть написать на c++, а интерфейс,графику и немного линейнки - из Matlab.

По поводу передовых схем решения СЛАУ - не верю в их существование, не верю в эффективность и совершенство, верю в эффективность реализации и продуманность. Я верю в то, что в руках у специалиста по линейке многие привычные алгоритмы быстрее и эффективные, но я разумом-то понимаю, что на этом форуме таких нет, не потому что мы плохие, а потому что они решают "другие" задачи сейчас :doh:

10 января 2012

Вот видите дорогие мои! Теперь анализируя ваши посты можно понять следующее: Реально наукоёмкие программные комплексы, написанные полвека назад на Фортране благополучно живут и сейчас, также дописываясь на Фортране. Ни в 70, ни в 90 переносить сотни тыщь! строк текста на с++, pascal, java и др не стали.

не стали, но не потому, что С++ плохой, а потому, что зачем ломать то, что отлажено и прекрасно работает, внося при этом кучу ошибок? Проще сделать обертку к фортрановской процедуре из того языка на котором ты пишешь. И таким образом перенести всю вычислительную тяжесть в старую добрую функцию на фортране.

А Фортран как имел специализацию на вычислительные нужды своей ниши не потерял ничуть.

ну другую нишу он в принципе занять не может (благо, под нее и был разработан).

Но насчет не потерял, не соглашусь. Старый код остается на Фортране, а новый код все же больше на С++. Хотя и С++ уже выглядит как древность. Но если нужна скорость, то придется писать на нем )).

Вывод - правильно я сделала, что изучала паскаль, Фортран, cи, и забила на java, c++ и др.

не-а, вывод - Вы просто изучали процедурные языки и забили на все объектно-ориентированные ))).

Зачем эти паскали, си, java? Гораздо проще, эффективнее python. Суперязык, просто как грабли, при этом может почти все благодаря богатейшим библиотекам, в которую импортируется и Фортран и С++. Вся математика в python - фортрановская. Поэтому по скорости вычислений - то же самое. Решить СЛАУ? Одна строчка. Построить сложный 3D график? Одна строчка. Выполнить кластерный анализ? Одна строчка. И т.д.

Писать на нем одно удовольствие. Быстро и просто. К примеру, в MIT - это сейчас основной язык обучения. В NASA тоже постепенно переходят на него.

Заметьте, человеку с "улицы" сейчас крайне тяжко изучить Фортран - мало современных книг,нет сред разработки и мало компиляторов.

Книг полно, пусть даже не современных, среды и одной хватит - в VS, компиляторы Фортрана есть под каждую платформу, которая используется для вычислений (к примеру, под Windows - компаковский (сейчас не знаю кому принадлежит) или интеловский, под линукс g90). Но есть 2 НО: 1. он слишком процедурный (для нынешних громоздких программ это очень тяжело) 2. он никому не нужен (а на фига его учить, раз он не нужен?)

Конечно, Matlab или python не серьёзны для общего пакета МКЭ. А вот например, для небольшого пакетика - контакт резинового цилиндра с плоскостью, например, если он заточен именно под эту задачу и тока - очень ничего.

Так ведь для чего этот Matlab или Python нужен? Да для того же, зачем инженерам давали Фортран в прошлом веке!

Вот скажите мне, нафига инженеру программирование? Ведь программист не учит балки, мембраны и погранслои. А нужно инженеру программирование потому, что пока программер разберется с балками и напишет что-то, проще самому на коленке набросать код и спокойно юзать его. Без всякого интерфейса и прочей фигни.

Так именно эту задачу Python решает прекрасно.

Просто пример. Решаем CFD задачку. В данных нелинейная зависимость теплопроводности от температуры. В решателе я могу записать формулу, но у меня таблица. В 5 минут таблица вбивается в python, дергается функция для нахождения коэф-в сплайна. Сплайн пишется в решатель. Все.

Так что все что долго считается - просто импортируем фортрановские либы. Если нет именно того, что нам надо, то сейчас пишем на python, потом программисты алгоритмизуют на С++ и ускорят это дело. Зато все быстро и без ошибок.

Кстати, Eugeen, раз пошла такая пьянка )))

Вот пример:

SUBROUTINE SUDVMF

...

Скрытый текст: Текст проги


C MODEL VT: EXT = 3, PAR=9, ADR=2		

C

C					   Дата создания:				10/11/93 06:34pm

C					   Дата последней корректировки: 03/18/94 06:13pm

C 											Дата plugin	корректировки: 18.05.07 13:15

C

C

C HELP НАЗВАНИЕ:				 Биполярный транзистор. 

C HELP

C

C HELP ОБЛАСТЬ ПРИМЕНЕНИЯ:	   Электроника

C

C HELP СТЕПЕНИ СВОБОДЫ:

C HELP	 1 - потенциал базы элемента

C HELP	 2 - потенциал эмиттера элемента

C HELP	 3 - потенциал коллектора элемента

C HELP ПАРАМЕТРЫ:

C HELP	 1 - ток насыщения								(IS  >  0).

C HELP	 2 - прямой коэффициент  передачи тока			(BN  >  0).

C HELP	 3 - обратный коэффициент  передачи тока		  (BI  >  0).

C HELP	 4 - напряжение пробоя							(UP  >  0).

C HELP	 5 - ток насыщения пробоя						 (I0  >  0).

C HELP	 6 - величина постояной  T						(T   >= 0).

C HELP	 7 - начальная барьерная емкость p - n перехода   (CB0 >= 0).

C HELP	 8 - тип транзистора  P =   1 , n - p - n		 (P   =  1). 

C HELP						  P = - 1 , p - n - p		 (P   =- 1). 

C HELP	 9 - коэффициент A = V / FT  -  напряжение,

C HELP		 при котором функция тока начинает

C HELP		 апроксимироваться касательной к графику	  (A   >  0).

C

C																		 

C		SUBROUTINE  VT ( I, Y, V1,  V2,  V3,  PAR )

		 SUBROUTINE VT (  I,  Y,  X_, V_, A_,  PAR, NEW, OLD, WRK )

!DEC$ ATTRIBUTES DLLEXPORT::VT

		include 'common.inc'

C

			   REAL*8 X_(3), V_(3), A_(3)

			   REAL*8 NEW(1), OLD(1), WRK(1)

		REAL * 8	   I (3),   Y (9,2), PAR(1),  V1(2), V2(2), V3(2)

		REAL * 8	   IS,	 FT,	   VA,	  VK,	A,	 BN

		REAL * 8	   BI,	 P,		YN (4),  II,	IN,	B

		REAL * 8	   E1,	 E2,	   Y1,	  Y2,	B1,	I0

		REAL * 8	   VTP,	UP,	   CND,	 CID,   CNB,   CIB

		REAL * 8	   DVA,	DVK,	  YND,	 YID,   YNA,   YIA

		REAL * 8	   K1,	 K2,	   CB0,	 Z,	 PSI,   NU,   T

C

C

C

C	   Элементы COMMON - блока, используемые в данной модели :

C

C	   NSTEP - номер текущего шага интегрирования;

C	   NITER - номер текущей итерации;

C

				V1(1) = V_(1)

				V2(1) = V_(2)

				V3(1) = V_(3)

				V1(2) = A_(1)

				V2(2) = A_(2)

				V3(2) = A_(3)

C

C	   Инициализация параметров :

C

		IS   =  PAR (1)

		BN   =  PAR (2)

		BI   =  PAR (3)

		UP   =  PAR (4)

		I0   =  PAR (5)

		T	=  PAR (6)

		CB0  =  PAR (7)

		P	=  PAR (8)

		A	=  PAR (9)							  

C

		FT   =  2.6D-2

		VTP  =  1.D-4

		B	=  IS*DEXP (A) / FT

		B1   =  I0*DEXP (A) / VTP

		PSI  =  8.D-1

		NU   =  4.D-1

		Z	=  5.D-2

		K1 =   CB0 * NU * ( Z / PSI ) ** ( - NU - 1 ) / PSI

		K2 =  - K1 * ( PSI - Z ) + CB0 * ( Z / PSI ) ** ( - NU )

C

C

C

C

C	   Однократные вычисления в программе :

		IF ( NSTEP .EQ. 1 .AND. NITER .EQ. 1 )

	 ,	   THEN

C

C				Проверка значений параметров на допустимость :

				 IF ( IS  .LE. RLMIN  .OR. 

	 .				T   .LT. RLMIN  .OR. 

	 .				CB0 .LT. RLMIN  .OR. 

	 .				I0  .LE. RLMIN  .OR. 

	 .				UP  .LE. RLMIN  .OR. 

	 .				A   .LE. RLMIN  .OR.

	 .				BI  .LE. RLMIN  .OR.

	 .				BN  .LE. RLMIN  .OR.

	 .				.NOT. (DINT (P + 2.1D0) .EQ. 1  .OR.

	 .					   DINT (P + 0.1D0) .EQ. 1	   )	 )

	 ,				THEN

C

						  IF ( CODE .LT. 100 )

	 ,						 THEN

C

			  PRINT * ,'Ошибочные параметры в элементе VT  :'

			  PRINT * ,'	Ток насыщения				 ', IS

			  PRINT * ,'	коэффициент  передачи BN	  ', BN

			  PRINT * ,'	коэффициент  передачи BI	  ', BI

			  PRINT * ,'	Напряжение пробоя			 ', UP 

			  PRINT * ,'	Ток насыщения пробоя		  ', I0 

			  PRINT * ,'	Постоянная T				  ', T

			  PRINT * ,'	Начальная барьерная емкость   ', CB0

			  PRINT * ,'	тип транзистора P			 ', P

			  PRINT * ,'	коэффициент  A				', A

C

								   CODE   =   100

								   NAME   =   'VT   '

						  END IF



C ======>	EXIT		 Аварийный выход из модели :

						  RETURN

C

C

				 END IF

C

C

		END  IF

C	   Конец однократных вычислений в программе.

C

C	   Значения напряжений :

C

		VA  =  P * (V1 (1) - V2 (1))

		VK  =  P * (V1 (1) - V3 (1))

		DVA =  P * (V1 (2) - V2 (2))

		DVK =  P * (V1 (2) - V3 (2))

C		

C	   Расчет вспомогательных токов и якобиана .

		IF ( VA .GT. A * FT )

	 ,	  THEN

				E1  = IS*(DEXP( A )-1.D0) + B * ( VA - A * FT )

				Y1  = B

			ELSE

				E1  = IS*(DEXP (VA / FT)-1.D0) 

				Y1  = IS * DEXP ( VA / FT ) / FT

		ENDIF

C

		IF ( - (VA + UP) .GT. A * VTP )

	 ,	   THEN

				E2  = I0 * (DEXP (A)-1.D0) + B1*( -(VA + UP) - A * VTP)

				Y2  = - B1

			 ELSE

				E2  = I0 * (DEXP( - (VA + UP) / VTP)-1.D0)

				Y2  = -I0*DEXP( - (VA + UP) / VTP) / VTP

		ENDIF

C

		IN = E1 - E2 +  I0 * (DEXP (- UP / VTP) - 1.D0) 

C

		YN (1) = Y1 -Y2

		YN (2) = - YN (1)

C

		IF ( VK .GT. A * FT )

	 ,	  THEN

				E1  = IS*(DEXP( A )-1.D0) + B * ( VK - A * FT )

				Y1  = B

			ELSE

				E1  = IS*(DEXP (VK / FT)-1.D0) 

				Y1  = IS * DEXP ( VK / FT ) / FT

		ENDIF

C

		IF ( - (VK + UP) .GT. A * VTP )

	 ,	   THEN

				E2  = I0*(DEXP( A )-1.D0) + B1*( -(VK + UP) - A*VTP)

				Y2  = - B1

			 ELSE

				E2  = I0 * (DEXP( - (VK + UP) / VTP)-1.D0)

				Y2  = -I0 * DEXP( - (VK + UP) / VTP) / VTP

		ENDIF

C

		II = E1 - E2 + I0 * (DEXP ( - UP / VTP) - 1.D0)  

C

		YN (3) = Y1 - Y2

		YN (4) = - YN (3)

C

C

C

		IF ( VA .GT. 0.D0 )

	 ,	  THEN

				IF ( VA .GT. A * FT )

	 ,			  THEN

						CND = T * B

						YND = 0.D0

					ELSE

						CND =  T * IS / FT * DEXP( VA / FT )

						YND =  CND / FT

				ENDIF

			ELSE

				CND = 0.D0

				YND = 0.D0

		END  IF

C

		IF ( VA .LT. PSI - Z )

	 ,	  THEN

				CNB = CB0 *  ( 1.D0 - VA / PSI ) ** ( - NU )

				YNA = CB0 * NU * ( 1.D0 - VA / PSI ) ** ( - NU -

	 -			   1.D0 ) / PSI

			ELSE

				CNB = VA * K1 + K2

				YNA = K1 

		END  IF

C

C

C

		IF ( VK .GT. 0.D0 )

	 ,	  THEN

				IF ( VK .GT. A * FT )

	 ,			  THEN

						CID = T * B

						YID = 0.D0

					ELSE

						CID =  T * IS / FT * DEXP( VK / FT )

						YID =  CID / FT

				ENDIF

			ELSE

				CID = 0.D0

				YID = 0.D0

		END  IF

C

		IF ( VK .LT. PSI - Z )

	 ,	  THEN

				CIB = CB0 *  ( 1.D0 - VK / PSI ) ** ( - NU )

				YIA = CB0 * NU * ( 1.D0 - VK / PSI ) ** ( - NU -

	 -			   1.D0 ) / PSI

			ELSE

				CIB = VK * K1 + K2

				YIA = K1 

		END  IF

C

C

C	   Расчет токов .

C

		I (1) = P * (IN / BN + II / BI + ( CND + CNB ) * DVA +

	 +		  ( CID + CIB ) * DVK)

		I (2) = P * (- IN * (1.D0 + 1.D0 / BN) + II - (CND + CNB) * DVA)

		I (3) = P * (- II * (1.D0 + 1.D0 / BI) + IN - (CID + CIB) * DVK) 

C

C	   Расчет якобиана.

C

		Y (1,1) = YN (1) / BN + YN (3) / BI + ( YND + YNA ) * DVA *P +

	 +		  ( YID + YIA ) * DVK * P

		Y (2,1) = YN (2) / BN - ( YND + YNA ) * DVA * P

		Y (3,1) = YN (4) / BI - ( YID + YIA ) * DVK * P

C

		Y (4,1) = - YN (1) * (1.D0 + 1.D0 / BN) + YN (3) 

	 -		  - ( YND + YNA ) * DVA * P

		Y (5,1) = - YN (2) * (1.D0 + 1.D0 / BN) + ( YND + YNA ) * DVA*P

		Y (6,1) = YN (4)

C

		Y (7,1) = - YN (3) * (1.D0 + 1.D0 / BN) + YN (1)

	 -		  - ( YID + YIA ) * DVK * P

		Y (8,1) = YN (2)

		Y (9,1) = - YN (4) * (1.D0 + 1.D0 / BN) + ( YID + YIA ) * DVK*P 

C

C

C

		Y (1,2) = CND + CNB + CID + CIB

		Y (2,2) = - (CND + CNB)

		Y (3,2) = - (CID + CIB)

C

		Y (4,2) = - (CND + CNB)

		Y (5,2) = CND + CNB 

		Y (6,2) = 0.D0

C

		Y (7,2) = - (CID + CIB)

		Y (8,2) = 0.D0				  

		Y (9,2) = CID + CIB

C  

C

C

	   RETURN

	   END

Жизненный цикл: VAX->DOS->WINDOWS->LINUX

Тоже только кодировка менялась )))

10 января 2012

Из-за природы происхождения названия?

:)

"Классический Питон, как и многие другие интерпретируемые языки, не применяющие, например, JIT-компиляторы, имеют общий недостаток — сравнительно невысокую скорость выполнения программ" - хотя бы из-за этого. Тогда уж проще на Mathematica писать :)

"Решить СЛАУ? Одна строчка"

Так любые системы уравнений не вопрос решать :rolleyes:

10 января 2012

"Классический Питон, как и многие другие интерпретируемые языки, не применяющие, например, JIT-компиляторы, имеют общий недостаток — сравнительно невысокую скорость выполнения программ"

Под Питон JIT компилятор сейчас активно разрабатывается. Кроме того уже давным давно его можно было компилировать прямо в exe-шник. Скорость, правда, при этом все остается несколько ниже из-за работы с объетами, уборщика мусора и прочих штучек.

10 января 2012

Под Питон JIT компилятор сейчас активно разрабатывается. Кроме того уже давным давно его можно было компилировать прямо в exe-шник. Скорость, правда, при этом все остается несколько ниже из-за работы с объетами, уборщика мусора и прочих штучек.

Да в обозримом будущем никто американцев не сделает, все закончится как у разных алголов-паскалей. Только время впустую тратить, которого и так нет. Тем более, что VS сейчас на русском есть. :)

10 января 2012

Чтож Python закопаем. Подходит как средство прототипирования: Maple,Mathematica, Matlab, Python - интерпретаторы.

Про VS забыла, увлеклась в своё время системами доказательства теорем(символьный МКЭ - тензоры там разные определяющие, инварианты, жуть), так что :angel_sadangel: занялась prolog, с+-, забила на Фортран, работать в стол хватает matlab :beer: Мне кажется, что у систем символьных вычислений непочатый край работы именно для тензорных вычислений - реология, например, как подготовительная работа с определяющими отношениями и др.

10 января 2012

Простите, но я никак не пойму. Почему Вы считаете, что у Вас не передовые коды в случае описанной выше ситуации французами, американцами и т.д.? Какое приемлимое время решения и на какой технике требуется для СЛАУ в 150-200 тыс ур-й, чтобы Вы сказали: да, это круче, чем наш алгоритм?

Просто мне кажется, что сейчас такая размерность это не проблема сейчас в смысле времени решения, и если Вам этого мало, то вопрос: а что же Вы хотите?

К примеру, я тоже предложил бы интеловскую библиотеку, как одну из самых передовых. Но поскольку требований нет, то непонятно, то ли это, что Вам надо. Еще мне понравилась шустрость боинговского алгоритма в LS-Dyna. Рекомендую. Но опять же, критериев нет, поэтому и сравнивать не с чем.

Может я слишком много лишнего писал о проблемах, попробую кратко изложить суть.

1. Если размерность системы результирующих уравнений невелика (< 3000-4000), то проблемы времени счета на РС (i7) нет, и нет нужды в ускорителях. Оперируя с полной матрицей мы легко задействуем GPU, т.к. процесс просто распараллеливается.

2. Если размерность превышает размеры памяти (~ 30000 - 35000 уравнений), мы используем разреженные алгоритмы, и здесь затык - нет подходящего алгоритма решения СЛАУ с распараллеливанием. Отсюда неэффективность применения GPU.

ИСПА утверждал ранее, что такие алгоритмы есть в неких коммерческих прогах, но надо платить за них. Вот я и спрашиваю у всех - где такие проги, кому платить? Мы собрали практически весь арсенал прог по решению СЛАУ, на которые нашли ссылки в сети и, поверьте, вполне разобрались в применимости каждой для определенных видов матриц. Проштудировали всякие предобуславливатели и неполные факторизации, но пока приемлемого решения проблемы ускорения не нашли.

Напомню также, что решается нестационарная и сильно нелинейная задача, что существенно отличается от расчета напряженного состояния или температурных полей. Да и геометрия объектов довольно сложная, нет никакой симметрии. Так что 150-200 тысяч уравнений - это очень много. Да и к тому же задача жесткая - порядка 10⁸.

11 января 2012

:unsure:

Чтож Python закопаем. Подходит как средство прототипирования: Maple,Mathematica, Matlab, Python - интерпретаторы.

Про VS забыла, увлеклась в своё время системами доказательства теорем(символьный МКЭ - тензоры там разные определяющие, инварианты, жуть), так что занялась prolog, с+-, забила на Фортран, работать в стол хватает matlab Мне кажется, что у систем символьных вычислений непочатый край работы именно для тензорных вычислений - реология, например, как подготовительная работа с определяющими отношениями и др.

<noindex>http://www.pinega3.narod.ru/charmat/charmat.htm</noindex> быстро и удобно. И при необходимости CForm и для фортрана аналогично код легко получается :)

"Да и к тому же задача жесткая - порядка 10**8" ну это еще не жесткая для двойной точности. Проблемы начнутся где-нибудь с 10**12

"решается нестационарная и сильно нелинейная задача" - ну уж это-то к матрице не имеет отношения, это же шаги и итерации всего лишь обычно :unsure:

11 января 2012

- ну уж это-то к матрице не имеет отношения, это же шаги и итерации всего лишь обычно

Из-за нелинейности приходится матрицу Якоби пересчитывать почти на каждом шагу по времени, а хотелось бы ее подольше использовать.

11 января 2012

Из-за нелинейности приходится матрицу Якоби пересчитывать почти на каждом шагу по времени, а хотелось бы ее подольше использовать.

Так делайте как в методе одной касательной, а не Ньютона <noindex>http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%...%BE%D0%BD%D0%B0</noindex> на каком-то количестве шагов, а лучше Ньютона-Рафсона используйте. Аппроксимируйте кусочно-постоянной функцией нелинейности. Можно выделить область где нелинейности и побольше и корректировать только их, а остальное использовать как суперэлемент. Да и много чего можно придумать. Вообще над математикой висят три проклятия - многомерность, нелинейность и нестационарность, тут надо искать компромисс в сфере возможностей и чем-то жертвовать менее значимым :unsure:

11 января 2012

Из-за нелинейности приходится матрицу Якоби пересчитывать почти на каждом шагу по времени, а хотелось бы ее подольше использовать.

Мы про вас не забыли и как только человек освободится, то глянет вашу матрицу на нашем алгоритме.

12 января 2012

Совсем недавно вышла еще одна полезная книга: "Основы работы с технологией CUDA"

16 января 2012

Испа , <noindex> вот тут </noindex> пишут, что умножения - деления делаются быстрее сложения - вычитания. Это что-то новенькое и как обычно актуальное. Вы вроде с ними общались, не могли бы прокомментировать таблицу 3.6 ...

16 января 2012

Федор при чтении ссылки происходит ошибка.

Вы своими словами расскажите содержимое таблицы 3.6...

вложил сюда

prep2011_76.pdf

16 января 2012

По поводу моего вопроса то что скажете? :)

"Количество операций в миллисекундах (мс) для различных типов данных" - ? Что это за способ мерять - вроде светового года в астрономии или наоборот ?

16 января 2012

"Авторы измеряя скорость в мс " - то есть просто безграмотная запись скорости , размерность = количество операций / мс ?

Или что-то другое что меряется в мс ?

16 января 2012

Какие единицы то для начала и что они меряют? Время выполнения одной математической операции типа сложения или умножения, тогда логичны мс, или скорость, то есть число операций / мс ? :unsure:

<noindex>http://ru.wikipedia.org/wiki/%D0%A4%D0%BB%D0%BE%D0%BF</noindex> вот ведь общепринятая единица скорости для вычислений...

16 января 2012

Тогда получается, что операция сложения медленнее операции умножения, а это бред :rolleyes:

16 января 2012

Да Вы посмотрите в рамках одной и той же точности как соотносятся умножение и сложение в мс ...

1.27e+006(+) > 7.75e+005 (*)

"Предположим, что за 1 мс выполняется ... операций с double" - похоже все-таки речь о скорости :rolleyes:

Войти

Суперкомпьютер своими руками для расчетов в ansys и 3d приложениях

Рекомендованные сообщения

Greets 6

Ссылка на сообщение

Поделиться на других сайтах

Цветочек 15

Ссылка на сообщение

Поделиться на других сайтах

vl 327

Ссылка на сообщение

Поделиться на других сайтах

Fedor 1 597

Ссылка на сообщение

Поделиться на других сайтах

vl 327

Ссылка на сообщение

Поделиться на других сайтах

Fedor 1 597

Ссылка на сообщение

Поделиться на других сайтах

Цветочек 15

Ссылка на сообщение

Поделиться на других сайтах

Eugeen 6

Ссылка на сообщение

Поделиться на других сайтах

Fedor 1 597

Ссылка на сообщение

Поделиться на других сайтах

Eugeen 6

Ссылка на сообщение

Поделиться на других сайтах

Fedor 1 597

Ссылка на сообщение

Поделиться на других сайтах

a_schelyaev 366

Ссылка на сообщение

Поделиться на других сайтах

Eugeen 6

Ссылка на сообщение

Поделиться на других сайтах

Fedor 1 597

Ссылка на сообщение

Поделиться на других сайтах

Chardash 306

Ссылка на сообщение

Поделиться на других сайтах

Fedor 1 597

Ссылка на сообщение

Поделиться на других сайтах

Fedor 1 597

Ссылка на сообщение

Поделиться на других сайтах

Fedor 1 597

Ссылка на сообщение

Поделиться на других сайтах

Fedor 1 597

Ссылка на сообщение

Поделиться на других сайтах

Fedor 1 597

Ссылка на сообщение

Поделиться на других сайтах

Сейчас на странице 0 пользователей

Сообщения