Хитрые математические и физические задачки.

[Orchestra2603 226]

On 12/25/2023 at 5:15 PM, Jesse said:

хорошая демонстрация того, что модели линейной регрессии во многих ситуациях оченб плохо работают...

Как раз вот сидел несколько дней и подбирал модель под данные наблюдений в маткаде (там идет минимизация среднего квадрата невязки методом Levenberg–Marquardt). Так вот ,я даже хз, какой там коэффициент детерминации получался, но пока я не увидел, что ошибка регрессии распределена почти по нормальному закону ,я не успокоился. Ну, т.е. хотя бы у ошибки должно быть нулевое матожидание, как минимум. Тут такое выполняется только для первого случая более-менее.

 

Ну и сам график аппроксимирующей функции естественно как-то качественно должен повторять данные более-менее.

[Jesse 961]

16 часов назад, Orchestra2603 сказал:

пока я не увидел, что ошибка регрессии распределена почти по нормальному закону

блин, интересно.. А можно по подробней? Где такое желательное или обязательное требование есть?
Сам вот аппроксимацией данных сейчас занимаюсь... 

[Jesse 961]

@Orchestra2603это про теорему Гаусса-Маркова?
Тут такое дело... сейчас я занимаюсь построением дисперсионного соотношения для капиллярных волн в жидком металле и воде на основе экспериментальных данных. То есть подбирать модель не надо, модель известная, и мне надо в неё попасть.
Когда делаю аппроксимацию, в одном случае регрессия и измеренные длины волн (получены как асбцисса максимального значения спектра) получаются такие, 

а во втором опыте такие.

Вот второй случай меня и напрягает... ошибка в коэффициенте аппроксимации дисперсионного соотношения (там ещё надо было частоту замерить и построить для неё нелинейную регрессию) в обоих случаях у меня получилась ~3%, хотя видно что во втором случае большой разброс весьма, особенно на больших временах.

з.ы.: чёрная линия - это аппроксимация, красные точки - значения длин волн, полученные на основе фотографий с опыта
 

Изменено 7 февраля пользователем Jesse

[Orchestra2603 226]

2 hours ago, Jesse said:

блин, интересно.. А можно по подробней? Где такое желательное или обязательное требование есть?
Сам вот аппроксимацией данных сейчас занимаюсь... 

Если честно, не знаю, как там правльно пишут, какие требования кто-то где-то определяет. Я как бы так чисто по наитию что ли действую. Ну, как бы, я так рассуждаю... Если Y = f(X) + epsilon, то f не должно как-то зависеть и иметь что-то общее с epsilon. Кроме того, случайная ошибка не должна в какую-то сторону "склоняться", отсюда как бы следует нулевое матожидание у ошибок. Из независимости эпсилон от аппроксимации следуют, например, близкие к нулю коээфициенты корреляции.

 

Ну, и можно так считать, что если ошибка чисто случайная из-за случайного взаимодействия кучи всяких неподконтрольных факторов, и если предполагать, что эти факторы аддитивны (их суммарное действие равно сумме каждого отдельного действия), то в силу центральной предельной теоремы ошибка должна быть распределна по закону, близкому к нормальному. Кстати говоря, вроде бы доказывается строго, что для линейной регрессии метод наименьших квадратов дает "наилучшую" аппроксимацию в преположении нормального распределения для эпсилон.

52 minutes ago, Jesse said:

@Orchestra2603это про теорему Гаусса-Маркова?

оо.. круто)) Сам того не зная, много во что попал)

Изменено 7 февраля пользователем Orchestra2603

[Orchestra2603 226]

1 hour ago, Jesse said:

Вот второй случай меня и напрягает... ошибка в коэффициенте аппроксимации дисперсионного соотношения (там ещё надо было частоту замерить и построить для неё нелинейную регрессию) в обоих случаях у меня получилась ~3%, хотя видно что во втором случае большой разброс весьма, особенно на больших временах.

з.ы.: чёрная линия - это аппроксимация, красные точки - значения длин волн, полученные на основе фотографий с опыта
 

Интересная штука) Ну, на втором графике прям хочется логарифм какой-то туда воткнуть. Пробовали на логарифмической шкале смотреть для y? Как будто бы при более высоких t кажется, что растет эта штука медленнее, чем линейно. 

Я в теме не разюираюсь, соррян, если глупости говорю)) а какая там роль времени в дисперсионном соотношении? там вроде не частота от волнового числа же зависит или что-то такое? как там время фигурирует?

[Jesse 961]

43 минуты назад, Orchestra2603 сказал:

Из независимости эпсилон от аппроксимации следуют, например, близкие к нулю коээфициенты корреляции.

коэффициенты корреляции от чего?

 

27 минут назад, Orchestra2603 сказал:

Интересная штука) Ну, на втором графике прям хочется логарифм какой-то туда воткнуть. Пробовали на логарифмической шкале смотреть для y?

не, график то линейный. На Log графике линейность не будет видна) да и значения у меня не сильно меняются что логарифм использовать..

 

27 минут назад, Orchestra2603 сказал:

Как будто бы при более высоких t кажется, что растет эта штука медленнее, чем линейно. 

ну я про то и говорю: во втором случае у меня получается дисперсия (разброс данных относительно аппроксимации) растёт со временем, и да и среднее не очень то и равно нулю будет..
А в первом более менее норм, одинакова..
 

 

27 минут назад, Orchestra2603 сказал:

а какая там роль времени в дисперсионном соотношении? там вроде не частота от волнового числа же зависит или что-то такое? как там время фигурирует?

ну типа когда дисперсия есть, то волновой пакет расплывается. Это означает что частота и волновой вектор изменяется неодинаково по времени. После того как построил аппроксимацию для частоты и длины волны, то время исключается как бы (приравниваются правые части)
Я в основном ориентируюсь на эту статейку, можно сказать то же самое делаю..)
crown_wave_ru.pdf

Изменено 7 февраля пользователем Jesse

[Orchestra2603 226]

34 minutes ago, Jesse said:

коэффициенты корреляции от чего?

Ошибки от t. Или ошибки от лямбда. 

 

34 minutes ago, Jesse said:

не, график то линейный. На Log графике линейность не будет видна) да и значения у меня не сильно меняются что логарифм использовать..

ну, если исходить из того, что график точно линейный, то тогда нам ничег и не остается. аименьший квадрат ошибки дает МНК для линейнй регрессии. Что есть, то есть.  Просто если есть какая-то показательная или степенная завимость на лог шкале как раз это хорошо видно.

 

34 minutes ago, Jesse said:

ну я про то и говорю: во втором случае у меня получается дисперсия (разброс данных относительно аппроксимации) растёт со временем, и да и среднее не очень то и равно нулю будет..

Вот это вот не очень хорошо. Может, есть какие-то неаддитивные ошибки? 

 

34 minutes ago, Jesse said:

ну типа когда дисперсия есть, то волновой пакет расплывается. Это означает что частота и волновой вектор изменяется неодинаково по времени. После того как построил аппроксимацию для частоты и длины волны, то время исключается как бы (приравниваются правые части)
Я в основном ориентируюсь на эту статейку, можно сказать то же самое делаю..)

интересно, но сейчас совсем нет времени разбираться))

Изменено 7 февраля пользователем Orchestra2603

[Jesse 961]

29 минут назад, Orchestra2603 сказал:

Может, есть какие-то неаддитивные ошибки? 

там в основном погрешность измерения. Но в данном случае сами фотки плохого качества были, по сравнению с первым случаем..

 

30 минут назад, Orchestra2603 сказал:

1 час назад, Jesse сказал:

ну я про то и говорю: во втором случае у меня получается дисперсия (разброс данных относительно аппроксимации) растёт со временем, и да и среднее не очень то и равно нулю будет..

Вот это вот не очень хорошо.

ну а каков следующий шаг? я пока что сделал просто : построил дисперсионное соотношение, показал что коэффициент (множитель) в степенной зависимости отличается от теоретического на 3%. Типа всё хорошо. Но мне кажется это лишь необходимое условие, и надо добавить раздел типа "статистический анализ обработанных данных", и показать что среднее~0, дисперсия~const и т.д. Тогда будет збс. Как думаете?

[Orchestra2603 226]

3 hours ago, Jesse said:

там в основном погрешность измерения. Но в данном случае сами фотки плохого качества были, по сравнению с первым случаем..

 

ну а каков следующий шаг? я пока что сделал просто : построил дисперсионное соотношение, показал что коэффициент (множитель) в степенной зависимости отличается от теоретического на 3%. Типа всё хорошо. Но мне кажется это лишь необходимое условие, и надо добавить раздел типа "статистический анализ обработанных данных", и показать что среднее~0, дисперсия~const и т.д. Тогда будет збс. Как думаете?

ну... если уже есть рабочее соотношение из какой-то теории, и задача просто его валидировать по результатам эксперимента, то, навреное, и так норм. Если коэффициент детерминации выше 0.8, то я бы и остановился на этом. Если бы стояла задча выявить какую-то новую зависимость, то тогда другое дело.

[Jesse 961]

@Orchestra2603 , а на что существенно может влиять наличие тренда в данных?
К примеру у меня такой график освещенности по длине с эксперимента (красная линия), аппроксимировал квадратичным полиномом (чёрная линия). Вычитанием второго из первого получил синюю линию. 

Что приятно - синий график получается практически идеально центрированным (среднее ~ 0)

 

В плане существенной для меня информации - спектральных характеристик - разницы не увидел: нужные пики (синяя стрелка) находятся в нужных частотных точках, да и коэффициенты похожи..

 

Однако для исходных данных где был тренд имеется "ложный" большой пик (красная стрелка), которому соответствует коэфф=824.479 , что примерно на 2-3 порядка больше других коэффициентов. Я сначала подумал, что это влияние ограниченности данных.. ну то что мы спектр строим по конечному набору данных.. А оказалось это тренд так влияет!
Вот я и задумался: а на что вообще может ещё существенно повлиять тренд?

И ещё вопрос: для удаления тренда я делал квадратичную регрессию. А есть какие-нибудь предпочтения в этом плане? Может взять нелинейную регрессию, с Exp или Log функцией?

[Fedor 1 601]

Когда -то для сглаживания был популярен метод скользящего полинома...    https://habr.com/ru/articles/134375/    

[Jesse 961]

11 минут назад, Fedor сказал:

Когда -то для сглаживания был популярен метод скользящего полинома...    https://habr.com/ru/articles/134375/    

тоже наслышан о методе скользящих средних, но не понял чем он лучше сглаживания низкочастотной фильтрацией фурье или вейвлетами...

[Fedor 1 601]

На этом методе когда-то учился фортрану :)

[Orchestra2603 226]

On 2/13/2024 at 4:37 PM, Jesse said:

Вот я и задумался: а на что вообще может ещё существенно повлиять тренд?

У вас по сути сигнал есть сумма этого тренда и затухающих колебаний вокруг него.  Преобразование Фурье же линейное, поэтому у вас на картинке по сути сумма двух спектров - от тренда и от колебаний вокруг тренда. Если тренд близок к полиному какому-то, то у него на спектре (если как по аналитиен вообще) должен быть, вообще говоря, бесконечно высокий пик на нулевой частоте.  Вот из Википедии:

Просто из-за того, что на практике мы берем ПФ на каком -то конечном интервале, у нас не будет бесконечных пиков, будет какой-то конечное но, возможно, высокое значений в нуле, и оно будет быстро сползать, как только чуть-чуть отступить он нуля Гц.

Когда вы вычли этот тренд из сигнала, то у вас сразу пропал его спектр.

Чаще всего все что крутится около нуля Гц не представляет интереса, поскольку обычно - это какая-то либо паразаитная составляющая сигнала, либо какое-то постоянное отклонение. Я работал с пбезоэлектрическими акселероматрами, где до 2 Гц был постоянно этот завал, и это было связано именно с формированием сигнала в самом датчике. Помню, как была задача отловить пики на спектре в районе 0.5 Гц. Вот это была прям проблема.))

 

On 2/13/2024 at 5:43 PM, Jesse said:

тоже наслышан о методе скользящих средних, но не понял чем он лучше сглаживания низкочастотной фильтрацией

ничем! Можно показать, что сглаживание по скользящеим средним эквивалентно прохождению через определенный дискретнй фильтр.

[Jesse 961]

11 часов назад, Orchestra2603 сказал:

Просто из-за того, что на практике мы берем ПФ на каком -то конечном интервале, у нас не будет бесконечных пиков, будет какой-то конечное но, возможно, высокое значений в нуле, и оно будет быстро сползать, как только чуть-чуть отступить он нуля Гц.

да где-то игрался с конечным набором данных, получил большое "паразитное" значение амплитуды низких частот, ошибочно экстраполировал это на все конечные данные

 

11 часов назад, Orchestra2603 сказал:

У вас по сути сигнал есть сумма этого тренда и затухающих колебаний вокруг него.  Преобразование Фурье же линейное, поэтому у вас на картинке по сути сумма двух спектров - от тренда и от колебаний вокруг тренда. Если тренд близок к полиному какому-то, то у него на спектре (если как по аналитиен вообще) должен быть, вообще говоря, бесконечно высокий пик на нулевой частоте

вроде 100 раз читал про свойства Фурье, там тут попадается... Но на практике когда делаешь и из головы вылетает теория)))

 

11 часов назад, Orchestra2603 сказал:

Я работал с пбезоэлектрическими акселероматрами, где до 2 Гц был постоянно этот завал, и это было связано именно с формированием сигнала в самом датчике. Помню, как была задача отловить пики на спектре в районе 0.5 Гц. Вот это была прям проблема.))

ну и как сделали?)

 

11 часов назад, Orchestra2603 сказал:

ничем! Можно показать, что сглаживание по скользящеим средним эквивалентно прохождению через определенный дискретнй фильтр.

ну пока что фильтрация в частотной области мне не особо нравится чё та..

 на простом тестовом примере набора данных с функции sqrt(x) с гауссовым шумом амплитуды 1 и шагом 1 видно, что при уменьшении окна фильтрует лучше, но отфильтрованный график сильно не совпадает с исходным. Видимо, в отфильтрованных частотах по любасу содержится энергия тренда.
Т.е. опять тренд влияет...
А с простым скользящим среднем всё как-то поприятней..)

[Orchestra2603 226]

16 minutes ago, Jesse said:

ну и как сделали?)

в целом - никак :) пришлось менять все оборудование.  Там была проблема в правильном обепечении питания. Поставили датчики другого типа с отдельным предусилителем. В итоге очень капризная получилась система и сложнее намного. Но зато резултаты были намного лучше, и шума меньше.

21 minutes ago, Jesse said:

видно, что при уменьшении окна фильтрует лучше, но отфильтрованный график сильно не совпадает с исходным.

Да, конечно будет длина окна будет иметь значение. Это и от фильтра еще зависит. Вы же по сути сворачиваете сигнал с импульсой характеристикой фильтра. Если она у него длинная, а интервал короткий, конечно он косячить будет. 

 

[Jesse 961]

20.02.2024 в 17:35, Orchestra2603 сказал:

Да, конечно будет длина окна будет иметь значение. Это и от фильтра еще зависит. Вы же по сути сворачиваете сигнал с импульсой характеристикой фильтра. Если она у него длинная, а интервал короткий, конечно он косячить будет. 

пробовал через дискретное вейвлет преобр-е отфильтровать - получше чем с Фурье,  но всё равно искажения наблюдаются...


Те что во временной области обычной свёрткой фильтруют пока что много лучше. Вот слева фильтр Винера, справа - Гауссовый

Ну это всё на тестовых данных.
Поглядим как на экспериментальных будет

[Jesse 961]

обнаружил интересную штуку: если взять дискретный фурье-спектр от комплексной экспоненты,

то спаренные частоты исчезают - остаётся только одна единственная. А если от обычного синуса или косинуса взять спектр, то там всегда два симметричных пика.

Глупый, наверно, вопрос: так и должно быть..?)

[Orchestra2603 226]

On 3/21/2024 at 8:35 PM, Jesse said:

Глупый, наверно, вопрос: так и должно быть..?)

тут надо сразу о двух разных вещах сказать...

 

Нужно всегда помнить, что, вообще говоря, спектры имеют значения и на отрицательный частотах.  Когда у нас вещественный сигнал, то у нас вещественная часть спектра (по сути, косунус-преобразование Фурье) - это четная функция частоты, а мнинмая (синус-преобразование Фурье) - нечетная функция частоты. У косинуса с частотой w0 и амплитудой A синус-преобразование дает ноль, поэтому мнимой части нет, а вещественная часть (в силу четности) дает две палки:  с множителем A/2 на w0 и c A/2 на -w0. У cинуса с частотой w0, наоборот, в ноль обращается вещественная часть (косинус преобразование от синуса доает ноль), а мнимая часть будет нечетной, т.е. будет две другие палки: положительная c A/2 на -w0, и отрицательная c -A/2 на w0. Можно почитать здесь, как это получается (https://ru.dsplib.org/content/fourier_transform_prop/fourier_transform_prop.html начиная с формулы 23). Теперь если взять комлексную экспонету exp(i*w0*t) и подставить по формуле Эйлера синусы, косинсы, засунуть все это в преобразование Фурье, учесть все то, что только выше обсудили про синус- и косинус-преобразование, а также учесть, что с умножением на i мнимая и вещественная часть меняются местами, и меняются знаки (попробуйте сами на бумажке, если интересно), короче в итоге остается только одна положительная дискрета на вещественной части на w0 c множителем A.

 

Но... у нас тут речь не об отрицательных частотах! Второй пик появляется в районе 120 Гц, когда сам сигнал имеет 10 Гц. И тут, как мне кажется, уже мы, воможно, можем иметь дело с артефактами дискретизации сигнала. Когда мы делаем БПФ, то мы имеем дело с дискретизированным сигналом. Оказывается, что в таком случае спектр дискретизированного сигнала сам тоже периодичен по частоте, т.е. он сам себя повторяет в частотной области с шагом по частоте, равным частоте дискретизации (см., например,  https://jstonline.narod.ru/rsw/rsw_f0/rsw_f0a0/rsw_f0a0c.htm)

Если у нас сейчас частота дискретизации 127 Гц, то доверять информации на спектре можно только до половины этого значения, т.е. 63.5 Гц. Есть на этот счет теорема Котельникова-Найквиста. Выше этой частоты начинают проявляться артефакты и искажения, связанные с дискретизацией сигнала.

Так что, я полагаю, что у вас как раз просто проявляется артефакт дискретизации, и вы видите повторный второй экземпляр истинного спектра сигнала, сдвинутый на частоту дискретизации.

 

Непонятно только, почему пик не на 127, а 120. Это я не могу объяснить. 

Чтобы проверить эту гипотезу, можно с шагом дискретизации поиграть и посмотреть, как меняются спектры.

 

Те же самые артефакты по идеи должны появляться как для вещественных, так и комплексных сигналов. Так что я пока не могу понять, почему там какая-то разница наблюдается.

Изменено 23 марта пользователем Orchestra2603

[Jesse 961]

23.03.2024 в 13:42, Orchestra2603 сказал:

Теперь если взять комлексную экспонету exp(i*w0*t) и подставить по формуле Эйлера синусы, косинсы, засунуть все это в преобразование Фурье

ну вот что меня смущает - в определение преобразования подставляется вещественная функция..

Цитата

Преобразование Фурье́ (символ ℱ) — операция, сопоставляющая одной функции вещественной переменной другую (вообще говоря, комплекснозначную) функцию вещественной переменной.

Разве мы имеем право работать с комплексной функцией в этом случае:? Так то понятно, что надо Re и Im взять от подставляемой функции и суммировать, но тем не менее..

К слову, нашёл в сети такую штуку как аналитический сигнал, который объясняет многое..))

Цитата

Аналитический сигнал (аналитическое представление сигнала) — используемое в теории обработки сигналов математическое представление аналогового сигнала в виде комплекснозначной аналитической функции времени. Обычный, действительный сигнал x является при этом действительной частью аналитического представления xa.

Идея преобразования — оставить лишь неотрицательные частоты в спектре сигнала, достаточные для его восстановления в силу эрмитовой симметрии:

 

23.03.2024 в 13:42, Orchestra2603 сказал:

Так что, я полагаю, что у вас как раз просто проявляется артефакт дискретизации, и вы видите повторный второй экземпляр истинного спектра сигнала, сдвинутый на частоту дискретизации.

 

Непонятно только, почему пик не на 127, а 120. Это я не могу объяснить. 

Чтобы проверить эту гипотезу, можно с шагом дискретизации поиграть и посмотреть, как меняются спектры.

ну у меня ж сигнал 10 Гц, частота дискретизации 127 Гц, в 6 раз больше чем надо.. Разве этого недостаточно?)
Ну вот я сделал с част. дискр. 1023 Гц, спектр комплексного сигнала примерно в этом месте показывает единственный пик

 

Ну в общем да: пока основная проблема и непонятка - собственно почему спектр от комплексного сигнала показывает пик не в том месте где надо..)) Тут явно не в алиазинге дело..