Jump to content

Хитрые математические и физические задачки.


Jesse

Recommended Posts

Orchestra2603
On 12/25/2023 at 5:15 PM, Jesse said:

хорошая демонстрация того, что модели линейной регрессии во многих ситуациях оченб плохо работают...:yes3:

Как раз вот сидел несколько дней и подбирал модель под данные наблюдений в маткаде (там идет минимизация среднего квадрата невязки методом Levenberg–Marquardt). Так вот ,я даже хз, какой там коэффициент детерминации получался, но пока я не увидел, что ошибка регрессии распределена почти по нормальному закону ,я не успокоился. Ну, т.е. хотя бы у ошибки должно быть нулевое матожидание, как минимум. Тут такое выполняется только для первого случая более-менее.

 

Ну и сам график аппроксимирующей функции естественно как-то качественно должен повторять данные более-менее.

Link to post
Share on other sites


Jesse
16 часов назад, Orchestra2603 сказал:

пока я не увидел, что ошибка регрессии распределена почти по нормальному закону

блин, интересно.. А можно по подробней? Где такое желательное или обязательное требование есть?
Сам вот аппроксимацией данных сейчас занимаюсь... 

Link to post
Share on other sites
Jesse

@Orchestra2603это про теорему Гаусса-Маркова?
Тут такое дело... сейчас я занимаюсь построением дисперсионного соотношения для капиллярных волн в жидком металле и воде на основе экспериментальных данных. То есть подбирать модель не надо, модель известная, и мне надо в неё попасть.
Когда делаю аппроксимацию, в одном случае регрессия и измеренные длины волн (получены как асбцисса максимального значения спектра) получаются такие, 
Me-Me.jpg
а во втором опыте такие.

wa-wa.jpg

Вот второй случай меня и напрягает... ошибка в коэффициенте аппроксимации дисперсионного соотношения (там ещё надо было частоту замерить и построить для неё нелинейную регрессию) в обоих случаях у меня получилась ~3%, хотя видно что во втором случае большой разброс весьма, особенно на больших временах.

з.ы.: чёрная линия - это аппроксимация, красные точки - значения длин волн, полученные на основе фотографий с опыта
 

Edited by Jesse
Link to post
Share on other sites
Orchestra2603
2 hours ago, Jesse said:

блин, интересно.. А можно по подробней? Где такое желательное или обязательное требование есть?
Сам вот аппроксимацией данных сейчас занимаюсь... 

Если честно, не знаю, как там правльно пишут, какие требования кто-то где-то определяет. Я как бы так чисто по наитию что ли действую. Ну, как бы, я так рассуждаю... Если Y = f(X) + epsilon, то f не должно как-то зависеть и иметь что-то общее с epsilon. Кроме того, случайная ошибка не должна в какую-то сторону "склоняться", отсюда как бы следует нулевое матожидание у ошибок. Из независимости эпсилон от аппроксимации следуют, например, близкие к нулю коээфициенты корреляции.

 

Ну, и можно так считать, что если ошибка чисто случайная из-за случайного взаимодействия кучи всяких неподконтрольных факторов, и если предполагать, что эти факторы аддитивны (их суммарное действие равно сумме каждого отдельного действия), то в силу центральной предельной теоремы ошибка должна быть распределна по закону, близкому к нормальному. Кстати говоря, вроде бы доказывается строго, что для линейной регрессии метод наименьших квадратов дает "наилучшую" аппроксимацию в преположении нормального распределения для эпсилон.

52 minutes ago, Jesse said:

оо.. круто)) Сам того не зная, много во что попал)

Edited by Orchestra2603
  • Нравится 1
Link to post
Share on other sites
Orchestra2603
1 hour ago, Jesse said:

Вот второй случай меня и напрягает... ошибка в коэффициенте аппроксимации дисперсионного соотношения (там ещё надо было частоту замерить и построить для неё нелинейную регрессию) в обоих случаях у меня получилась ~3%, хотя видно что во втором случае большой разброс весьма, особенно на больших временах.

з.ы.: чёрная линия - это аппроксимация, красные точки - значения длин волн, полученные на основе фотографий с опыта
 

Интересная штука) Ну, на втором графике прям хочется логарифм какой-то туда воткнуть. Пробовали на логарифмической шкале смотреть для y? Как будто бы при более высоких t кажется, что растет эта штука медленнее, чем линейно. 

Я в теме не разюираюсь, соррян, если глупости говорю)) а какая там роль времени в дисперсионном соотношении? там вроде не частота от волнового числа же зависит или что-то такое? как там время фигурирует?

Link to post
Share on other sites
Jesse
43 минуты назад, Orchestra2603 сказал:

Из независимости эпсилон от аппроксимации следуют, например, близкие к нулю коээфициенты корреляции.

коэффициенты корреляции от чего?

 

27 минут назад, Orchestra2603 сказал:

Интересная штука) Ну, на втором графике прям хочется логарифм какой-то туда воткнуть. Пробовали на логарифмической шкале смотреть для y?

не, график то линейный. На Log графике линейность не будет видна) да и значения у меня не сильно меняются что логарифм использовать..

 

27 минут назад, Orchestra2603 сказал:

Как будто бы при более высоких t кажется, что растет эта штука медленнее, чем линейно. 

ну я про то и говорю: во втором случае у меня получается дисперсия (разброс данных относительно аппроксимации) растёт со временем, и да и среднее не очень то и равно нулю будет..
А в первом более менее норм, одинакова..
 

 

27 минут назад, Orchestra2603 сказал:

а какая там роль времени в дисперсионном соотношении? там вроде не частота от волнового числа же зависит или что-то такое? как там время фигурирует?

ну типа когда дисперсия есть, то волновой пакет расплывается. Это означает что частота и волновой вектор изменяется неодинаково по времени. После того как построил аппроксимацию для частоты и длины волны, то время исключается как бы (приравниваются правые части)
Я в основном ориентируюсь на эту статейку, можно сказать то же самое делаю..)
crown_wave_ru.pdf

Edited by Jesse
Link to post
Share on other sites
Orchestra2603
34 minutes ago, Jesse said:

коэффициенты корреляции от чего?

Ошибки от t. Или ошибки от лямбда. 

 

34 minutes ago, Jesse said:

не, график то линейный. На Log графике линейность не будет видна) да и значения у меня не сильно меняются что логарифм использовать..

ну, если исходить из того, что график точно линейный, то тогда нам ничег и не остается. аименьший квадрат ошибки дает МНК для линейнй регрессии. Что есть, то есть.  Просто если есть какая-то показательная или степенная завимость на лог шкале как раз это хорошо видно.

 

34 minutes ago, Jesse said:

ну я про то и говорю: во втором случае у меня получается дисперсия (разброс данных относительно аппроксимации) растёт со временем, и да и среднее не очень то и равно нулю будет..

Вот это вот не очень хорошо. Может, есть какие-то неаддитивные ошибки? 

 

34 minutes ago, Jesse said:

ну типа когда дисперсия есть, то волновой пакет расплывается. Это означает что частота и волновой вектор изменяется неодинаково по времени. После того как построил аппроксимацию для частоты и длины волны, то время исключается как бы (приравниваются правые части)
Я в основном ориентируюсь на эту статейку, можно сказать то же самое делаю..)

интересно, но сейчас совсем нет времени разбираться))

Edited by Orchestra2603
Link to post
Share on other sites
Jesse
29 минут назад, Orchestra2603 сказал:

Может, есть какие-то неаддитивные ошибки? 

там в основном погрешность измерения. Но в данном случае сами фотки плохого качества были, по сравнению с первым случаем..

 

30 минут назад, Orchestra2603 сказал:
1 час назад, Jesse сказал:

ну я про то и говорю: во втором случае у меня получается дисперсия (разброс данных относительно аппроксимации) растёт со временем, и да и среднее не очень то и равно нулю будет..

Вот это вот не очень хорошо.

ну а каков следующий шаг? я пока что сделал просто : построил дисперсионное соотношение, показал что коэффициент (множитель) в степенной зависимости отличается от теоретического на 3%. Типа всё хорошо. Но мне кажется это лишь необходимое условие, и надо добавить раздел типа "статистический анализ обработанных данных", и показать что среднее~0, дисперсия~const и т.д. Тогда будет збс. Как думаете?:biggrin:

Link to post
Share on other sites
Orchestra2603
3 hours ago, Jesse said:

там в основном погрешность измерения. Но в данном случае сами фотки плохого качества были, по сравнению с первым случаем..

 

ну а каков следующий шаг? я пока что сделал просто : построил дисперсионное соотношение, показал что коэффициент (множитель) в степенной зависимости отличается от теоретического на 3%. Типа всё хорошо. Но мне кажется это лишь необходимое условие, и надо добавить раздел типа "статистический анализ обработанных данных", и показать что среднее~0, дисперсия~const и т.д. Тогда будет збс. Как думаете?:biggrin:

ну... если уже есть рабочее соотношение из какой-то теории, и задача просто его валидировать по результатам эксперимента, то, навреное, и так норм. Если коэффициент детерминации выше 0.8, то я бы и остановился на этом. Если бы стояла задча выявить какую-то новую зависимость, то тогда другое дело.

Link to post
Share on other sites
Jesse

@Orchestra2603 , а на что существенно может влиять наличие тренда в данных?
К примеру у меня такой график освещенности по длине с эксперимента (красная линия), аппроксимировал квадратичным полиномом (чёрная линия). Вычитанием второго из первого получил синюю линию. 

исх граф и аппроксимация.jpg

Что приятно - синий график получается практически идеально центрированным (среднее ~ 0)

 

В плане существенной для меня информации - спектральных характеристик - разницы не увидел: нужные пики (синяя стрелка) находятся в нужных частотных точках, да и коэффициенты похожи..
сравнение спектро с трендом и без.jpg

 

коэффы.jpg

Однако для исходных данных где был тренд имеется "ложный" большой пик (красная стрелка), которому соответствует коэфф=824.479 , что примерно на 2-3 порядка больше других коэффициентов. Я сначала подумал, что это влияние ограниченности данных.. ну то что мы спектр строим по конечному набору данных.. А оказалось это тренд так влияет!
Вот я и задумался: а на что вообще может ещё существенно повлиять тренд?

И ещё вопрос: для удаления тренда я делал квадратичную регрессию. А есть какие-нибудь предпочтения в этом плане? Может взять нелинейную регрессию, с Exp или Log функцией?

Link to post
Share on other sites
Jesse
11 минут назад, Fedor сказал:

Когда -то для сглаживания был популярен метод скользящего полинома...    https://habr.com/ru/articles/134375/    

тоже наслышан о методе скользящих средних, но не понял чем он лучше сглаживания низкочастотной фильтрацией фурье или вейвлетами...

Link to post
Share on other sites
Orchestra2603
On 2/13/2024 at 4:37 PM, Jesse said:

Вот я и задумался: а на что вообще может ещё существенно повлиять тренд?

У вас по сути сигнал есть сумма этого тренда и затухающих колебаний вокруг него.  Преобразование Фурье же линейное, поэтому у вас на картинке по сути сумма двух спектров - от тренда и от колебаний вокруг тренда. Если тренд близок к полиному какому-то, то у него на спектре (если как по аналитиен вообще) должен быть, вообще говоря, бесконечно высокий пик на нулевой частоте.  Вот из Википедии:

image.png

Просто из-за того, что на практике мы берем ПФ на каком -то конечном интервале, у нас не будет бесконечных пиков, будет какой-то конечное но, возможно, высокое значений в нуле, и оно будет быстро сползать, как только чуть-чуть отступить он нуля Гц.

Когда вы вычли этот тренд из сигнала, то у вас сразу пропал его спектр.

Чаще всего все что крутится около нуля Гц не представляет интереса, поскольку обычно - это какая-то либо паразаитная составляющая сигнала, либо какое-то постоянное отклонение. Я работал с пбезоэлектрическими акселероматрами, где до 2 Гц был постоянно этот завал, и это было связано именно с формированием сигнала в самом датчике. Помню, как была задача отловить пики на спектре в районе 0.5 Гц. Вот это была прям проблема.))

 

On 2/13/2024 at 5:43 PM, Jesse said:

тоже наслышан о методе скользящих средних, но не понял чем он лучше сглаживания низкочастотной фильтрацией

ничем! Можно показать, что сглаживание по скользящеим средним эквивалентно прохождению через определенный дискретнй фильтр.

  • Нравится 1
Link to post
Share on other sites
11 часов назад, Orchestra2603 сказал:

Просто из-за того, что на практике мы берем ПФ на каком -то конечном интервале, у нас не будет бесконечных пиков, будет какой-то конечное но, возможно, высокое значений в нуле, и оно будет быстро сползать, как только чуть-чуть отступить он нуля Гц.

да где-то игрался с конечным набором данных, получил большое "паразитное" значение амплитуды низких частот, ошибочно экстраполировал это на все конечные данные:biggrin:

 

11 часов назад, Orchestra2603 сказал:

У вас по сути сигнал есть сумма этого тренда и затухающих колебаний вокруг него.  Преобразование Фурье же линейное, поэтому у вас на картинке по сути сумма двух спектров - от тренда и от колебаний вокруг тренда. Если тренд близок к полиному какому-то, то у него на спектре (если как по аналитиен вообще) должен быть, вообще говоря, бесконечно высокий пик на нулевой частоте

вроде 100 раз читал про свойства Фурье, там тут попадается... Но на практике когда делаешь и из головы вылетает теория)))

 

11 часов назад, Orchestra2603 сказал:

Я работал с пбезоэлектрическими акселероматрами, где до 2 Гц был постоянно этот завал, и это было связано именно с формированием сигнала в самом датчике. Помню, как была задача отловить пики на спектре в районе 0.5 Гц. Вот это была прям проблема.))

ну и как сделали?)

 

11 часов назад, Orchestra2603 сказал:

ничем! Можно показать, что сглаживание по скользящеим средним эквивалентно прохождению через определенный дискретнй фильтр.

ну пока что фильтрация в частотной области мне не особо нравится чё та..

bandpass.gif
 на простом тестовом примере набора данных с функции sqrt(x) с гауссовым шумом амплитуды 1 и шагом 1 видно, что при уменьшении окна фильтрует лучше, но отфильтрованный график сильно не совпадает с исходным. Видимо, в отфильтрованных частотах по любасу содержится энергия тренда.
Т.е. опять тренд влияет...
А с простым скользящим среднем всё как-то поприятней..)
moving average.jpg

Link to post
Share on other sites
Orchestra2603
16 minutes ago, Jesse said:

ну и как сделали?)

в целом - никак :) пришлось менять все оборудование.  Там была проблема в правильном обепечении питания. Поставили датчики другого типа с отдельным предусилителем. В итоге очень капризная получилась система и сложнее намного. Но зато резултаты были намного лучше, и шума меньше.

21 minutes ago, Jesse said:

видно, что при уменьшении окна фильтрует лучше, но отфильтрованный график сильно не совпадает с исходным.

Да, конечно будет длина окна будет иметь значение. Это и от фильтра еще зависит. Вы же по сути сворачиваете сигнал с импульсой характеристикой фильтра. Если она у него длинная, а интервал короткий, конечно он косячить будет. 

 

Link to post
Share on other sites
Jesse
20.02.2024 в 17:35, Orchestra2603 сказал:

Да, конечно будет длина окна будет иметь значение. Это и от фильтра еще зависит. Вы же по сути сворачиваете сигнал с импульсой характеристикой фильтра. Если она у него длинная, а интервал короткий, конечно он косячить будет. 

пробовал через дискретное вейвлет преобр-е отфильтровать - получше чем с Фурье,  но всё равно искажения наблюдаются...
dwdfil.jpg

Те что во временной области обычной свёрткой фильтруют пока что много лучше. Вот слева фильтр Винера, справа - Гауссовый
wienerfil.jpggaussfilt.jpg

Ну это всё на тестовых данных.
Поглядим как на экспериментальных будет

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.




  • Сообщения

    • maxx2000
      Товар уже в России на складе, тупое ты животное. Сколько стоит пересылка по России?
    • tangous
      Мне это снится наверно... Наверно и правда дурак раз с тобой все еще общаюсь. Эх. А сдек, пэк и другие страшные слова это не пересылка в России? нУда-нУда ты етих комманд не юзал. Поюзай, низехонько так, поюзай.
    • maxx2000
      @tangous не, ты вправду дурак. Всё что там продаётся это продаётся с доставкой со склада в России, т.е. по той цене которая указана на сайте. Максимум что ты   доплатишь это за пересылку сдеком или деловыми линиями по России. 
    • tangous
      Я тупой, - мне можно.! Ты тупой- тебе низя! Вот ты о чем счас? А в России тебе его бесплатно доставят. Еше и палочки барабанные вручат. Ну и барабан на шею! Ты-дымммм. Да часто цена в России дороже чем в чине.  
    • maxx2000
      @tangous ппц ты тупой. Это цена в России, Под заказ там отдельная категория у него. Я тебе уже давно сказал сходи на ЦНЦ Клаб  там твою поделку оценят, заодно почитаешь про владельца того сайта кто он, откуда и как работает.
    • Viktor2004
      те китайцы с которыми взаимодействуем мы, часто пользуются HIGH SKIP При чем грибок и OMP они заводят на разные SKIP-ы. Там ведь их на разъеме 8 А в тело программы грибка вбивают G10 L52 N6202 R00000001 G11 это для того что бы смотреть толлько первый вход HSKIP А в тело программы OMP вбивают G10 L52 N6202 R00000010 G11 потому что OMP посажен на HSKIP2 Ну и естественно параметр 6202 всегда остается в том состоянии в котором его оставила программа которая мерила последней. Естественно если мы захотим проверить как грибок останавливается по G31, а перед этим мерили щупом, у нас ничего не получится. Надо сначала параметр 6202 поменять
    • gudstartup
      так домашнее в 0 а 0 под шпинделем вот в чем проблема А книги нет завтра может гляну
    • tangous
      Ну пора уже отучаться пер-дергивать. Это только конструктор. Это без пересылки. Это без осей и основы. Это без драйвера. Ну ладно, меня уесть хочешь. Что ж ты ВААЩЩЕ всех тут за тупых держишь? Блин, извини, не понял сразу. Это ты друга в китае рекламируешь?   А-та-та! РАС!   Снизил... папочка.  
    • maxx2000
    • ivanK
      А в книге на станок не описана процедура выставления? У нас просто на станке есть спец режим чтобы рука из любого положения в домашнее вернулась
×
×
  • Create New...