girniy.ru 1 2 ... 4 5

АДАПТИВНОЕ ПАРАМЕТРИЧЕСКОЕ ОЦЕНИВАНИЕ КВАДРАТНО-КОРНЕВЫМИ ИНФОРМАЦИОННЫМИ АЛГОРИТМАМИ

Содержание

Введение

1. Общие выкладки из теории

1.1. Общая постановка проблемы идентификации

1.2. Оценки максимального правдоподобия

1.3. Методы минимизации функций многих переменных

1.4. Метод квадратно-корневого информационного фильтра(ККИФ)

2. Оценивание параметров по методу максимального правдоподобия с использова-нием квадратно-корневых информационных фильтров

2.1. Постановка задачи

2.2. Функция правдоподобия и ее представление в терминах ККИФ

2.3. Градиент функции максимального правдоподобия

2.4. Значения производных переменных ККИФ

2.5. Описание алгоритма

3. Эксперименты и выводы

Заключение

Список используемой литературы

 

Задача идентификации формул и ру е тся следующим образом: по результатам наблюде н ий н ад вход н ыми и выходными переменным и системы должна быть построена оптимальная в некотором смысле модель, т. е. формал и зован н ое пр е дставление этой с и стемы

В зав и с и мост и от апр и орной информац и и об объекте управления различают задач и идентификац ии в узком и ш и роком смысле. Задача идент и фикаци и в у з ком смысле состоит в оцен и ван ии параметров и состоя н ия системы по результатам н аблюден и й над вход н ыми и выходными п е ременными, получен н ыми в условиях функционирования объ е кта. Пр и этом и звестна структура системы и задан класс мод е лей, к которому данный объ е кт относ и тся. Априорная информация об объект е достаточно велика


Апр и орная ин формация об объекте п р и идент и фикации в ш и роком смысл е отсутствует или оче н ь бедная, п оэтому пр и ходится предварительно р е шать большое ч и сло до п олн и тельных задач, такие как выбор структуры системы и задание класса модел е й, оце н ивание линейности объекта и действующих п ерем ен ных, оценивани е степени и формы влия н ия вход н ых переменных на выход н ые и др

Целью данной дипломной работы является исследование нового метода параметрической идентификации основанного на синтезе метода максимального правдоподобия и метода квадратно-корневого информационного фильтра, а также сравнение методов минимизации, использованных для минимизации выбранного функционала, с точки зрения сходимости, вычислительной точности, сложности, а также реализация данного метода на ЭВМ

 

Задача оценивания может быть сформулирована как задача нахождения наибольшего (наименьшего) значения некоторого функционала. Но т.к. значения параметров непосредственному наблюдению не доступны, то критерием выбора оптимума должен быть функционал от выходных значений . Примером такого функционала может служить либо функция правдоподобия, либо ее логарифм. Т.е. если - это выход объекта, -соответствующий выход модели и, также когда, невязки ошибок предсказания являются независимыми и имеют гауссовское совместное распределение с нулевым средним и матрицами ковариаций , тогда выражение для обратного логарифма функции максимального правдоподобия имеет следующий вид:

(1)

Тогда критерием выбора оптимума выберем выражение (2), которая является функцией многих переменных и для ее минимизации будем использовать наиболее известные и часто применяемые методы минимизации функций многих переменных: градиентный метод, метод Ньютона, метод сопряженных направлений.


Оценкой максимального правдоподобия является такое значение оцениваемых параметров , которое максимизирует вероятность события, при котором наблюдения, сгенерированные с подстановкой оцениваемых параметров, совпадают с действительными значениями наблюдений . Эта процедура эквивалентна минимизации обратного логарифма функции плотности условной вероятности невязок, представленный в формуле (2)

Вычисление оценки максимального правдоподобия может быть итеративно выполнено при помощи характеристического уравнения, которое включает в себя градиент обратного логарифма функции правдоподобия и информационную матрицу Фишера, если используется метод Ньютона для минимизации функционала. Вычисления функции правдоподобия и информационной матрицы Фишера требуют применения фильтра Калмана (а также его производных для каждого параметра оценивания), который, как известно, не обладает достаточной устойчивостью. Поэтому для вычисления оценки максимального правдоподобия итеративным образом использовался ККИФ, т.к. данный метод позволяет избежать численной неустойчивости, являющейся результатом вычислительных погрешностей, поскольку вместо матриц ковариаций ошибки оценок на этапах экстраполяции и обработки измерений, по своей природе положительно определенных, ККИФ оперирует с их квадратными корнями. А это значит, что вычисления квадратного корня равносильно счету с двойной точностью для ковариации ошибок и, кроме того, устраняется опасность утраты матрицей ковариаций свойства положительно определенности. Недостатком данного метода является присутствие операций извлечения квадратного корня

Для эффективного вычисления оценки максимального правдоподобия при использовании ККИФ, величины, входящие в выражение для (2) и его градиента, непосредственно выражаются либо через выходные значения КИИФ, либо легко находятся путем решения треугольных систем


 

Факт сходимости алгоритма максимального правдоподобия к оптимальным значениям параметров теоретически является недоказанным, поэтому в качестве основного метода исследования будем считать вычислительные эксперименты

Стоит заметить, что метод является достаточно сложным в вычислительном отношении, поскольку метод максимального правдоподобия с использованием ККИФ требует больших объемов вычислений: для перемножения, обращения, ортогональных преобразований матриц и поэтому для проведения экспериментов данный метод был реализован на ЭВМ

Модель, используемая в экспериментах, представленных на графиках, имеет следующий вид:……

В данной дипломной работе проведены эксперименты на сходимость метода максимального правдоподобия, используя различные алгоритмы минимизации. При этом варьировалось количество и расположение оцениваемых параметров в матрице перехода из состояния в состояние , которая, в данной случае, является устойчивой, а модель – наблюдаемой (на рисунках 1-3 представлены изменения оцениваемых параметров, используя при минимизации функционала градиентный метод; на рисунках 4-6 – изменение компонент градиента обратного логарифма функции правдоподобия; на рисунке 7 – нормализованная ошибка оценки параметров; на рисунках 6-21 – соответствующие графики для других методов минимизации). Также проведены эксперименты на выявление зависимости количества времени для одной итерации от количества измерений (рисунок 26), количества времени для одной итерации от размерности вектора оцениваемых параметров (рисунок 27), точности оценивания от количества наблюдений (рисунок 28), на выявления влияния соотношения сигнал/шум на точность оценивания (рисунок 29). На рисунках 22-25 представлена зависимость обратного логарифма функции максимального правдоподобия от параметров

 

После проведения серии вычислительных экспериментов были получены следующие результаты:


  • Как видно из графиков для обратного логарифма функции максимального правдоподобия по параметрам, минимум функции является не единственным, и как следствие этого возникают ситуации, когда методы минимизации сходятся не к истинному значению оцениваемых параметров. Так же стоит заметить, что график функционала, при больших отклонениях от истинных значениях параметров, идет практически параллельно горизонтальной оси координат. Из выше сказанного можно сделать вывод, что выбор начального приближения для параметров может оказать существенное влияние как на сходимость алгоритмов, так и на истинность полученных оценок.

  • На оценки параметров особенно сильное влияние оказывает наблюдаемость динамической системы объекта (наблюдаемость динамической системы является необходимым условием сходимости методов параметрической идентификации), а также соотношение сигнал/шум, причем с ростом соотношения точность оценок увеличивается.

  • Из исследованных алгоритмов наилучшей сходимостью обладает метод сопряженных направлений, а более точным является метод Ньютона, при этом он тоже обладает достаточно хорошей сходимостью. Поэтому предпочтительней использовать метод Ньютона, т.к. при использовании ККИФ матрица вторых производных функционала (в нашем случае это информационная матрица Фишера) вычисляется естественным путем из выходных данных.

  • Установлено, что в общем случае скорость сходимости с ростом размерности вектора параметров и количества наблюдений сильно падает, однако с увеличением количества входных данных растет точность оценок параметров. Но существует некоторый предел, при котором рост точности приостанавливается (при количестве наблюдений более 2500). Поэтому следует искать компромисс между скоростью и точностью.

 

 

Введение

С давних пор человеч е ство затрач и вает огромные усилия на установлен ие зако н омер н остей происходящих в пр и роде явл ен ий. П е рв и ч н ым в проц е сс е познания вс е гда являются результаты наблюдений. Они п ред с тавляют собо й отправ н ой пункт к модели, к абстрактному мышлению, а уже от модели осуществляется переход к практической деятельност и . Очевид н о, что эта схема позна н ия пр и ме н има н е зав и симо от того, и дет ли р е чь о е стестве нн ом или искусстве нн ом объекте. Созда н ие абстракт н ой модели обыч н о связано со “сжат и ем ” информации, содер ж ащейся в результатах н аблюде ний . Это объясняется тем, что каждый отдельный результат наблюден и й является случай н ым, поэтому построение адекватной модели реального объекта может быть осущ е ствле н о только на основе многократных наблюде н ий. Случайность каждого результата наблюде ни й объясняется, с од н ой сторо н ы, при н ципиальной невозможностью учесть все многообразие факторов, действующих на данный ко н крет н ый объект, каким бы простым он н и казался на первый в з гляд, и сложным и взаимосвязями этих факторов, а с другой стороны, несоверше н ством естестве нн ых ил и искусственных средств наблюден и я


Построе н ие модел и по результатам наблюдений представляет собой формализацию, необходимую для опр е делен и я основных приз н аков, связ е й, законом е р н остей, присущ и х объекту-ор и г и налу , и отсеива ни я второстепенных признаков. Во многих случаях модель, принятая при проектировании, существенно отличается от реального объекта, что значительно уменьшает или сводит на нет эффективность разработанной системы управления. В связи с этим возникло одно из новых и важных направлений в теории управления, связанное с построением модели на основании наблюдений, полученных в условиях функционирования объекта по его входным и выходным переменным. Это направление известно в настоящее время как идентификация систем

Задача идентификации формулируется следующим образом: по результатам наблюдений над входными и выходными переменными системы должна быть построена оптимальная в некотором смысле модель, т.е. формализованное представление этой системы

В зависимости от априорной информации об объекте управления различают задачи идентификации в узком и широком смысле. Задача идентификации в узком смысле состоит в оценивании параметров и состояния системы по результатам наблюдений над входными и выходными переменными, полученными в условиях функционирования объекта. При этом известна структура системы и задан класс моделей, к которому данный объект относится. Априорная информация об объекте достаточно велика

Априорная информация об объекте при идентификации в широком смысле отсутствует или очень бедная, поэтому приходится предварительно решать большое число дополнительных задач. К эт и м задачам относятся: выбор структуры системы и задание класса моделей, оценивание степени стационарност и и линейности объекта и действующих переменных, оценивание степени и формы влияния входных переменных на выходные, выбор и н форматив н ых перем енн ых и др. К н астоящ е му време н и накоплен большой о п ыт реш ен ия задач идентификации в узком смысле. М е тоды же реше ни я задач ид е нт и фикац ии в ш и роком смысле н ачали разрабатываться только в последн и е годы, и здесь результаты з н ач и тельно скромнее, что в первую оч е редь можно объясн и ть чр е звычайной трудностью задачи


Целью данной дипломной работы является исследование нового метода параметрической идентификации основанного на синтезе метода максимального правдоподобия и метода квадратно-корневого информационного фильтра (ККИФ), сравнение его с другими существующими алгоритмами с точки зрения вычислительной точности, быстродействия и сложности, а также реализация данного метода на ЭВМ

В первой главе данного дипломного проекта дана общая постановка задачи параметрической идентификации, а также общие сведения об оценке максимального правдоподобия и методах минимизации функций многих переменных. Также в этой главе рассмотрены ключевые моменты метода квадратно-корневого информационного фильтра, показаны его преимущества и недостатки перед стандартным фильтром Калмана

Во второй главе показано, как вычислить оценку максимального правдоподобия итеративным способом при помощи характеристического уравнения, которое включает в себя градиент обратного логарифма функции правдоподобия и информационной матрицы Фишера. В разделе 2.2 второй главы выведено выражение для функции правдоподобия, используя выходные значения естественным образом генерирующиеся ККИФ. В разделах 2.3 и 2.4 показан способ получения градиента обратного логарифма функции правдоподобия и формулы для информационной матрицы Фишера, а полный алгоритм для их подсчета представлен в разделе 2.5

В третьей главе изложены результаты экспериментов, направленных на выявления основных преимуществ и недостатков изложенного алгоритма в сравнении с другими методами параметрической идентификации

В заключении данного дипломного проекта будут подведены итоги проделанной работы

1. Общие выкладки из теории

 

1.1. Общая постановка проблемы идентификации

Основной задачей системного анализа является определение выходного сигнала системы по известному входному сигналу и характеристикам системы. Здесь обсуждается задача, которую иногда называют обратной задачей системного анализа, по заданным входному и выходному сигналам определить уравнения, описывающие поведение системы. Т.е. необходимо получить правило или такую связь,




которая позволяла бы приписать неизвестному параметру рассматриваемого объекта некоторое числовое значение (оценку) , причем эта оценка зависит от последовательности наблюдений , где - есть управление. Рассматриваемая ситуация изображена на рис.1

Часто подразумевается, что идентификация начинается из ”ничего” без всякой априорной информации об объекте. Но в большинстве технических задач такое предположение не реалистично; из структуры объекта и, по крайней мере, частичного понимания его функционирования можно извлечь определенную априорную информацию и, в частности, вид структуры модели. В этом случае остается только получить информацию о числовых значениях ряда параметров (коэффициентов дифференциальных уравнений, описывающих динамику объекта, и т. д.). В результате задача идентификации сводится к задаче оценивания параметров. Под оцениванием параметров понимается экспериментальное определение значений параметров, характеризующих динамику поведения объекта, в предположении, что структура модели объекта известна

При оценивании используют различные виды оценок, которые различаются объемом исходной информации об объекте. Например, при нахождении оценки по методу наименьших квадратов предполагается, что динамика объекта может быть аппроксимирована выбранной моделью. При получении ”марковских” оценок считается также известной ковариационная матрица шума. Для вычисления оценок максимального правдоподобия необходимо знание плотности вероятности измеряемого случайного процесса. Байесовские оценки, или оценки с минимальным риском, требуют знания априорных плотностей вероятности неизвестных параметров и величины штрафа за ошибки

В данной работе мы будем рассматривать частный случай показанной выше ситуации, т.е. рассмотрим параметрическое оценивание параметров динамической системы без управления, а неизвестные параметры будем оценивать методом максимального правдоподобия



следующая страница >>