А.В.Коганов.

Тезисы круглого стола по теме

“ПОНЯТИЕ ЭНТРОПИИ В СТРУКТУРЕ МОДЕЛЕЙ ВРЕМЕНИ”.

МГУ им. М. В. Ломоносова, межфакультетский семинар

"Изучение феномена времени", 19 октября 1999г.

1. Введение.

Энтропия — это производное понятие от понятия “состояние объекта” или “фазовое пространство объекта”. Она характеризует степень вариативности микросостояния объекта. Качественно, чем выше энтропия, тем в большем числе существенно различных микросостояний может находиться объект при данном макросостоянии. Исторически первым примером была энтропия нагретого физического тела, которая интерпретируется как неопределенность положений и импульсов молекул при данной температуре, играющей роль макросостояния.

При вычислении энтропии требуется математическая модель объекта и его фазового пространства. Математическая модель содержит атрибуты двух типов.

Атрибуты, инвариантные относительно всех допустимых преобразований модели, называются структурными. Они образуют структуру модели. К ним относятся уравнения, описывающие объект, пространство, из которого берут свои значения переменные, алгебра и топология на этом пространстве, система начальных, граничных условий и т. п.

Другие атрибуты математической модели могут изменять свои значения при разных преобразованиях. Это вариативные параметры. К ним относятся значения переменных, координатные системы, в которых записаны уравнения, изменяемые связи между частями модели, границы областей, где ищутся решения и т. п. Полная совокупность всех вариативных параметров называется фазовым состоянием модели (его общей записью), а набор конкретных значений этих параметров — фазовой точкой или микросостоянием. Совокупность всех возможных фазовых точек называется фазовым пространством модели. Обычно, на таком пространстве можно ввести естественную метрику или топологию.

Энтропия дает числовую меру неопределенности фазовой точки. Поэтому в любом определении энтропии присутствует математическое описание объекта и его состояния, а также дополнительные характеристики модели, позволяющие измерить неопределенность.

2. Типы математических моделей определения энтропии.

Можно выделить несколько типов определений числового значения энтропии. Для всех определений выполняется характеристическое свойство: энтропия композиции нескольких взаимно независимых моделей равна сумме их энтропий. Для всех определений, кроме одного (см. п.3), детерминированное поведение модели соответствует нулевой энтропии.

2.1. Конечное число N фазовых точек:

H=log N;

2.2. Конечное или счетное число фазовых точек с нормированными весами pi:

H=-SUM{pilog(pi) | i=1,...};

2.3. Фазовое пространство — конечномерное линейное. Задана функция распределения с плотностью f(x) (Больцман):

H=-INTGRL{f(x)log(f(x))dx};

Это определение допускает отрицательную энтропию. Нулевая энтропия не соответствует детерминированной ситуации с фиксированным микросостоянием. Детерминированный случай соответствует “минус бесконечности”. Такие свойства требуют особой осторожности при использовании этого определения. Например, минус-бесконечная энтропия может означать композицию независимых моделей, одна из которых случайная, а другая детерминированная. Все другие определения энтропии различают этот случай и чисто детерминированный. Максимум достигается на плотности нормального распределения вероятности.

2.4. Динамическая система с нормированной мерой P на фазовом пространстве и отображением g, определяющем динамику модели (смену фазовых точек), оставляющем меру инвариантной. Энтропия вычисляется по системе разбиений, получаемых последовательным преобразованием g одного начального разбиения D с наложением на предыдущие разбиения: Dn=D*gD*...*gnD, где произведение разбиений определено как их наложение (Колмогоров):

H=lim( (1/n)SUM{P(d)log(P(d))|d in Dn }|n=1,2,...);

2.5. Множество с мерой P, на котором задана монотонно возрастающая последовательность разбиений Dn, в совокупности порождающих сигма-алгебру меры F. Энтропия определяется как бесконечный кортеж энтропии по каждому разбиению. Сама последовательность разбиений входит в структуру модели.

H=(H(n)=-SUM{P(d)log(P(d))|d in Dn }|n=1,2,...);

С этой конструкцией связана многоуровневая энтропия (А. Хазэн), где меньшим n соответствует более высокий (абстрактный) уровень описания объекта исследования. При этом можно говорить об энтропии одного элемента d разбиения Dn, используя его более мелкие разбиения Dn+1/d. Расчет условной энтропии H/d ведется (Больцман) по условной мере P(d’)/P(d) на элементе d.

2.6. Термодинамическая энтропия, определяемая по интегральному показателю энергии E и температуры u в любой детерминированной термодинамической модели во времени t (Клаузиус):

dH/dt=dE/u;

Эта энтропия связана постоянной Больцмана K со статистико-физической энтропией большого ансамбля частиц с плотностью распределения f на фазовом пространстве:

H=K*(-INTGRL{f(x)log(f(x))dx});

2.7. Сложность символьной последовательности x=x1,x2,... относительно заданного универсального алгоритма A определена, как число символов K(n) в минимальной программе, порождающей эту последовательность. Для конечных последовательностей сложность всегда конечна. Для бесконечных последовательностей сложность растет, в общем случае неограниченно. Можно в качестве общей сложности рассматривать последовательность сложностей начальных отрезков бесконечной последовательности.

H=(K(1), K(2),... ).

Можно взять предел от средней сложности начального участка при стремлении длины к бесконечности (Колмогоров):

H=lim( (1/n)K(n) | n=1,2,...).

Этот предел не зависит от базового универсального алгоритма А. Для этого определения доказано (теорема Левина-Звонкина), что случайный процесс с вероятностью 1 генерирует последовательность, сложность которой равна энтропии процесса.

2.8. Статистическая энтропия, определяемая по эмпирической реализации x=x1,x2,…xn некоторого случайного процесса. Если pi — эмпирическая частота значения yi, то энтропия определяется по аналогии со случайной величиной:

H=-SUM{pilog(pi) | i=1,…n};

Эти определения стали традиционными к 90-м годам, однако продолжается поиск новых способов определять энтропию, с целью расширить область применимости этого понятия. С понятием энтропии тесно связаны меры информации и сложности.

3. Свойства энтропии динамических систем.

Энтропия динамической системы, описанная в (2.4.), обладает свойством монотонного роста по параметру n, интерпретируемому в теории динамических систем как время. Это связано с ускоряющимся по n ростом частной энтропии

H(n)=-SUM{P(d)log(P(d))|d in Dn }

Интерпретацией этой частной энтропии является среднее количество информации о положении точки в фазовом пространстве, которое можно получить за n шагов, наблюдая за теми элементами разбиения D, которые будут накрывать эту точку на каждом шаге. Тогда предельное усредненное значение H интерпретируется как средняя скорость производства информации этой динамической системой.

Физическим обоснованием этого подхода является тот факт, что каждое измерение своим результатом выделяет некоторую область фазового пространства. Это те состояния, которые дают именно такой результат данного измерения. Области, соответствующие разным результатам измерения, в детерминированном случае не пересекаются. Поэтому процесс измерения порождает разбиение фазового пространства на домены, в каждом из которых он дает определенный результат.

Сама модель динамической системы при этом является введением системы скрытых параметров в случайный процесс, превращающей его в процесс детерминированный. Заметим, что если не известна конкретная траектория точки по элементам разбиения, то информация превращается в энтропию путем усреднения возможной информации по всем возможным вариантам. Усреднение ведется по вероятностной мере, характеризующей случайность начального состояния. Этот элемент случайности из модели не исчезает. Потому динамическая система является моделью случайного процесса, несмотря на детерминированный оператор динамики. Инвариантность меры относительно этого оператора означает стационарность соответствующего случайного процесса.

Энтропия является инвариантом преобразований процесса путем перекодировки значений, не склеивающей разные значения. Доказано, что если n-марковские процессы имеют одинаковую энтропию, то их динамические системы изоморфны, и их можно перекодировать один в другой кодом с памятью при сохранении статистических (вероятностных) характеристик.

В статистической физике эта энтропия гипотетически соответствует термодинамической, если фазовым пространством системы считать набор координат и импульсов всех частиц ансамбля, а в качестве оператора взять уравнения движения (Больцман). Строго это удалось доказать только для операторов движения типа случайного блуждания. В детерминированных механиках возникающие уравнения слишком сложны для современных средств анализа. Задача заключается в том, чтобы показать, что при случайном выборе начального состояния большого ансамбля механических частиц (например, с упругим взаимодействием) с вероятностью 1 сложность фазовой траектории равна термодинамической энтропии ансамбля.

Литература по разделу 3.

3.1. Клаузиус Р. Механическая теория тепла. (В сб. Второе начало термодинамики. М. Л.: ГТТИ.1934)

    1. Синай Я. Г. Динамические системы с упругими отражениями. Эргодические свойства рассеивающих бильярдов. // УМН 1970, Т25,В. 2.

    2. Больцман Л. Избранные труды. (Под ред. Л. С. Полака) М., Наука, 1984.

4. Информационно – энтропийная интерпретация механики.

Особый подход к понятию информации развит А. М. Хазэном в книге [4.1]

4.1. Энтропийная природа иерархии природных структур.

В соответствии с этим подходом иерархические уровни физического мира (элементарные частицы, атомы, молекулы, макромир, планетные системы, галактики, метагалактика) соответствуют разным уровням энтропии. Эти уровни возникают путем объединения коллективных взаимодействий некоторого ансамбля физических объектов в один объект нового уровня, когда энтропия фазового пространства системы достигает критического значения. При этом, на возникшем новом уровне энтропия резко падает (один объект), и снова начинает расти по мере накопления новых объектов этого уровня. Тогда происходит переход на еще один уровень. Энтропия нижних уровней скрыта на верхнем уровне, и проявляется только при “вскрытии” объекта этого уровня. Так можно объяснить “высвобождение хаоса” при взрыве, разрушающем объект верхнего уровня на составляющие его объекты нижних уровней.

В качестве образной модели становления нового уровня иерархии предлагается процесс наведения порядка на письменном столе путем разложения бумаг по папкам, папок по ящикам, ящиков по шкафам и т. д. Вся сложность накопившейся документации при этом скрыта в небольшом количестве единиц верхнего уровня (скажем, в двух шкафах). Поиск нужного документа идет не полным перебором, а иерархически: нужный шкаф, нужная полка, нужная папка, нужный документ. Сложность поиска снижается логарифмически.

Эта модель показывает, что иерархическая структура природы направлена на снижение общей энтропии Вселенной, в то время как динамика взаимодействий, включая термодинамику и рождение частиц, направлена на рост энтропии. Взаимодействие этих двух тенденций определяет эволюцию физического мира. Она унаследована и живыми системами, где процессы размножения, мутаций и рекомбинаций направлены на увеличение энтропии, а процессы агрегации (молекул в клетки, клеток в организмы, организмов в сообщества, сообществ в биоценозы) уменьшают энтропию. На примере живых существ хорошо видна скрытая сложность клеточных и, тем более, молекулярных структур внутри сравнительно простых внешне организмов. При этом возникновение клетки возможно только при накоплении достаточно большого запаса необходимых молекул, многоклеточные организмы, за редким исключением, состоят из огромного числа клеток, а эффективные сообщества из многих особей.

Критическое значение энтропии для подъема на следующий уровень связано со значением константы Больцмана для этого уровня. В такой интерпретации все мировые константы, включая постоянные Планка, слабых и сильных взаимодействий и т. п., превращаются в постоянные Больцмана для разных уровней иерархии мира. Подъем на следующий уровень происходит (или становится возможным) при достижении термодинамической энтропии, равной единице (см. п. 2.6.). Чем меньше константа Больцмана, тем больше требуется накопить статистической энтропии в ансамбле, чтобы произошел фазовый переход в форме возникновения из ансамбля одного объекта следующего уровня.

4.2. Энтропийная интерпретация энергии.

Энергия была введена Гамильтоном как функция H(q,p) состояния классической механической системы, где q — вектор координат тел, p — вектор координат их импульсов, для которой выполняются условия (в динамике по параметру времени t):

dpj/dt=-dH/dqj ; dqj/dt=dH/dpj .

Такая функция называется полной энергией системы и условием H=const(t) описывает все возможные детерминированные траектории в фазовом пространстве механической системы.

Совместность этих уравнений требует выполнения нескольких условий (это условия существования у механической системы полной энергии).

А. Оси координат, импульсов и времени обратимы и равноправны (допустимы любые системы приращений независимых переменных).

В. Значения частных производных Н непрерывны и локально ограничены в фазовом пространстве-времени.

С. Существуют непрерывные и локально ограниченные вторые производные Н по p,q.

Эти условия непротиворечивы только если

-(d/dpj)(d/dt)pj = (d/dqj)(d/dt)qj=(d2/dqjdpj)H=(d2/dpjdqj)H ,

откуда следует

(d/dt)(dq*dp)=0 или dq*dp=const(t) = K.

Это значение K играет роль постоянной Планка в принципе неопределенности, и, фактически, связывают вариации соответственных импульсов и координат. Таким образом, условие существования энергии процесса предполагает принцип неопределенности. Масштаб константы K определяется понятием малого приращения и тем самым зависит от масштаба рассматриваемой механической системы. Это параметр энтропийного уровня иерархии системы.

Условие перестановочности вторых смешанных производных означает дифференцируемость первых производных в фазовом пространстве–времени по совокупности переменных. Применительно к функции энергии это условие означает также однородность и обратимость времени.

4.3. Механическое действие интерпретируется как энтропия.

Механическое действие S определяется через функцию Лагранжа L для траектории между двумя точками пространства— времени (x,t):

L(q,p,t)=H-SUM{pj(d/dt)qj|j};

S=INGRL[t0;t1|q(t0)=x0,q(t1)=x1]{L(q,p,t)dt}.

Реализуется траектория, на которой действие минимально. Уравнение Эйлера вариационного исчисления позволяет записать это в дифференциальной форме.

var S = var INGRL{L(q,p,t)dt}=0 .

Уравнение Шредингера для волновой функции W можно получить из уравнения Гамильтона в форме энтропийного определения действия. В этом определении волновая функция выступает как математическая модель неопределенного состояния механической системы, а действие — как энтропийная мера этой неопределенности.

S=K*ln(W). (4.3.1)

Для потенциальной энергии V из этого уравнения следует уравнение Шредингера:

H=(h/2m)(dW/dx)2+VW2; (4.3.2)

W : INGRL [x]{H dx}=max;

INGRL[x]{Wdx}=1;

var INGRL [x]{H dx}=0;

Вариационное уравнение дает дифференциальное уравнение Эйлера с множителями Лагранжа, которое совпадает с уравнением Шредингера (4.3.2). Его решение соответствует исходному уравнению (4.3.1).

Таким образом базовой интерпретацией волновых уравнений квантовой механики является случайный процесс, определяющий вероятность возникновения кванта. Это соответствует нижнему уровню иерархии природных процессов — возбужденному состоянию физического вакуума. Сам квант является объектом следующего уровня. Механическое действие соответствует энтропии этого процесса.

Литература по разделу 4.

4.1. А. М. Хазэн. Введение информации в аксиоматическую базу механики. М., 1998, 168с.

4.2. А. М. Хазэн. Происхождение и эволюция жизни и разума с точки зрения синтеза информации. // Биофизика. 1992. Т.37 (1)105-122.

4.3. Гамильтон У. Избранные труды. (под ред. Л. С. Полака) М., Наука, 1994.

5. Многокомпонентная мера информации.

Естественным развитием понятия энтропии являются понятия информации и сложности. К понятию информации с 30-х годов установился подход, как к мере уменьшения энтропии в модели, описывающей объект, в результате получения некоторого сообщения, меняющего эту модель. При этом предполагается, что в новой модели энтропия будет обязательно меньше, чем в исходной.

I( сообщение)=H(до сообщения )-H( после сообщения);

Стандартной моделью (К. Шеннон) является множество альтернативных описаний объекта или его состояний, снабженных вероятностями реализации. Мерой энтропии модели служат определения (2.1)(2.2)(2.3):

H=log N;

H=-SUM{pilog(pi) | i=1,...};

H=-INTGRL{f(x)log(f(x))dx};

Все эти определения обладают существенными недостатками, когда полученное сообщение меняет множество альтернатив, не уменьшая их числа.

Для примера, рассмотрим модель, состоящую из описания трех равновероятных ситуаций (А,В,С). Пришло сообщение, исключающее ситуацию А, но добавляющую ситуацию Е. Новая модель имеет состав (В,С,Е). Соответствующие энтропии и информация сообщения I равны соответственно:

H(A,B,C)=log3; H(B,C,E)=log3;

I(A,B,C|B,C,E)= H(A,B,C)- H(B,C,E)=0 .

Таким образом, сообщение о существенном изменении модели получило нулевую меру информативности. Это противоречит интуитивному образу информации. Достаточно спорно и получение отрицательной информации, если сообщение увеличивает число состояний.

Для исправления такой ситуации автором был предложен подход к мерам сложности модели, энтропии ее состояния и информативности сообщения об ее изменении, как к упорядоченному набору нескольких величин (кортежу), компоненты которого неотрицательны и выражают меру потребления ресурсов памяти компьютера при реализации различных составляющих модели или сообщения. Строго говоря, можно в качестве компонент сложности использовать расход любого ресурса, имеющего количественную меру, если он определен при построении объекта или при реализации сообщения. Дополнительно потребуем, чтобы по исходной мере сложности/энтропии и по мере информации сообщения можно было бы определить меру новой сложности/энтропии. Расход памяти или времени компьютера — естественная мера для прикладных математических моделей. Заметим, что классическая мера энтропии (2.1) соответствует расходу памяти на запись кода одного состояния модели при оптимальной кодировке.

Для простейшей модели, описывающей множество состояний, кортеж-энтропия однокомпонентна:

h=H({A1;...:An})=log(n) .

Информация сообщения об изменении множества состояний на {Ak+1;...;AnB1;...;Bm} выражается кортежем, состоящем из энтропий множеств отброшенных и добавленных элементов:

I({A1;...:An}|{Ak+1;...;AnB1;...;Bm}=(X,Y)=(log(k),log(m));

Новая энтропия выражается через старую и информацию:

H({Ak+1;...;AnB1;...;Bm})=log(n-k+m)=log(2h-2X+2Y);

Если модель описывается набором из нескольких множеств V1,...,VN, то кортеж энтропия (или сложность) описывается сложностью каждого из множеств и сложностью системы этих множеств. Знаки разделители в кортеже указывают на структурные компоненты:

H((V1,...,VN)=(log(N):max{log(|V1|),...,log(|VN|)} ).

Для более сложных структур множеств кортеж информации строится итеративно, начиная от нижнего уровня. Сумма sH компонент такого кортежа равна длине адресного слова, определяющего в памяти компьютера элемент модели при оптимальной кодировке. Если на верхнем уровне структура состоит из подструктур (U1,...,UN) то:

H(U1,...,UN)=(log(N):max{sH(U1),...,sH(UN)} )=(A:B).

Кортеж-информация сообщения содержит данные о числе отброшенных подструктур верхнего уровня, о наибольшей сложности оставшихся структур этого уровня, о числе добавленных структур и о их наибольшей сложности:

I(U1,...,UN| U1+K,...,UN,W1,...,WM)=(log(K)|max{sH(U1+K),...,sH(UN)},

log(M):max{sH(W1),...,sH(WM)})=(X|P,Y:Q);

Тогда имеются формулы пересчета новой кортеж-энтропии:

H(U1+K,...,UN,W1,...,WM )=( log(2A-2X+2Y):max{P;Q}).

Эти формулы удобны для оценки сложности при работе с моделями, построенными в форме структур. Например, к ним относятся модели, описанные на языке индукторных пространств.

Введенные выше координаты кортеж-информации и кортеж-энтропии или кортеж-сложности неотрицательны. Однако в некоторых вырожденных случаях эти кортежи обнуляются по всем координатам. Например, нулевая кортеж-сложность у множества из одного элемента, а замена его на другое такое же множество дает нулевую кортеж-информацию. В этих случаях нарушается интерпретация сложности через потребляемый ресурс памяти.

Дело в том, что при расчете памяти фактически надо округлять log(m) до ближайшего большего натурального числа L(m). Однако введение этой функции вместо логарифма сделало бы невозможным точный пересчет новой кортеж-сложности через кортеж-информацию. Устранить этот дефект можно, заменив во всех формулах log(m) на подкортеж (L(m),D(m)) где

D(m)=L(m)-log(m);

В частности, при m=1 компонент кортежа 0 (= log(1)) заменяется на подкортеж (1,1), что соответствует необходимости использовать хотя бы один бит для записи единственного элемента структуры модели.

Тогда при расчете новой кортеж-сложности надо заменять выражения вида 2log(m) на выражения вида 2L(m)-D(m). Расчет ресурса памяти sH при этом ведется суммированием только L –компонент кортежа, и он всегда даст точный результат. При такой модификации нулевые кортеж-сложность и кортеж-информация невозможны. В тех случаях, когда это существенно, можно рекомендовать такое усложнение кортежей.

Литература к разделу 5.

5.1. Яглом А. М., Яглом И. М. Вероятность и информация. М., 1957.

5.2. Коганов А. В. Векторные меры сложности, энтропии, информации. “Математика. Компьютер. Образование”. Вып. 7, ч. 2, “Прогресс-Традиция”, М., 2000, с. 540 — 546