Американский инженер Клод Шеннон и чем он знаменит. Биография и интересные факты

03.01.2024

Клод Элвуд Шеннон (англ. Claude Elwood Shannon; 30 апреля 1916, Петоцки, Мичиган, США - 24 февраля 2001, Медфорд, Массачусетс, США) - американский инженер, криптоаналитик и математик. Cчитается «отцом информационного века».

Является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Предоставил фундаментальные понятия, идеи и их математические формулировки, которые в настоящее время формируют основу для современных коммуникационных технологий. В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации (в статье «Математическая теория связи»). Кроме того, понятие энтропии было важной особенностью теории Шеннона. Он продемонстрировал, что введенная им энтропия эквивалентна мере неопределённости информации в передаваемом сообщении. Статьи Шеннона «Математическая теория связи» и «Теория связи в секретных системах» считаются основополагающими для теории информации и криптографии. Клод Шеннон был одним из первых, кто подошел к криптографии с научной точки зрения, он первым сформулировал ее теоретические основы и ввел в рассмотрение многие основные понятия. Шеннон внес ключевой вклад в теорию вероятностных схем; теорию игр; теорию автоматов и теорию систем управления - области наук, входящие в понятие «кибернетика».

Биография

Детство и юность

Клод Шеннон родился 30 апреля 1916 года в городе Петоцки (штат Мичиган, США). Отец его, Клод-старший (1862-1934), был бизнесменом, добившимся успеха своими собственными силами, адвокатом и в течение некоторого времени судьей. Мать Шеннона, Мейбел Вулф Шеннон (1890-1945), была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Отец Шеннона обладал математическим складом ума и давал себе отчёт в своих словах. Любовь к науке была привита Шеннону его дедушкой. Дед Шеннона был изобретателем и фермером. Он изобрел стиральную машину вместе с многой другой полезной в сельском хозяйстве техникой. Томас Эдисон был дальним родственником Шеннонов.

Первые шестнадцать лет своей жизни Клод провел в Гэйлорде (Мичиган), где в 1932 году закончил Гэйлордскую общеобразовательную среднюю школу. В юности он работал курьером службы Western Union. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось ремонтировать радиостанции для местного универмага.

Шеннон, по собственным словам, был аполитичным человеком и атеистом.

Университетские годы

В 1932 году Шеннон был зачислен в Мичиганский университет, где на одном из курсов познакомился с работами Джорджа Буля. В 1936 году Клод окончил Мичиганский университет, получив степень бакалавра по двум специальностям (математик и электротехник), и устроился в Массачусетский технологический институт (MIT), где работал ассистентом-исследователем. Он выполнял обязанности оператора на механическом вычислительном устройстве, аналоговом компьютере, называемом «дифференциальный анализатор», разработанным его научным руководителем Вэниваром Бушем. Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора, Шеннон увидел, что концепции Буля могут получить достойное применение. После того, как он проработал лето 1937 года в Bell Telephone Laboratories, он написал основанную на своей магистерской работе того же года статью «Символический анализ релейных и переключательных схем». Необходимо отметить, что Фрэнк Лорен Хичкок контролировал магистерскую диссертацию, давал полезную критику и советы. Сама статья была опубликована в 1938 году в издании Американского института инженеров-электриков (AIEE). В этой работе он показал, что переключающиеся схемы могут быть использованы для замены схем с электромеханическими реле, которые использовались тогда для маршрутизации телефонных вызовов. Затем он расширил эту концепцию, показав, что эти схемы могут решить все проблемы, которые позволяет решить Булева алгебра. Также, в последней главе он представляет заготовки нескольких схем, например, 4-разрядного сумматора. За эту статью Шеннон был награждён Премией имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Доказанная возможность реализовывать любые логические вычисления в электрических цепях легла в основу проектирования цифровых схем. А цифровые цепи - это, как известно, основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шеннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».

В 2016 году исполнилось сто лет со дня рождения Клода Шеннона. “И чем он знаменит?”, - наверняка спросят те, кто не имеет никакого отношения к кибернетике и теории автоматического управления. А все посвященные, конечно же, поймут, что речь идет об авторе ряда теорем, которые преподаются на технических факультетах в университетах и которые так и называются - теоремы Шеннона. Далее в статье мы расскажем вам о жизни и деятельности этого выдающегося ученого-кибернетика и инженера. История его жизни занимательна и порой немного даже фантастическая.

Клод Шеннон: биография и чем он знаменит?

Родился будущий ученый 30 апреля 1916 года в США, городе Петоцки, который расположен на озере Мичиган. Его отец был по профессии юристом, а мать - преподавательницей иностранных языков. Однако и он, и его старшая сестра с детства увлекались математикой. Кэтрин Шеннон поступила в математический факультет, а затем стала профессором и преподавала в университете. Сам же Клод вначале пошел по стопам отца и после окончания университета работал в адвокатской конторе. Наряду с этим он на любительском уровне занимался радиотехникой. Кстати, дальним родственником будущего известного инженера и изобретателя был сам Томас Эдисон. Конечно же, он не смог достичь уровня знаменитого родича, ведь у того в арсенале было более 1900 патентов.

Образование

Клод учился в общеобразовательной средней школе, одновременно он получал дополнительное образование у себя на дому. Несмотря на то что отец хотел, чтобы сын, как и он, пошел в юристы, Шеннон-старший также желал развивать у сына логику и смекалку и постоянно покупал ему конструкторы, различные радиолюбительские наборы и т.д. Этим он желал содействовать так называемому техническому творчеству своего сына. Сестра Клода, Кэтрин, в свою очередь вовлекала его в математику, все чаще задавая ему разные интересные задачки. В итоге будущий юрист просто обожал как технику, так и математику. И тем не менее, он окончил юридический факультет, а спустя некоторое время уже учился на бакалавра в Мичиганском университете сразу по двум специальностям - электротехника и математика - тем, чем знаменит Клод Шеннон. И он, несмотря на такую нагрузку, смог окончить оба факультета с отличием.

Научная деятельность

После того, как К. Шеннон окончил университет, он устроился в качестве ассистента-исследователя в электротехническую лабораторию Массачусетского института. Здесь он работал над методами модернизации дифференциального анализатора В. Буша. Позже ученый стал его научным руководителем и наставником. Спустя год Шеннон решает поступить в магистратуру. В период учебы он написал статью по теме «Символьный анализ переключательных схем и реле». Она была опубликована в AIEE - в издании Американского института электриков-инженеров. Данная его работа сразу же привлекла внимание научного сообщества электротехников, а в 1939 г. Американское общество гражданских инженеров присудило ему Премию им. притом что он еще не успел защитить степень магистра. После этого о нем все больше стали говорить в научных кругах, теперь уже многие знали, кто такой Клод Шеннон и чем он знаменит. Такое отношение коллег взбодрило ученого, и он по настоянию своего учителя и наставника Буша решил не дожидаться защиты магистерской диссертации и немедля занялся докторской, которая была посвящена проблемам генной комбинаторики.

Научный вклад

К сожалению, докторская Шеннона не получила поддержки со стороны генетиков и не была нигде опубликована, зато магистерская диссертация была признана прорывом в коммутационной и цифровой технике. В последней главе своей диссертационной работы Шеннон привел множество разных примеров, в том числе, как можно успешно применить разработанный им метод логического исчисления к синтезу и анализу конкретных переключательных и релейных схем: замка с электрическим секретом, селекторных схем, двоичных сумматоров и т.д. Все это наглядно демонстрирует научный прорыв, а также гигантскую практическую пользу от логического исчисления, разработанного молодым американским ученым. Именно благодаря ему зародилась цифровая логика. Это и есть то, чем знаменит он - Клод Шеннон. Краткое содержание этого курса ученый написал специально для студентов вузов.

Деятельность

В 1941 году К. Шеннон начинает работать в научно-исследовательском центре Bell Laboratories, в отделении математики. Ему тогда было всего лишь 25 лет. Среди его коллег были такие ученые, как Гарри Найквист, Хенрик Боде, Ральф Хартли, Джон Тьюки и др. Это была прекрасная команда, каждый из членов которой имел прекрасные результаты в разработке информационной теории. И тем не менее именно Шеннон впоследствии развил их до уровня большой науки. С началом Второй мировой войны правительство США стало широко финансировать исследовательские проекты, которые осуществляла Bell Laboratories, в которой сосредоточились лучшие умы своего времени. Правительство было в первую очередь заинтересовано в развитии метода математической криптографии, именно этим занимался и он, Клод Шеннон. Чем знаменит этот труд? Он позволял анализировать зашифрованные тексты противника информационно-теоретическими методами.

Новые концепции

В 1945 году, уже к концу войны, ученый смог завершить свой эксклюзивный секретный отчет по теме «Математическая теория криптографии» и уже был готов выступить перед американской научной общественностью и представить свои новые базовые концепции по теории информации. В 1948-м был опубликован эпохальный труд «Математическая теория связи» - то, чем знаменит Клод Шеннон. И он представил в ней все свои разработки, которые были сделаны в период с 1945 по 1948 г. Его математическая теория связи предполагала 3-компонентную структуру, которая состоит из источника информации, «транспортной среды» и приемника информации. “Транспортная среда” - это канал связи, который характеризуется способностью искажать информацию при передаче. В связи с этим были выявлены проблемы, на которые Шеннон должен был дать исчерпывающие ответы, например, как проводить количественную оценку информации, как ее эффективно “упаковывать”, как оценивать допустимую скорость при выводе информации из источника, а затем направлять ее в канал связи с определенной, фиксированной пропускной способностью. И, наконец, ученому нужно было решить задачу относительно устранения помех в канале связи. Он, конечно же, смог справиться с поставленными перед ним задачами, причем не только теоретически (в данном вопросе ему помогли коллеги по цеху), а путем созданных им же теорем.

Теория К. Шеннона

Его основополагающая работа была изложена в виде 23 теорем. Правда, не все из них равноценны - некоторые носят вспомогательный характер или же посвящены тем или иным частным случаям теории информации или передачи ее по дискретным и непрерывным связным каналам, но 6 теорем имеют особую ценность и, по сути, являются концептуальными. Это и есть каркас “здания” - теории Клода Шеннона, чем он и знаменит. Кратко об этом изложено в специализированной литературе. Следует также сказать, что на начальном этапе у многих математиков во всем мире эта теория вызвала сомнения. Однако со временем вся научная общественность убедилась в том, что постулаты, приведенные молодым корректны.

Клод Элвуд Шеннон (30 апреля 1916 — 24 февраля 2001) — американский математик, инженер-электрик, и криптограф, известный как «отец теории информации».

Шеннон известен, за написание основ теории информации, Математической Теории связи, которые он опубликовал в 1948 году. В 21 год будучи магистром в Массачусетском технологическом институте (МТИ) , он писал диссертацию, доказывая, что электрическим применением Булевой алгебры можно строить любые логические, числовые отношения. Клод Элвуд Шеннон внес большой вклад в область криптоанализа для национальной обороны во время Второй Мировой Войны, включая его основные работы по codebreaking и надежности телекоммуникаций.

В 1950 году Шеннон опубликовал статью о компьютерных шахматах под названием «Программирование компьютера для игры в шахматы». Он описывает, как машина или компьютер могут быть запрограммированы, чтобы играть в логические игры, в шахматы. За процессом хода компьютера отвечают так называемые минимаксные процедуры, на основе оценки функции заданной шахматной позиции. Шеннон привел грубый пример оценки функции, в котором значение черной позиции была вычтена из белой позиции. Значения были посчитаны по оценке обычной шахматной фигуры (1 балл за пешку, 3 очка за рыцаря или епископа, 5 баллов за ладью, и 9 баллов за королеву). Он рассмотрел некоторые позиционные факторы, вычитая 0,5 балла за каждую сдвоенную пешку, отсталые и изолированные пешки и добавляя 0,1 балл за каждый хороший ход. Цитата из документа:

«Коэффициенты 0.5 и 0.1 это лишь грубая оценка писателя. Кроме того, существует много других условий, которые должны быть включены. Формула дана только для наглядности.»

По совету Буша Шеннон решил работать над докторской диссертацией по математике в MIT. Буш был назначен президентом Института Карнеги в Вашингтоне и предложил Шеннону принять участие в работе по генетике, которую вела Барбара Беркс. Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шеннона. Сам Шеннон, проведя лето в Вудс Хоул, Массачусетс, заинтересовался нахождением математического фундамента для законов наследования Менделя. Докторская диссертация Шеннона, получившая название «Алгебра теоретической генетики», была завершена весной 1940 года. Однако эта работа не была выпущена в свет вплоть до 1993 года, пока она не появилась в сборнике Шеннона «Collected Papers». Его исследования могли стать весьма важными в противном случае, но бо́льшая часть этих результатов была получена независимо от него. Шеннон получает докторскую степень по математике и степень магистра по электротехнике. После этого он не возвращался к исследованиям в биологии.

Шеннон также был заинтересован в применении математики в информационных системах, таких как системы связи. После очередного лета, проведенного в Bell Labs, в 1940 году Шеннон на один академический год стал научным сотрудником в Институте перспективных исследований в Принстоне, штат Нью-Джерси, США. Там он работал под руководством известного математика Германа Вейля, а также имел возможность обсудить свои идеи с влиятельными учеными и математиками, среди которых был Джон фон Нейман. Он также имел случайные встречи с Альбертом Эйнштейном и Куртом Гёделем. Шеннон свободно работал в различных дисциплинах, и эта способность, возможно, способствовала дальнейшему развитию его математической теории информации.

Клод Элвуд Шеннон – американский математик, инженер-электронщик и специалист в области криптографии, обладатель множества наград, известный как создатель теории информации.

Именно наш герой предложил когда-то использовать всем известное сегодня понятие "бит" в качестве эквивалента наименьшей единицы информации.

Шеннон прославился как человек, давший начало теории информации в эпохальной статье, опубликованной им в 1948 году. Помимо этого, ему приписывают также идею создания цифрового компьютера и цифровых технологий вообще, причем еще в 1937 году, когда Шеннон был 21-летним студентом Массачусетского Технологического Института, работавшим над получением магистерской степени – он написал тогда диссертацию, в которой продемонстрировал, что применения булевой алгебры в сфере электроники могли бы построить и решить любые логические, числовые

связи. Написанная на основе диссертации статья принесла ему премию Американского института инженеров-электриков в 1940.

Во время Второй мировой войны Шеннон сделал значительный вклад в сфере криптоанализа, работая над обороной страны, включая его фундаментальный проект по взламыванию кодов и обеспечению безопасных телекоммуникаций.

Шеннон родился 30 апреля 1916 года в Петоцки, маленьком городке в Мичигане (Petoskey, Michigan), и вырос в соседнем Гэйлорде (Gaylord, Michigan). Его отец был из тех людей, что сделал себя сам. Потомок первых поселенцев Нью-Джерси (New Jersey), он был бизнесменом и судьей. Мать Клода преподавала английский и некоторое время возглавляла ср

еднюю школу Гэйлорда. Большую часть первых 16 лет своей жизни Шеннон провел как раз в Гэйлорде, в 1932 году окончил местную школу. С детства он увлекался конструированием механических и электрических моделей. Его любимыми предметами были естественные науки и математика, а дома, в свободное время, он строил модели самолетов, радиоуправляемую модель лодки и даже беспроводной телеграф, соединявший его с дом с домом друга, жившего в полумиле от Шеннонов.

Подростком Клод подрабатывал в качестве курьера компании "Western Union". Героем его детства был Томас Эдисон (Thomas Edison), который, как позже оказалось, приходился ему еще и дальним родственником. Оба они были потомк

ами Джона Огдена (John Ogden), колониального лидера 17-го века и по совместительству предка множества выдающихся людей. Чем не интересовался Шеннон, так это политикой. Кроме того, он был атеистом.

В 1932 году Клод стал студентом Мичиганского Университета, где один из курсов познакомил его с тонкостями алгебры Буля. Окончив университет в 1936 с двумя степенями бакалавра, по математике и электротехнике, он продолжил занятия в МТИ, где работал на одном из первых аналоговых компьютеров, дифференциальном анализаторе Ванневара Буша (Vannevar Bush) – именно тогда он понял, что концепции булевой алгебры могут применяться с большей полезностью. Диссертация Шеннона на степень м

агистра называлась "Символьный анализ реле и коммутаторов", и специалисты считают ее одной из самых важных диссертаций на степень магистра в 20-м столетии.

Весной 1940 Шеннон защитил в МТИ и докторскую степень по математике с диссертацией "Алгебра для теоретической генетики", и в следующие 19 лет, с 1941 по 1956, преподавал в Мичиганском Университете и работал в компании "Bell Labs", где его интерес вызвали противопожарные системы и криптография (именно этим он занимался во время Второй мировой).

В "Bell Labs" Шеннон познакомился со своей будущей женой Бетти (Betty Shannon), которая занималась числовым анализом. Они поженились в 1949. В 1956 Шеннон вернулся в МТИ,

где ему предложили кафедру, и проработал там 22 года.

Среди его хобби были жонглирование, катание на моноцикле и шахматы. Он изобрел огромное количество разных забавных устройств, включая летающие диски с ракетным двигателем, "кузнечик" с моторчиком и трубу, извергающую пламя, для научной выставки. Он так же считается, вместе с Эдвином Торпом (Edward O. Thorp), изобретателем первого переносного компьютера – они использовали это устройство для повышения шансов на выигрыш при игре в рулетку, и их набеги на Лас-Вегас (Las Vegas) были очень успешными.

Свои последние годы Шеннон провел в доме престарелых, страдая болезнью Альцгеймера. Его не стало 24 февраля 2001 года.

Годы жизни:1916-2001

Источник шифрования устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.

Биография

Клод Шэннон родился 30 апреля 1916 года в городе Петоцки, штат Мичиган, США. Первые шестнадцать лет своей жизни Клод провел в Гэйлорде, Мичиган, где в 1932 году он закончил общеобразовательную среднюю школу Гэйлорда. В юности он работал курьером службы Western Union. Отец его был адвокатом и в течение некоторого времени судьей. Его мать была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось исправлять радиостанции для местного универмага. Томас Эдисон был его дальним родственником.

В 1932 году Шэннон был зачислен в Мичиганский университет, где выбрал курс, посещая который начинающий ученый познакомился с работами Джорджа Буля. В 1936 году Клод оканчивает Мичиганский университет, получив степень бакалавра по двум специальностям математика и электротехника, и устраивается в Массачусетский технологический институт (MIT), где он работал ассистентом-исследователем на дифференциальном анализаторе Ванневара Буша - аналоговом компьютере. Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора, Шэннон увидел, что концепции Буля могут получить достойное применение. Статья, написанная с его магистерской работы 1937 года «Символьный анализ реле и коммутаторов», была опубликована в 1938 году в издании Американского института инженеров-электриков. Она также стала причиной вручения Шэннону Премии имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Цифровые цепи - это основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шэннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».

По совету Буша Шзннон решил работать над докторской диссертацией по математике в MIT. Идея его будущей работы родилась у него летом 1939 года, когда он работал в лаборатории в Колд-Спринг-Харбор (штат Нью-Йорк). Буш был назначен президентом Института Карнеги в Вашингтоне и предложил Шэннону принять участие в работе, которую делала Барбара Беркс по генетике. Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шэннона. Докторская диссертация Шеннона, получившая название «Алгебра для теоретической генетики», была завершена весной 1940 года. Шэннон получает докторскую степень по математике и степень магистра по электротехнике.

В период с 1941 по 1956 гг. Шэннон преподает в Мичиганском университете и работает в компании Белл (Bell Labs). В лаборатории Белл Шэннон, исследуя переключающие цепи, обнаруживает новый метод их организации, который позволяет уменьшить количество контактов реле, необходимых для реализации сложных логических функций. Он опубликовал доклад, названный «Организация двухполюсных переключающих цепей». Шеннон занимался проблемами создания схем переключения, развил метод, впервые упоминавшийся фон Нейманом и позволяющий создавать схемы, которые были надежнее, чем реле, из которых они были составлены. В конце 1940 года Шэннон получил Национальную научно-исследовательскую премию. Весной 1941 года он вернулся в компанию Белл. С началом Второй мировой войны Т. Фрай возглавил работу над программой для систем управления огнем для противовоздушной обороны. Шэннон присоединился к группе Фрая и работал над устройствами, засекавшими самолеты противника и нацеливавшими зенитные установки, также он разрабатывал криптографические системы, в том числе и правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельтачерез океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.

С 1950 по 1956 Шэннон занимался созданием логических машин, таким образом, продолжая начинания фон Неймана и Тьюринга. Он создал машину, которая могла играть в шахматы, задолго до создания Deep Blue. В 1952 Шеннон создал обучаемую машину поиска выхода из лабиринта.

Шэннон уходит на пенсию в возрасте пятидесяти лет, в 1966 году, но он продолжает консультировать компанию Белл (Bell Labs). В 1985 году Клод Шэннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шэннон дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и сотни автографов изумленным его присутствием ученым и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому, сравнивая его с сэром Исааком Ньютоном.

Он был разработчиком первой промышленной игрушки на радиоуправлении, которая выпускалась в 50-е годы в Японии (фото). Также он разработал устройство, которое могло складывать кубик Рубика (фото), мини компьютер для настольной игры Гекс, который всегда побеждал соперника (фото), механическую мышку, которая могла находить выход из лабиринта (фото). Также он реализовал идею шуточной машины «Ultimate Machine» (фото).

Теория связи в секретных системах

Работа Шэннона «Теория связи в секретных системах» (1945) с грифом «секретно», которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шэннон впервые начал изучать криптографию, применяя научный подход. В этой статье Шэннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шэннона является исследования абсолютно стойких систем и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шэннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии.

Статья «Математическая теория связи»

Статья «Математическая теория связи» была опубликована в 1948 году и сделала Клода Шэннона всемирно известным. В ней Шэннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки, передачи и хранения информации. Результаты его работ в области передачи информации по каналам связи запустили огромное число исследований по всему миру. Шэннон обобщил идеи Хартли и ввёл понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения, Хартли предложил использовать логарифмическую функцию. Шэннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные, так и непрерывные множества сообщений. Развитая Шэнноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами.

Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ коммерческого телевидения, в полосе частот, которую занимает обычный сигнал аналогового телевидения.

Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.

В своих работах Шэннон доказал принципиальную возможность решения обозначенных проблем, это явилось в конце 40-х годов настоящей сенсацией в научных кругах. Данная работа, как и работы, в которых исследовалась потенциальная помехоустойчивость, дали начало огромному числу исследований, продолжающихся и по сей день, уже более полувека. Ученые из СССР и США (СССР - Пинскер (англ.)русск., Хинчин, Добрушин, Колмогоров; США -Галлагер (англ.)русск., Вольфовиц (англ.)русск., Файнстейн) дали строгую трактовку изложенной Шенноном теории.

На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шэнноном. В соответствии с теорией информации, вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передается по каналу потребителю. Именно благодаря теории информации была значительно сокращена избыточность телевизионных, речевых и факсимильных сообщений.

Большое количество исследований было посвящено созданию кодов, устойчивых к помехам, и простых методов декодирования сообщений. Исследования, проведенные за последние пятьдесят лет, легли в основу созданной Рекомендации МСЭ по применению помехоустойчивого кодирования и методов кодирования источников информации в современных цифровых системах.

Теорема о пропускной способности канала.

Любой канал с шумом характеризуется максимальной скоростью передачи информации, этот предел назван в честь Шеннона. При передаче информации со скоростями, превышающими этот предел, происходят неизбежные искажения данных, но снизу к этому пределу можно приближаться с необходимой точностью, обеспечивая сколь угодно малую вероятность ошибки передачи информации в зашумлённом канале

Теоремы Шэннона

Прямая и обратная теоремы Шэннона для источника общего вида - о связи энтропии источника и средней длины сообщений.
Прямая и обратная теоремы Шэннона для источника без памяти - о связи энтропии источника и достижимой степени сжатия с помощью кодирования с потерями и последующего неоднозначного декодирования.
Прямая и обратная теоремы Шэннона для канала с шумами - о связи пропускной способности канала и существования кода, который возможно использовать для передачи с ошибкой, стремящейся к нулю (при увеличении длины блока).
Теорема Найквиста - Шеннона (в русскоязычной литературе - теорема Котельникова) - об однозначном восстановлении сигнала по его дискретным отсчётам.
Теорема Шэннона об источнике шифрования (или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.
Теорема Шэннона - Хартли