Пиксель. История одной точки

Дед Владимира, Петр Семенович Котельников, был математиком в Казанском университете. Там в разное время учились Владимир Ленин и Лев Толстой, но Ленина исключили всего через три месяца после поступления, а Толстой бросил университет после второго курса. Среди тех, кто успешно закончил Казанский университет, наиболее известен математик Николай Лобачевский. Он бросил вызов древнегреческой геометрии Евклида, предположив, что ее пятый постулат о параллельных линиях не обязательно верен, – поразительная для того времени идея впоследствии заняла достойное место в общей теории относительности Эйнштейна. Петр Семенович был ассистентом Лобачевского, а затем занял пост декана физико-математического факультета.

Рис. 2.2

Рис. 2.3

Неудивительно, что отец Владимира, Александр Петрович Котельников, тоже окончил Казанский университет и тоже занимал пост декана физико-математического факультета. Но, что важно для нас, история Владимира Котельникова по-настоящему началась, когда Александр Петрович решил покинуть Казань и переехать с семьей в Киев, получив новую преподавательскую должность.

Котельниковы с шестилетним Владимиром прибыли в Киев в тот самый августовский день 1914 года, когда немецкая армия прорвала фронт. Население в панике бежало из города, увлекая за собой новоприбывших. С огромным трудом Котельниковым удалось на следующий день выбраться из Киева и вернуться в Казань. Семья попала прямо под первые удары Первой мировой, ставшей первой в череде войн, определивших жизнь и карьеру Владимира.

Следующими двумя стали Октябрьская революция 1917 года и последовавшая за ней Гражданская война между красными и белыми. Россия изменилась. Молодой Владимир тоже, но причиной тому были не войны. Посреди всего этого хаоса он впервые услышал радиопередачу.

«Как это устроено?» – спросил он отца.

«Ты этого пока не поймешь».

Такой ответ он воспринял как вызов и уже с десяти лет всерьез захотел разобраться, как работает радио. Большую часть следующих девяти десятилетий своей жизни он занимался радиотехникой и связью, а в его карьере отразились подъемы, потрясения и падение Советского Союза.

«Велик был и страшен год по Рождестве Христовом 1918, от начала же революции второй». Так начинается роман «Белая гвардия» Михаила Булгакова – повествование об ужасах, разрушениях и анархии, царивших в Киеве в годы Гражданской войны. Во второй раз Котельниковы выбрали неудачный момент, чтобы переехать туда. Им пришлось пережить весь описанный Булгаковым кошмар. Профессор варил мыло, а дети распускали занавески на нитки; денег не хватало, работы не было.

В 1924 году Александр Петрович перевез семью в Москву. Он получил профессорскую должность в Московском высшем техническом училище (МВТУ), старейшей высшей технической школе в России. МВТУ подверглось серьезным трансформациям в 1930 году, когда разделилось на пять самостоятельных учебных заведений. Одно из них – Московский энергетический институт (МЭИ) – стало одним из ведущих технических университетов мира. Можете считать его московским аналогом Массачусетского технологического института.

Владимир Котельников был одним из первых выпускников МЭИ. Сначала его туда не принимали из-за происхождения – он не был выходцем из рабоче-крестьянской среды, – но вскоре критерии изменились и ему удалось туда поступить. В 1931 году Котельников закончил МЭИ, получив диплом инженера-электрика по специальности «Радио». Он проработает в своей альма-матер следующие 75 лет.

Через некоторое время случился его annus mirabilis. В 1932 году аспирант Котельников самостоятельно, без всякой посторонней помощи, написал две статьи, каждой из которых было достаточно, чтобы открыть ему путь на инженерный олимп. Одна из них – «Теория нелинейных фильтров с делением частоты пополам» – не касается темы нашего исследования. Однако в другой содержалась интересующая нас великая идея – теорема отсчетов. Завершая обучение в аспирантуре, Котельников представил свои работы в ноябре ученому совету факультета, а в следующем году опубликовал под неприметным названием «О пропускной способности „эфира“ и проволоки в электросвязи».

Когда он представлял эту работу преподавателям МЭИ, один из них сказал: «Все вроде верно, но больше похоже на научную фантастику». Нечто из ничего. Тем не менее они одобрили статью, дав старт его академической карьере.

В 1933 году, продолжая преподавать в МЭИ, Котельников поступил на работу в НИИ связи Народного комиссариата связи (НИИС НКС). Связь на войне имеет первостепенное значение, поэтому неудивительно, что, захватив власть в октябре 1917 года, большевики в первый же день создали Народный комиссариат почт и телеграфов РСФСР, впоследствии преобразованный в НКС. Котельников, начав с должности инженера, со временем стал начальником собственной лаборатории связи, а впоследствии и целого института. Он всегда одной ногой стоял в академической башне из слоновой кости, а другой – в реальном мире политики и войн.

Фундаментальные идеи, изложенные в опубликованных работах, а также ответственная работа в двух престижных организациях давали возможность быстро продвигаться как в академических, так и в политических кругах. Как мы уже видели на примере Фурье, ни в той, ни в другой сфере нельзя избежать танцев с тиранами.

Цифровые и аналоговые бесконечности

Не будем стесняться слова бесконечность. На самом деле существует много разных видов бесконечности, но нам нужны только две: цифровая и аналоговая. Знакомая диаграмма (рис. 2.4) с секундной стрелкой часов поможет прояснить разницу.

Вы помните, что для каждого оборота, который совершает секундная стрелка, каждой минутной отметке на циферблате часов соответствует одна круглая черная точка на волне? По мере того как секундная стрелка движется по циферблату, точки бесконечно разворачиваются вправо. Сколько их? Ну, вы можете попытаться считать – раз, два, три и так далее, – но вам придется считать вечно. Это цифровая бесконечность. Последней точки нет, всегда можно добавить еще одну. Математики – по очевидной причине – называют это счетным множеством.

Рис. 2.4

Второй вид бесконечности – аналоговая бесконечность – не так прост. Рассмотрим две последовательные точки на волне. Сколько точек находится между этими точками? Ответ: их так много, что даже не сосчитать. Аналоговая бесконечность больше цифровой бесконечности, как бы странно это ни звучало. Математик Георг Кантор доказал, что это именно так, и вот как он это сделал.

Между любыми двумя точками на волне всегда есть еще одна точка. Теперь подумайте об этой средней точке и левой из двух исходных. Есть ли между ними еще одна точка? Конечно есть. Теперь повторите рассуждение для этой точки и левой из двух исходных. И так до бесконечности. Вы никогда не разделите отрезок между точками на такие мелкие части, чтобы дальнейшее деление стало невозможным. Другими словами, вы никогда не доберетесь до места, откуда получится сосчитать все точки. Математики предпочитают называть это неисчисляемой бесконечностью, но я буду придерживаться термина «аналоговая бесконечность». Оба понятия уместны: у непрерывных вещей аналоговое, или бесчисленное, множество частей, а количество частей у дискретных вещей исчисляется цифровой, или счетной, бесконечностью. По большому счету цифровое уступает аналоговому, даже если вы использовали очень много точек для представления гладкой кривой. Но великая идея Котельникова, похоже, заключается в том, что цифровое – вот так сюрприз! – эквивалентно аналоговому. При переходе на цифровые технологии ничего не теряется. Дискретный цифровой объект может быть точным представлением гладкого аналогового объекта.

На рис. 2.5 показан фрагмент звука или, скажем, визуальной сцены вдоль горизонтальной линии. Идея Котельникова работает в обоих случаях. Прямая линия внизу – нулевая громкость или нулевой уровень яркости, полная тишина или полная темнота. Кривая – это изменение громкости звука или изменение яркости визуальной сцены по мере того, как вы перемещаетесь вправо по линии. В любом случае мы отметим в исходном фрагменте черными зарубками точки, расположенные на одинаковом расстоянии друг от друга, – отсчеты. Мы начнем приходить к пониманию, отталкиваясь от этого одномерного примера, а затем постепенно перейдем к двум измерениям, необходимым для полной визуальной сцены. Точно так же мы поступили с волнами Фурье в первой главе.

Рис. 2.5

Рисунок 2.6 – это то, что вы получите, если удалите все точки на гладкой кривой, кроме тех, что отмечены черными зарубками. Между ними у нас есть только прямая линия нулевой громкости или нулевого уровня яркости. Нетрудно представить, как будет выглядеть двумерная версия. Представьте доску с гвоздями, забитыми на равных расстояниях по горизонтали и вертикали. Их высота варьируется в зависимости от яркости соответствующей гладкой поверхности – визуальной сцены. Везде, кроме мест, где расположены гвозди, высота поверхности будет нулевой.

Рисунок 2.5 – аналоговый, а рисунок 2.6 – цифровой. Вертикальные линии на втором называются отсчетами для аналоговой кривой – или выборкой. В случае доски с гвоздями для двумерной поверхности гвозди будут отсчетами соответствующей аналоговой поверхности. Замечательная теорема Котельникова гласит, что нам не нужна сама гладкая кривая для представления звука или сама гладкая поверхность для представления визуальной сцены. Нам нужны только отсчеты. Другими словами, на аналоговую бесконечность точек между отмеченными на первом рисунке черными зарубками можно не обращать внимания! Кажется, он говорит, что ничто может представлять нечто. Как такое возможно? Ответ кроется, конечно же, в слове «кажется».

Вы можете вообразить, что, если просто сделать очень-очень много отсчетов и разместить их достаточно близко друг к другу, они станут аналоговой звуковой кривой. У многих людей есть такое же интуитивное представление, что пиксели – какими бы они ни были, – расположенные достаточно близко друг к другу, станут соответствующей визуальной сценой. Но такое предположение ошибочно. Вы не можете достичь достаточно близкого расположения. Невозможно заставить цифровую бесконечность достичь плотности аналоговой бесконечности. Нельзя сосчитать неисчислимое. Но Котельников, кажется, говорит, что можно. Тогда как же это сделать?

Более того, его теорема гласит, что точки, показанные на втором рисунке, уже расположены достаточно близко друг к другу, то есть вы не получите ни преимуществ, ни дополнительной информации, взяв отсчеты, расположенные еще ближе. Вы все еще в недоумении? Я надеюсь на это, потому что сейчас я раскрою суть вопроса и продемонстрирую элегантность его идеи.

Итак, с этими витающими в воздухе вопросами мы уже почти готовы подступиться к великой идее Котельникова. Но сначала вернемся к идее Фурье, поскольку теорема Котельникова базируется на ней. Фурье научил нас, что звук или изображение могут быть представлены как сумма волн. На рисунке 2.7 показана одна из волн, которые дают в сумме аналоговый фрагмент, использованный мной в качестве примера и для удобства изображенный сверху (места отсчетов обозначены точками). Вы можете увидеть, что в этом фрагменте нет колебаний вверх или вниз более быстрых, чем на волне, поэтому можно считать, что у нее самая высокая частота. Все остальные волны в сумме волн Фурье для этого фрагмента обладают более низкими частотами, иначе мы бы увидели где-то в этом фрагменте более быстрое колебание.

Перейдем к сути замечательной идеи Котельникова: если вы делаете отсчеты некоей гладкой аналоговой кривой с удвоенной частотой самой высокой частоты волн Фурье из составляющей ее суммы, то вы всегда сможете точно восстановить обратно эту гладкую кривую, используя только сделанную выборку. Отсчеты дискретные, разрозненные, отделенные друг от друга – определенно не гладкие. Это первая часть его идеи, великая теорема отсчетов – та часть, в которой утверждается, что аналоговую гладкость можно заменить цифровой несвязностью. Во второй части рассказывается, как выполнить фактическое восстановление исходного аналогового сигнала из цифровых отсчетов.

Рис. 2.6

Котельников стоит на плечах гиганта Фурье. Частоты Фурье отражают скорость изменения аналогового изображения в поле зрения. Затем гениальная идея Котельникова подсказывает нам, как представить волны Фурье в цифровом виде. Удивительно, но для каждого цикла самой быстро меняющейся волны достаточно всего двух отсчетов. Нетрудно догадаться, почему именно двух: одно измерение для гребня волны, а второе – для впадины.

Пиксель

В цифровом мире у отсчетов Котельникова для визуального поля есть устоявшееся название. Мы называем их пикселями. Вот оно! Это и есть определение пикселя. Оно тесно связано как с Фурье, так и с Котельниковым. Отсчеты Котельникова – вот что делает Цифровой Свет возможным.

Пиксели – это не маленькие квадратики! Некоторых это изрядно удивит, потому что очень часто пиксели описывают именно так – настолько часто, что люди повсеместно отождествляют пиксели с плотно расположенными маленькими цветными квадратиками. Это, возможно, самое распространенное заблуждение зарождающейся цифровой эпохи, а слово «пикселизация» его только укрепило.

Рис. 2.7

На самом деле у пикселей нет формы. Это просто отсчеты, взятые в узлах регулярной сетки, – вспомните наш пример с гвоздями. Они представляют собой абстрактные точки нулевого размера, не имеющие длины, ширины и толщины. Они невидимы и бесцветны. Это просто число, кодирующее оттенок серого, или три числа, обозначающие три интенсивности цвета. Как мы увидим, именно восстановление аналогового из цифрового с использованием идеи Котельникова придает пикселям форму.

Самому слову «пиксель» пришлось побороться за право на существование. Пиксели поначалу назывались по-разному: например, точки, массивы точек, растровые элементы, точки изображения и элементы изображения. Последний вариант победил, но затем разгорелась битва за более короткий термин. В течение многих лет IBM и AT&T пытались сокращать «элемент изображения» (picture element) до pel. Но энергичное молодое сообщество середины 1960-х, занимавшееся обработкой изображений, одержало победу над усилиями гигантских корпораций, настояв на сокращении pixel. На самом деле для молодых гиков, работающих с компьютерной графикой, вроде меня, достигших совершеннолетия в те бурные годы, было делом чести обеспечить победу контркультуры «пикселя», свергнув «пел» Голубого Гиганта и Матушки Белл. Ричард Лайон, тщательно изучив историю словоупотребления, нашел самое раннее упоминание термина[2] pixel в документе 1965 года за авторством Фреда Биллингсли из Лаборатории обработки изображений, входившей в Лабораторию реактивного движения Калифорнийского технологического института (рис. 2.8). А самое раннее публичное использование pel зарегистрировано в статье профессора Массачусетского технологического института Уильяма Шрайбера в 1967 году.

В 1970-х годах было выдано много патентов, содержащих как пиксель, так и пел, причем в количественном отношении преобладали патенты с использованием первого термина. Неудивительно, что большинство патентов той эпохи с термином «пел» принадлежали IBM или Bell Labs компании AT&T. Если бы Найквист или Шеннон использовали некий термин для обозначения пикселя – чего они не делали, – их выбор наверняка пал бы на pel, термин, принадлежащий Матушке Белл.

Пиксель напрямую связан с теоремой отсчетов; выборки и пиксели объединены еще с рождения. Как ни странно, в теории цифрового звука нет специального слова, такого как «пиксель», для обозначения элемента выборки, или «семпла», хотя цифровой звук существует благодаря все тому же трюку с использованием отсчетов Котельникова. К сожалению, применительно к аудио слово «семплирование» имеет другое значение. В хип-хопе, например, так называют заимствование фрагментов чужой музыки длительностью в несколько секунд, их соединение или смешение. Чтобы не возникало путаницы, для обозначения звукового отсчета я буду использовать специальное слово «соксель» (soxel), сокращение от sonic element (звуковой элемент).

Игры в имена

Весьма проблематично, что приоритет в открытии теоремы отсчетов в сегодняшних Соединенных Штатах приписывается Шеннону. Если оставить в стороне весь остальной мир, легко понять почему. Клод Шеннон – громкое имя в Америке. Теорему отсчетов он сформулировал в статье 1948 года «Математическая теория связи». В очень знаменитой классической статье 1949 года «Связь при наличии шума» он сформулировал и доказал теорему выборки в том виде, который сейчас используется во всем цифровом мире, а особенно применительно к Цифровому Свету. Его авторитет рос по мере того, как он получал различные престижные награды – например, национальную научную медаль США и медаль почета Института инженеров электротехники и электроники (IEEE). Он стал первым лауреатом премии, присуждаемой Группой теории информации IEEE и впоследствии названной в его честь. Он получил широкую известность на международном уровне и стал первым лауреатом премии Киото в области математики – награды не менее престижной, чем Нобелевская премия.

Рис. 2.8

Клод Элвуд Шеннон родился 30 апреля 1916 года в Петоски, штат Мичиган. Вырос он в соседнем городе Гейлорд, где, если верить слухам, из проволочной изгороди соорудил телеграфную линию между своим домом и домом друга. Еще он любил жонглировать, придумывать секретные коды и играть в шахматы. Он прослыл жизнерадостным гением со множеством интересов, выходивших далеко за пределы профессиональной деятельности. Он разъезжал на одноколесном велосипеде по залам Массачусетского технологического института, где получил докторскую степень по математике, а позднее и по коридорам Bell Labs, где разработал теорию информации. Еще он изобрел удивительную машину в коробке: если повернуть выключатель на боковой панели, из-под крышки появлялась механическая рука, которая возвращала его в исходное положение.[3]

Шеннон преуспел и в области криптографии. В 1945 году он написал засекреченный доклад «Математическая теория криптографии». Во время Второй мировой войны он проанализировал работу системы X-system, которая использовалась для безопасной голосовой радиосвязи между Франклином Д. Рузвельтом и Уинстоном Черчиллем. Шеннон математически доказал, что такую схему шифрования невозможно взломать. Шеннон также играл ключевую роль в изучении передачи данных в условиях помех, как, собственно, и называлась его статья 1949 года. Он показал, как отправлять цифровые сообщения по всей Солнечной системе, чтобы избежать искажений от воздействия космического шума. Именно благодаря идее Шеннона на вашем ноутбуке можно посмотреть видео, переданное с марсохода Curiosity. На фоне столь впечатляющего списка заслуг кажется вполне естественным, что имя Шеннона связано с теоремой отсчетов. Однако сама идея ему не принадлежала, о чем Шеннон не раз упоминал[4].

«Это общеизвестный в теории связи факт, – писал он в статье 1949 года. – Теорема была первоначально дана в других формах математиками, но, несмотря на ее очевидную важность, не приводилась в литературе по теории связи».

Но «в литературе по теории связи» теорема выборки приводилась – в нужной форме и с полным доказательством – задолго до публикации статьи Шеннона. Котельников сделал это еще в 1933 году, более чем на десять лет раньше. Почему Шеннон не упомянул его? Возможно, дело в том, что статья Котельникова вышла в малотиражном издании материалов российской конференции и Шеннон просто не знал о ней. Но, как мы увидим дальше, реальную причину определить почти невозможно. Он мог узнать о теореме Котельникова в контексте секретных разработок, результатами которых СССР и Соединенные Штаты обменивались во время Второй мировой войны. Но последующие ожесточенные разногласия между сверхдержавами, скорее всего, помешали бы Шеннону обнародовать такое знание или получить к нему доступ.

Шеннон и Котельников (рис. 2.9) были лидерами в сфере цифровой связи в своих странах, особенно если дело касалось преодоления помех или шифрования. Оба удостоились высших государственных и научных наград. И оба сформулировали и доказали теорему выборки в том виде, в каком она используется сегодня.

Нельзя не задаться вопросом, оказал ли один влияние на другого. Любопытно, что Шеннон, младший из них, с отставанием на несколько лет повторял интеллектуальные достижения Котельникова, но я не нашел никаких доказательств, что Шеннон знал о засекреченных работах Котельникова. В любом случае не удивительно, что русские называют эту великую идею теоремой отсчетов Котельникова. А разве американцы не должны?

Разбрасывай и складывай

Вторая половина идеи Котельникова – великой теоремы отсчетов – объясняет, как из дискретных пикселей восстановить непрерывную картинку, причем с абсолютной точностью. Самое удивительное, что, похоже, в цифровом изображении почти нет информации – находящаяся между каждой парой пикселей бесконечность аналоговых точек просто отброшена. То же самое с цифровым звуком и каждой парой сокселей. Вторая часть теоремы отсчетов сообщает нам, где найти недостающие бесконечности.

Вот как аналоговое восстанавливается из цифрового. Распределите каждый пиксель в пространстве с помощью «разбрасывателя», ключевой формы этой главы. Сложите результаты. Вот и все. Теорема отсчетов утверждает, что этот процесс «разбрасывания» и сложения полученных результатов точно воспроизводит недостающие бесконечности между пикселями! Как и в случае с другими великими математическими теоремами, такие выводы вовсе не очевидны. Мы должны верить математике.

Здесь нам снова поможет пример с волной, но для простоты мы возьмем только два центральных сокселя (рис. 2.10). (Чуть позже от них мы перейдем к пикселям.) Напомню, что соксель – это отсчет для кривой, изображающей аналоговый звук, а ее высота над нулевой линией обозначает его громкость. Таким образом, высота сокселя представляет собой громкость звуковой волны только в той точке, где сделан этот отсчет. Соксель справа будет менее громким, чем тот, что слева.

Рис. 2.9

Сначала мы разберемся с левым сокселем при помощи «разбрасывателя», изображенного на рисунке 2.1. Напомню, что его колебания той же частоты, что и у волны Фурье с самой высокой частотой исходного фрагмента. Его максимальная амплитуда на центральном выступе соответствует максимальной громкости. Для выполнения операции «разбрасывания» заменим левый соксель копией разбрасывателя (рис. 2.11). Я люблю говорить, что это «разбрасывание» превращает соксель из отсутствия формы (ничего) в показанную на рисунке форму (нечто). Его самая высокая точка – вершина центрального горба – имеет ту же громкость, что и соксель, который он заменяет. Два сокселя показаны пунктиром. В частности, из рисунка видно, что высота разбрасывателя – его максимальная громкость – соответствует высоте левого сокселя. В нашем примере она составляет 80 % от полной громкости. Представьте, что у вас есть переключатель для ее регулирования.

Теперь поместите еще одну копию разбрасывателя над правым сокселем (рис. 2.12) и поворачивайте переключатель, пока его максимальная громкость не совпадет с громкостью этого сокселя, в нашем случае 50 % от полной громкости, – таким образом будет «разбросан» второй соксель.

А вот результат (рис. 2.13) сложения двух «разбросанных» сокселей. В каждой горизонтальной позиции возьмите высоты расположенных там сокселей (светло-серые), измеренные от линии нулевой громкости, и сложите их вместе, чтобы получить точку на жирной кривой.

Рис. 2.10

Я до сих пор обходил стороной физическую реальность. Описанный в этой главе разбрасыватель не существует в реальном мире. Он бесконечно широк. Его колебания уходят влево и вправо до бесконечности. Очевидно, в действительности такое невозможно, поэтому реальные разбрасыватели лишь приближенно соответствуют идеальному.