Матрицы фотоаппаратов: Что такое матрица? Кроп-фактор?

Содержание

Что такое матрица? Кроп-фактор?

Прежде, чем купить фотоаппарат, вам необходимо ответить на ряд очень важных вопросов: сколько мегапикселей должна иметь матрица фотоаппарата, будет ли это полнокадровый фотоаппарат или камера с так называемой кропнутой матрицей, а также будет это зеркальный или беззеркальный фотоаппарат? Давайте разберемся с этими понятиями по порядку.
 

Матрица – это часть фотоаппарата, которая предназначена для регистрации света, проходящего через объектив. По сути, матрицы цифровых фотоаппаратов это аналог фотопленки в пленочных камерах. Матрица состоит из множества светочувствительных элементов – пикселей. Пиксели настолько маленькие и их так много, что для обозначения их количества используют приставку мега-, которая означает миллион. Чтобы понять, какое количество мегапикселей нужно именно вам, нужно определиться, для каких целей вы приобретаете камеру. Если вы планируете использовать ее в личных целях, для съемки бытовых сюжетов и в путешествиях, то вам вполне подойдут камеры с матрицами больше 10 мегапикселей.

Если же планируется использовать камеру в коммерческих целях, то стоит задуматься над покупкой камеры с 20-мегапиксельной матрицей. Однако, стоит предостеречь вас от погони за огромными значениями этого параметра. Дело в том, что физический размер матрицы с ростом числа мегапикселей не изменяется, а, следовательно, физический размер самого пикселя будет уменьшаться. Матрицы с 30 и более мегапикселями очень требовательны к качеству применяемой оптики, а также, как правило, они сильнее нагреваются и на изображении появляется цифровой шум, ухудшающий качество.
 


Теперь давайте разберемся с понятием кропа. Само это слово происходит от английского crop – «обрезать», и в среде фотографов служит для обозначения матриц (и камер с такими матрицами), размер которых меньше, чем размер полнокадровых матриц, которые по площади соответствуют пленочному кадру. Степень уменьшения кроп-матрицы выражается с помощью кроп-фактора. Например, матрица с кроп-фактором 1,5 в полтора раза меньше полнокадровой матрицы.

Из вышесказанного можно сделать один важный вывод: если вы планируете покупку камеры с 20- и более мегапиксельной матрицей, то предпочтение лучше отдать полнокадровым камерам, т.к. физический размер пикселя на них будет больше. Но какую камеру выбрать, если речь идет о бытовом использовании? Увы, здесь нет однозначного ответа. Кропнутые камеры меньше и легче своих полнокадровых собратьев, да и стоят они иногда в разы дешевле, однако выбор оптики для них заметно уже, да и само ее качество ниже. Важно также понимать, что производители фототехники просто не станут создавать кропнутую камеру, которая технически близка к полнокадровой – в таком случае их маркетологи просто не смогут убедить людей платить большие деньги за полный кадр. Тем не менее, уровень развития технологий на сегодняшний день так высок, что возможности доступных кропнутых камер даже превышают запросы бытового использования, и в этом случае нет смысла переплачивать значительные деньги за профессиональную технику. Единственным исключением может являться ситуация, когда у вас уже есть хороший набор оптики от пленочного фотоаппарата.
Тогда имеет смысл переплатить за полнокадровую камеру, чтобы иметь возможность использовать более высококачественные объективы.
 

В завершении темы кропнутых и полнокадровых матриц хотелось бы внести ясность и в еще один вопрос. На просторах Интернета часто можно слышать мнение о том, что ГРИП (Глубина Резко Изображенного Пространства) отличается в зависимости от размера матрицы, а у полного кадра существует некий особый рисунок, присущий только этим камерам. Дело в том, что все эти утверждения не имеют ничего общего с техникой и здравым смыслом. ГРИП зависит только от трех параметров – от диафрагмы, фокусного расстояния и от расстояния до объекта съемки. Размер матрицы не оказывает на него никакого влияния. Качество изображения, также как и рисунок, зависят в основном от используемой оптики. Один и тот же объектив на обоих типах матриц даст одинаковое качество изображения. Важно только помнить, что при использовании полнокадрового объектива на кропнутой матрице в поле ее зрения будет попадать лишь часть формируемого объективом изображения.

Многие ошибочно называют это увеличением, но это не так. Просто мы фиксируем лишь часть от полной картинки. Чтобы понять какую именно, нужно вновь обратиться к кроп-фактору. Например, если взять полнокадровый объектив с фокусным расстоянием 100 мм и сделать кадр на кроп-матрице с фактором 1,5, то изображение будет таким, как если бы на полнокадровую матрицу сняли кадр на фокусном 150 мм.
 

В последнее время рынок фототехники все уверенней завоевывают беззеркальные камеры. В чем их плюсы и минусы по сравнению с традиционными зеркалками? Основной плюс кроется в самой конструкции – в них отсутствует громоздкое зеркало и поднимающая его система, которые служат в зеркальных фотоаппаратах для передачи изображения из объектива в оптический видоискатель. За счет этого достигается меньший вес и размеры камеры. К плюсам таких камер относится и электронный видоискатель, который значительно облегчает настройку камеры (особенно для новичков) и использование мануальной оптики.

Но есть и минусы – все тот же видоискатель является мощным потребителем электроэнергии и, естественно, приводит к более быстрой разрядке аккумуляторов, которые, к слову, в угоду уменьшения веса и размера и без того уступают аккумуляторам зеркалок. Еще одним минусом оптического видоискателя является его подтормаживание при съемке быстродвижущихся объектов. Поэтому, если вы хотите снимать репортажи, спорт или дикую природу, то, однозначно, ваш выбор это зеркальные камеры с оптическим видоискателем.

 

Что такое матрица в фотоаппарате и её основные параметры

Матрица фотокамеры служит для преобразования попадающего на нее с объектива светового потока в электрические сигналы, которые затем камера и преобразует в снимок. Делается это при помощи фотодатчиков, расположенных на матрице в большом количестве.

Что такое матрица фотоаппарата — это микросхема, состоящая из фотодатчиков, которые реагируют на свет.

Структура самой матрицы является дискретной, то есть состоящей из миллионов элементов (фотоэлементов), преобразующих свет.

Поэтому в характеристиках фотоаппарата как раз и указывается количество элементов матрицы, которое мы знаем как мегапиксели (Мп). 1 Мп = 1 миллиону элементов.

Именно от самой матрицы и зависит количество мегапикселей фотоаппарата, которое может принимать значение от 0.3 (для дешевых телефонных фотоаппаратов) до 10 и больше мегапикселей у современных фотоаппаратов. Например, 0,3 Мп это в переводе уже 300 тысяч фотоэлементов на поверхности матрицы.

Характеристиками матрицы можно считать такие параметры:
  • Физический размер
  • Разрешение (мегапиксели)
  • Светочувствительность
  • Отношение сигнал-шум

Внешний вид матрицы

Сама матрица фотоаппарата формирует черно белое изображение, поэтому для получения цветного изображения, элементы матрицы могут покрывать светофильтрами (красный, зеленый, синий). И если сохранять фотографию в формате JPEG и TIFF, то цвета пикселей фотоаппарат вычисляет сам, а при использовании формата RAW пиксели будут окрашены в один из трех цветов, что позволит обработать такой снимок на компьютере без потери качества.


Физический размер

Еще одной характеристикой матрицы является размер. Обычно размер указывается как дробь в дюймах. Чем больше размер, тем меньше шума будет на фотографии и больше света регистрируется, а значит, больше оттенков получится.

Размер матрицы очень важный параметр всего фотоаппарата.



Разные размеры матрицы

Чувствительность и шумы

В фототехнике применительно к матрицам используется термин «эквивалентная» чувствительность. Происходит это потому, что настоящую чувствительность измеряют различными способами в зависимости от назначения матрицы, а применяя усиление сигнала и цифровую обработку, можно сильно изменить чувствительность в больших пределах.

Светочувствительность любого фотоматериала показывает способность этого материала преобразовывать электромагнитное воздействие света в электрический сигнал. То есть, сколько нужно света, что бы получить нормальный уровень электрического сигнала на выходе.

Чувствительность матрицы (ISO) влияет на съемки в темных местах.

Чем больше чувствительность можно выставить в настройках, тем лучше будет качество снимков в темноте при нужных диафрагме и выдержке. Значение ISO может быть от нескольких десятков до нескольких десятков тысяч. Недостатком большой светочувствительности может быть проявление шума на фотографии в виде зернистости. Так же чувствительность участвует в настройке экспозиции.


Размер и количество пикселей

Размер матрицы и ее разрядность в мегапикселях связаны между собой такой зависимостью: чем меньше размер, тем должно быть и меньше мегапикселей. Иначе из-за близкого размещения фотоэлементов возникает эффект дифракции и может получиться эффект замыливания на фотографиях, то есть пропадет четкость на снимке.

Еще размер матрицы и ее разрешение определяют размер пикселя и соответственно динамический диапазон, который показывает возможность фотокамеры отличить самые темные оттенки от самых светлых и передать их на снимке.

Так же чем больше размер пикселя, тем больше отношение сигнал-шум ведь больший по размерам пиксель может собрать больше света и увеличивается уровень сигнала. Поэтому при одинаковом размере матрицы меньшее количество мегапикселей может быть даже полезнее для качества фотографии.

Чем больше физический размер пикселя (англ. pixel — picture element), тем больше он сможет собрать падающего на него света и тем больше будет соотношение сигнал-шум при заданной чувствительности. Можно и по-другому сказать: при заданном соотношении сигнал-шум будет выше чувствительность. Это означает, что можно увеличивать значение чувствительности при настройке экспозиции без боязни получить шумы на фотографии. Разумеется шумы появятся, только значение ISO, при котором это произойдет, будет разным для разных фотокамер. Поэтому зеркалки со своими большими матрицами по этим показателям сильно опережают компакты.

Размер пикселя зависит от физического размера матрицы и её разрешения. Размер пикселя влияет на фотографическую широту. Дополнительно о количестве мегапикселей.


Матрица на плате

Разрешение

Разрешение матрицы зависит от количества используемых пикселей для формирования изображения. Объектив формирует поток света, а матрица разделяет его на пиксели. Но оптика объектива также имеет свое разрешение. И если разрешение объектива не достаточное, и он передает две светящиеся точки с разделением черной точкой как одну светящуюся, то точного разрешения фотоаппарата, которое зависит от значения Мп, можно и не заметить.

Поэтому результирующее разрешение фотокамеры зависит и от разрешения матрицы и от разрешения объектива, измеряемое в количестве линий на миллиметр.

И максимальным это разрешение будет, когда разрешение объектива соответствует разрешению матрицы. Разрешение цифровых матриц зависит от размера пикселя, который может быть от 0,002 мм до 0,008 мм (2-8 мкм). Сегодня количество мегапикселей на фотосенсоре может дистигать значения 30 Мп.



Структура матрицы

Отношение сторон матрицы

В современных фотоаппаратах применяются матрицы с форматами 4:3, 3:2, 16:9. В любительских цифровых фотоаппаратах обычно используется формат 4:3. В зеркальных цифровых фотоаппаратах обычно применяют матрицы формата 3:2, если специально не оговорено применение формата 4:3. Формат 16:9 редко используется.


Тип матрицы

Раньше в основном использовались фотосенсоры на основе ПЗС (прибор зарядовой связи, по-английски CCD — Charge-Coupled Device). Эти матрицы состоят из светочувствительных светодиодов и используют технологию приборов с зарядовой связью (ПЗС). Успешно применяется и в наше время.

Но в 1993 году была реализована технология Activ Pixel Sensors. Её развитие привело к внедрению в 2008 году КМОП-матрицы (комплиментарный металл-оксид-полупроводник, по-английски CMOS — Complementary-symmetry/Metal-Oxide Semiconductor). При этой технологии возможна выборка отдельных пикселей, как в обычной памяти, а каждый пиксель снабжен усилителем. Так же матрицы на этой технологии могут иметь и автоматическую систему настройки времени экспонирования для каждого пикселя. Это позволяет увеличить фотографическую широту.

Фирма Panasonic создала свою матрицу Live-MOS-матрицу. Она работает на МОП технологии. Применяя такую матрицу можно получить живое изображение без перегрева и увеличения шумов.

Откуда берутся шумы на снимках и как их уменьшить.

Как можно почистить матрицу в зеркальном фотоаппарате.

Как размер матрицы влияет на качество снимков.

Матрица фотоаппарата — ее устройство, характеристики, рекомендации по выбору

Матрица фотоаппарата – один из основных компонентов современной фототехники. На ее поверхности строится изображение, которое фиксируется чувствительными элементами (их называют пикселями). Существует множество эффективных алгоритмов дальнейшей обработки сигнала, но именно матрица стоит в самом начале электронного тракта фотокамеры и в наибольшей степени влияет на качество фотоснимка.

До появления матрицы использовалась пленка. Принципиально устройство фотоаппарата с тех пор изменилось мало. Изображение, как и раньше, строится объективами разных типов на светочувствительной поверхности, а далее посредством различных технологических процессов переносится либо на бумагу, либо на дисплей компьютера. Но  матрица имеет перед пленкой одно существенное преимущество – мгновенное получение результата. Именно это главным образом и определило повсеместное применение матриц в качестве фотосенсоров.

Устройство и типы матриц

Современная матрица — это микросхема, поверхность которой состоит из множества чувствительных к свету элементов. Каждый элемент является самостоятельным светоприемником, преобразующим падающий на него свет в электрический сигнал, который после предварительной обработки записывается на карту памяти. Изображение, которое мы видим, состоит из совокупности записанных в цифровом виде сигналов с каждого элемента, а значит, имеет дискретную структуру.

Существует две технологии преобразования света в сигнал, на которых может работать матрица фотоаппарата. Первая основана на свойстве полупроводниковых диодов накапливать электрический заряд под воздействием света, и носит название ПЗС (прибор с зарядовой связью) или CCD (то же самое по-английски). Вторая технология также использует накопление заряда, но в качестве приемника применяется не диод, а транзистор, что позволяет организовать усиление сигнала непосредственно в самом светочувствительном элементе. Эта технология называется КМОП (расшифровка мало что скажет неспециалисту, приводить ее не буду) или CMOS по-английски. Соответственно существуют и два типа матриц – ПЗС и КМОП.

Первая матрица работала по технологии ПЗС, поскольку эта технология проще и была внедрена первой. Сейчас более перспективным считается принцип КМОП, поскольку предварительное усиление сигнала непосредственно в элементе матрицы позволяет повысить чувствительность, снизить шумы, сократить энергопотребление и уменьшить стоимость матрицы. Несмотря на это, ПЗС матрицы все еще продолжают использоваться и сегодня.

Элементы, из которых состоит матрица фотоаппарата, способны фиксировать только интенсивность падающего на них света. Для того, чтобы записать цвет, необходимо, как минимум, три таких элемента (такое количество связано с особенностями восприятия цвета человеческим глазом, имеющим три вида колбочек), каждый из которых отвечает за свою область спектра. Чтобы реализовать цветовую чувствительность, перед каждым элементом ставится светофильтр, который пропускает только вполне определенный цвет – красный, зеленый или синий (модель RGB – Red-Green-Blue – которая используется в подавляющем большинстве матриц).

Таким образом, получается, что матрица состоит из набора трех видов сенсоров, при этом располагаться они могут разными способами – четырехугольником, у некоторых матриц шестиугольником, да и количество элементов разного цвета может быть разным. Например, в широко распространенном фильтре Байера на каждый красный и голубой элемент приходится два зеленых, при этом они еще и распределены случайным образом. Это сделано, чтобы смоделировать повышенную цветовую чувствительность человеческого глаза к зеленому цвету.

А что же тогда такое всем известный пиксель? Это легко понять, если представить себе, что фотоаппарат работает так же, как глаз. Изображение строится зрачком (объектив), воспринимается сетчаткой с палочками и колбочками (матрица) и обрабатывается мозгом (процессор). Собственно саму картинку мы видим мозгом, ведь структура сетчатки так же дискретна, как и матрица фотоаппарата.

Так вот пиксель – это логическая структура, формирующаяся в результате обработки сигнала процессором фотоаппарата по специальным алгоритмам. Пиксель может состоять и из одного светочувствительного элемента, и из трех и более. Например, в уже знакомом нам фильтре Байера цвет каждого элемента вычисляется по информации, полученной от окружающих его элементов, а следовательно, пиксель состоит из одного светочувствительного элемента. У разных матриц и алгоритмов это может быть по-разному.

По большому счету, нам все сказанное не так важно. На технологическом поле бьются производители фототехники, выпуская все более совершенные матрицы и постоянно улучшая алгоритмы обработки изображений. Что действительно нужно понимать, так это то, что для нас как пользователей, матрица состоит из пикселей, каждый из которых является элементом изображения, несущим информацию об интенсивности света и его цвете. А алгоритм обработки мы вообще вряд ли узнаем, поскольку свои ноу-хау производители берегут как зеницу ока.

Мы рассмотрели, как устроена матрица фотоаппарата, а теперь перейдем к ее основным характеристикам, понимание смысла которых поможет вам правильно выбрать хороший фотоаппарат.

Размер матрицы

Самая важная характеристика. И вот почему. Любой приемник излучения обладает шумами, т. е. на полезный сигнал всегда накладывается паразитный шум. Матрица не является исключением. Из теории известно, что чем больше света поступает в приемник излучения, тем меньше относительное влияние шума. Отсюда следует очевидный вывод: чем больше площадь чувствительного элемента, тем больше на него падает света, тем меньше шум.

Таким образом, чтобы матрица меньше шумела, она должна иметь больше размер и меньше пикселей. В этом случае можно будет снимать с большей чувствительностью ISO, с длинными выдержками, в темное время суток, ночью и т. д. и получать при этом фотографии высокого качества. Рассмотрим, какие размеры имеют современные матрицы.

Исторически сложилось так, что вместо того, чтобы просто указать размеры, например в миллиметрах, для обозначения размеров матриц используются малопонятные  и запутанные величины типа 1/2,7”. Это длина диагонали матрицы в долях дюйма (надо же такое придумать!). Тем не менее, такое обозначение указывается наиболее часто, и есть мнение, что это делается специально, чтобы запутать потребителя, поскольку производители не очень любят афишировать размер матрицы. С размером тесно связано понятие кроп фактора – отношения диагонали полного кадра к диагонали матрицы, который также не вполне очевиден, но часто указывается в характеристиках фотоаппарата.

Самая большая матрица из доступных (среднеформатные мы здесь рассматривать не будем из-за их очень высокой стоимости) имеет размер полного кадра 24х36 мм (кадр малоформатной пленочной камеры). Такая матрица применяется в полнокадровых зеркалках и дорогих беззеркальных фотоаппаратах. Отличается высокой чувствительностью, малыми шумами и отличным качеством изображения.

Все остальные матрицы меньше. Самые маленькие используются в компактных любительских мыльницах, они же имеют и самые низкие характеристики. Зато и цена таких фотоаппаратов весьма доступна. Рекомендация здесь одна: покупайте фотоаппарат с большей матрицей.

Разрешение матрицы

Вторая важная характеристика. Отвечает за детализацию изображения. Измеряется в миллионах пикселей – мегапикселях (МПикс.). Чем больше разрешение, тем большего формата фотографию можно напечатать и больше увеличить изображение на мониторе. Иными словами, тем большее количество информации несет цифровой снимок.

К сожалению, эта характеристика сильно пострадала в маркетинговых войнах производителей фототехники. Когда цифровая фотография только начиналась, разрешение действительно было главным параметром матрицы. Тогда матрица фотоаппарата мыльницы имела разрешение 3 – 4 МПикс., а у профессиональных зеркалок около 6. Этого мало, поскольку с 6 МПикс. можно напечатать фотографию размером не более А4, а ведь это профессиональная камера!

Но потом началась гонка мегапикселей, которая привела к тому, что качество изображения недорогой мыльницы с 16 МПикс. стало хуже, чем у зеркалки с 10 МПикс. Маленькая матрица 1/2,7” просто не в состоянии обеспечить приемлемый световой поток для 16 МПикс. втиснутых в 5,27х3,96 мм. Снимок получается шумным, шумоподавляющие алгоритмы замыливают картинку, четкость падает. В общем, беда. А ведь с 16 МПикс можно было бы легко напечатать фотографию 40х30 см и даже больше (!). Правда, в случае матрицы большего размера (например, формата APS-C размером 25,1×16,7 мм) , а не с той, о которой я говорю.

Вы сами должны решить, фотографии какого формата будете печатать или рассматривать на мониторе. А рекомендация здесь состоит в том, что предпочтительнее выбрать матрицу с меньшим разрешением, но с большим размером, она точно будет работать лучше. Например, для матриц упомянутого выше формата APS-C оптимальным можно считать разрешение 12 – 16 МПикс. А часто ли вы печатаете фотографии формата А3?

Светочувствительность матрицы

Эта характеристика определяет возможность матрицы регистрировать слабые световые потоки, т. е. снимать в темноте или с короткими выдержками. Определяется в единицах международного стандарта ISO. Как мы уже говорили выше, чем больше чувствительность, тем больше шумов. Матрица фотоаппарата типа КМОП шумит меньше, чем ПЗС. Большая по размерам меньше, чем маленькая. С меньшим разрешением меньше чем с большим.

Обычно фотоаппарат настроен по умолчанию на чувствительность 100 ISO. Качественные крупные матрицы на 200 ISO. Рекомендую снимать с как можно меньшей чувствительностью. Повышение чувствительности приводит к шумам и оправданно только тогда, когда по-другому снять кадр вообще невозможно, например, ночью без штатива или быстродвижущийся объект в условиях недостаточной освещенности. Во всех остальных случаях устанавливайте чувствительность как можно меньше.

Соотношение сигнал/шум матрицы

Этот параметр как раз и отражает шумность матрицы. Практически мы уже рассмотрели, как матрица фотоаппарата создает шумы и от чего они зависят. Добавлю лишь то, что кроме типа, размера, чувствительности, шум зависит еще и от температуры матрицы, чем она выше, тем шум больше. А при интенсивной работе матрица нагревается. В беззеркальных фотоаппаратах матрица работает постоянно, а в зеркалках только в момент срабатывания затвора, поэтому при прочих равных условиях матрицы даже любительских зеркальных фотоаппаратов шумят меньше.

Борьба с шумом это отдельная тема. Развитие цифровой техники идет очень быстрыми темпами и с каждым годом матрицы становятся все более совершенными. Шум можно значительно уменьшить при обработке снимков в фоторедакторах, но помните, что даже великий Photoshop не всемогущ, поэтому старайтесь придерживаться рекомендаций, которые давались выше.

На этом рассмотрение матриц можно завершить. Надеюсь, что современная матрица, пришедшая на смену пленке, не разочарует вас, поэтому снимайте, экспериментируйте и учитесь! И не экономьте на матрице, хотя эта рекомендация уже из другой области.

Матрицы и камеры

Производителей цифровых камер больше, чем тех кто «умеет» делать матрицы. Схем используемых объективов не много. Но споры о том, чьи фотографии лучше не прекращаются. Алгоритмы преобразования сигнала с матрицы «в файл», дизайн и пользовательские функции — то, над чем собственно и могут потрудиться «фирменные» конструкторы.

И все же интересно — много ли зависит от матрицы и могут ли камеры с близкими по характеристикам CCD/CMOS (или даже идентичными) сильно отличаться по фотографическим возможностям и изображению.

Для сравнения были взяты экземпляры распространенных и очень удачных цифровых камер «полупрофессионального» уровня. Все они уже были испытаны ранее и описаны. Технические характеристики и описания: Canon Power Shot G2, Olympus C-5050ZOOM, Casio QV4000 и здесь, Casio QV5700, Nikon Coolpix 5000. Данные о матрицах взяты из этих же материалов, а так же статей о матрицах и итогах года. В прочем SONY и Panasonic не держат секретов об уже выпущенных светочувствительных чипах и найти их описание можно через любую поисковую систему в сети. Труднее установить, что же конкретно установлено в цифровой фотоаппарат.

Отобранные для сравнения аппараты интересны тем, что два из них практически идентичны по конструкции, но имеют матрицы разных производителей и разрешения (Casio), Canon G2 и Casio QV4000 собраны на одинаковых матрицах и объективах, но различны по конструкции и используемым алгоритмам «оцифровки», 5-ти мегапиксельные аппараты собраны на матрицах разных производителей и размеров. Так что есть, что сравнить.

То, что дизайнеры могут по разному использовать ресурсы матриц хорошо видно на примере Canon G2 и Casio QV4000. При одной и той же матрице и объективе, аппараты отличаются максимальным форматом кадра, диапазоном возможных светочувствительностей (у Casio вообще единственное базовое значение ISO) и наличием RAW (у Casio формально RAW нет). Возможно, что такая «искусственная скромность» Casio результат «рыночного соглашения». И это вполне вероятно — ведь множество функций Casio QV4000 скрыты от «рядового пользователя» (смотри здесь) но все же существуют. Прямой конкурент Casio QV5700 с 1/1,8″ матрицей Panasonic — Olympus C-5050 с такой же по размеру и разрешению матрицей от Sony. В Nikon Coolpix 5000 установлена 5 мегапиксельная и в 2/3″ — большая матрица с наибольшим размером отдельного чувствительного элемента — 3,4 микрона. При таком «большом» элементе и матрице максимальная диафрагма в F/8 и то только для широкого угла выглядит скромной в сравнении с F/10 у Olympus с его меньшей матрицей.

камера

Canon PowerShot G2

Olympus С-5050 Zoom

Casio QV4000

Casio QV5700

Nikon 5000

матрица

Sony ICX406AQ

Sony
ICX452

Sony ICX406AQ

Panasonic MN39594PH-L

Sony ICX282

матрица, размер

1/1,8″

1/1,8″

1/1,8″

1/1,8″

2/3″

матрица, эффективных элементов
млн

3,9

4,92

3,98

4,92

4,92

Размер элемента мкм

3,12×3,12

2,775×2,775

3,12×3,12

2,7×2,7

3,4×3,4

чувствительность

50, 100, 200, 400

100, 200, 400

64 (100)

50, 100, 200, 400, 800

100, 200, 400, 800

кадр

2272×1704

2560×1920

2240×1680

2560×1920

2560×1920

диафрагма

F/2,0 — F/2,5 -F/8

F/1,8 — F/10

F/2,0 — F/2,5 -F/8

F/2,0 — F/2,5 -F/8

W F/2,8 — F/8
T F/4,8 — F/7,6

Одной из ключевых характеристик цифрового фотоаппарата является его «шумность». Она и была использована для сравнения камер. Про методики определения и оценки шум можно посмотреть здесь и здесь. «Мерой шумности для цифровой фотографии можно считать стандартное отклонение — среднеквадратичное отклонение от среднего, которое выводит Photoshop для всей картинки или выделенной ее области в меню «Гистограмма» (можно смотреть значение среднего и отклонения для яркости L или любого из цветов выбранного цветового пространства RGB, HSB, LAB)».

При испытаниях на световой столик укладывалась молочная пленка, запечатанная черными чернилами различной плотности в четырех отдельных зонах. Камера устанавливалась на штатив и производилась съемка с максимальной и минимальной возможной для камеры чувствительностью. Для сглаживания неоднородностей тестового объекта объектив камеры расфокусировался, а диафрагма устанавливалась максимально открытой. Баланс белого устанавливался вручную, экспозиция по экспонометру и с вилкой ±1 ступень выдержки. Съемка производилась в TIFF или RAW. Из снимка вырезались 4 квадратика различной оптической плотности размером 150×150 пикс. Таким образом для каждого фотоаппарата было получено по набору однородных квадратиков для максимальной и минимальной чувствительности. С помощью Photoshop можно определить для каждого из квадратиков значение яркости L и стандартного отклонения яркости dL. Далее не составит труда построить зависимость шума от яркости L. Величиной, характеризующей шум традиционно считается 20хLg(dL/L). Исходные данные в Excel можно посмотреть здесь. Зависимость шума от яркости для каждой камеры представлена в фильме Shockwave Flash:Для удобства сравнения можно «включить» только необходимые камеры и величины светочувствительности.

Лучший результат при минимальной чувствительности у Nikon 5000. И это не удивительно — его чувствительный элемент наибольший, а система фильтров C-Y-G-M теоретически использует свет более эффективно, чем G-R-G-B. Так же вполне логично и то, что Canon G2 и Casio QV4000 шумят почти одинаково. 5-ти мегапиксельная матрица SONY 1/1,8″ (Olympus C-5050) шумит чуть сильнее конкурента от Panasonic (Casio QV5700). На максимальной чувствительности Nikon 5000 с его ISO 800 уступает только Olympus C-5050 с ISO 400 и лучше других аппаратов с ISO 400 и 800. Так что размер отдельной ячейки все еще важен.

Дополнительно для визуальной оценки «шумности» приведены фрагменты квадратиков близкой яркости для минимальной возможной чувствительности и разных камер (яркость некоторых фрагментов немного изменена для «удобства» сравнения, у фрагмента Casio QV4000 цвета приведены к «серому», так как ручной баланс «сработал» некорректно):

Olympus C5050ZOOM

ISO64 1/100 c F/2,6

Nikon Coolpix 5000

ISO100 1/37 c F/4,8

Canon PS G2

ISO50 1/8 c F/2,5

Casio QV4000

ISO 64 (100) 1/139 c F/2

Casio QV5700

ISO 50 1/93 c F/2

Выводы:

1. Большая матрица с большим светочувствительным элементом шумит меньше.

2. Шумы Canon G2 и Casio QV4000 очень похожи и если предположить, что у этих аппаратов с одинаковыми матрицами и объективами алгоритмы оцифровки разные, то надеяться на «всесилие математики» в борьбе с шумами пока рано и главное все же матрица.

3. Так как камеры собраны на базе близких по характеристикам матриц (или вообще одних и тех же), то как и в случае с пленкой выбирать следует (в одном классе) тот фотоаппарат, который устраивает вас функционально и просто вам «по душе».

Матрица фотоаппарата. Типы и характеристики.

Матрица фотоаппарата самая важная составляющая часть любой камеры. Именно она ответственна за создание изображения, после поступления на ее поверхность светового потока. Если описать матрицу научными словами, то это будет звучать следующим образом, микросхема состоящая из светочувствительных элементов, фотодиодов. Посмотрите следующий снимок, где показано месторасположение матрицы в блоке самого фотоаппарата («тушке»).

Матрица фотоаппарата самым прямым образом влияет на качество итогового изображения, что в сочетании с профессиональным фотообъективом приводит к точной и полной передаче всех деталей реальности.

 

1. Размер матрицы

2. Количество пикселей

3. Светочувствительность

Теперь подробнее о каждой из указанных характеристик.

Физический размер матрицы, т.е соотношение длины и ширины, измеряемой в миллиметрах, одна из самых важных характеристик матрицы. Чем больше размер, тем лучше будет качество фотографии. Почему? Большая по размеру матрицу, получает больше света, что в свою очередь связано с фактором ISO/светочувствительности. Даже при высоких значения ISO, количество шумов на фотоснимке, сделанном на профессиональную камеру с большой матрицей, будет минимальное. Чего нельзя сказать о фотоснимке сделанном, при участии маленькой матрицы.

Далее на картинке вы можете изучить самые распространенные размера матрицы в соотношение к диагонали.

Количество пикселей в матрице фотоаппарата влияет на размер изображения. Все профессиональные зеркальные фотокамеры снабжены матрицей с большим числом мегапикселей. Как результат, вы сможете распечатать большую фотографию, плакат или постер и все цвета и детали при этом, будут переданы в наилучшем качестве.

                    Типы матриц фотоаппарата.

По применяемой технологии матрицы бывают нескольких типов, но самые популярные из них:

ПЗС (CCD — Charge Coupled Device). Данный тип матрицы выпускается практически всеми фирмами производителями фотокамер (Nikon, Canon, Sony и др.). Один из очевидных плюсов высокая чувствительность и маленький уровень шумов, что положительно влияет на качество фотографии, но высокое энергопотребление.

КМПО (CMOS — Complementary Metal Oxide Semiconductor). Основные плюсы данного вида матрицы низкое энергопотребление и высокое быстродействие. В наши дни данный вид матрицы самый распространенный.

Далее, для примера я привела небольшую сравнительную характеристику фотокамер двух фирм лидеров производителей Nikon и Canon.

Профессиональные фотокамеры Nikon D5 (21,33 Мп), D810a (37,09 Мп) имеют КМОП-матрицу размером 35,9 x 24,0 мм. Компактные фотокамеры, например Nikon CoolPix L340, L2750 снабжены ПЗС матрицей.

Профессиональные фотокамеры Canon EOS – 1D X II Mark (21,5 Мп), EOS 5DS R (50,6 Мп) имеют CMOS матрицу. У Canon даже такие компактные камеры как PowerShot SX720 HS, SX 620HS также работают на  КМПО матрице.

На этом я заканчиваю свою статью под названием «Матрица Фотоаппарата», дальше будет еще больше полезных и интересных статей. Подписывайтесь на обновления моего блога, и вы будете первыми получать новые статьи.

Что важнее размер матрицы фотоаппарата или количество мегапикселей?

Физический размер матрицы фотоаппарата, мегапиксели и качество снимков

По мере развития цифровой фото и видеотехники число мегапикселей, которыми производители приманивают покупателей, становится все больше. Но мало кто знает, что на самом деле для получения качественных фотографий гораздо важнее не разрешение, а физический размер самой матрицы.

 

Давайте разберем понятие мегапиксели. Пиксель — это одна маленькая точка из миллиона других, из которых состоит изображение.

 

Эти точки разные по размеру. Применительно к цифровой матрице, каждый пиксель — это миниатюрный датчик, на который при фотосъемке попадает свет, затем он преобразуется в цифровой сигнал и в таком виде передается в компьютер фотоаппарата. Таких датчиков на матрице огромное количество. Чем больше размер самой матрицы, тем больше размер каждого пикселя и их общее количество. Поэтому зависимость между матрицей и качеством снимков – самая прямая.

 

Вроде бы логично было бы писать эту площадь в виде длины и ширины, и желательно в миллиметрах. Но поскольку почти все параметры цифровой техники пришли к нам из-за границы, принято указывать размер матрицы в так называемых обратных дюймах, т. е. дробью, где в числителе единица, а в знаменателе – дюймовый размер матрицы. Например: 1/3.2 , 1/2.7  и т.д.

Большинству покупателей эти цифры мало о чем говорят. 


Как правило, чем дешевле камера, тем меньше у нее физический размер матрицы и тем хуже качество сделанных ею фотографий.

Среди дорогих компактных камер иногда можно встретить модели с матрицей 2/3 , что обеспечивает неплохую детализацию снимков и достаточно высокую светочувствительность.

Матрицы 1/5 или 1/6 мы найдем в большинстве бюджетных зеркальных камер, это примерно половина кадра пленки 35 мм. Во многом именно за счет размера матрицы фотографии, сделанные зеркалкой, обычно выгодно отличаются от тех, которые сняты компактами.

 

Есть еще полнокадровые матрицы (36х24 мм), которые по размеру соответствуют полному кадру 35 мм, и матрицы среднего формата (60х45 мм), которые больше этого стандартного кадра и применяются в дорогих зеркальных камерах.

 

Итак, на что же, собственно, влияет размер матрицы?

 

Первое – на размер и вес самой камеры. Фотоаппараты с небольшими матрицами компактны, их можно носить в кармане. 

Камеры с большими матрицами, например, средний формат, приходится таскать в специальных кофрах, а то и вовсе использовать только в студии.

 

Второе – на увеличение цифрового шума — или, как еще по старинке говорят, зерна — на ваших снимках. «Шумные» фотографии выглядят так, будто изображение разбито на множество заметных цветных точек. Вид у них неопрятный, грязноватый.

 

Появление шума обусловлено тем, что на большую по площади матрицу попадает больше света, чем на маленькую. В результате передаваемый ею полезный сигнал будет лучшего качества, а отсюда – и лучшая проработка деталей, и более качественная цветопередача, и большая яркость картинки.

 

Кроме того, датчики большой матрицы расположены дальше друг от друга и изоляция между ними лучше, поэтому меньше пробивающих эту изоляцию токов, которые создают помехи, ухудшающие качество фотографий.

 

Отсюда, кстати, следует, что большое разрешение (те самые большие мегапиксели) при маленьком размере матрицы – скорее вредно, чем полезно. 


 

Что будет, если на матрицу одного размера впихнуть 8 000 000 пикселей и 12 000 000? Во втором случае это приведет к уменьшению размера датчиков, ухудшению слоя изоляции между ними — и увеличению цифрового шума.

 

От разрешения матрицы в мегапикселях зависит то, какого размера снимки вы сможете напечатать без заметной потери качества. Разрешения 8 мегапикселей достаточно для печати фотографий формата А4 (альбомный лист). И при малом размере матрицы такое разрешение еще не приводит к заметному цифровому шуму.

 

Выбирая себе фотоаппарат, обязательно обращайте внимание на физический  размер матрицы, желательно чтобы он был максимально большим, насколько вы сможете себе позволить по финансам. От этого напрямую зависит качество сделанных фотографий, конечно если вы выберите зеркальную камеру, советую вам не покупать стандартный «китовый» объектив, который предлагают чаще всего в комплекте. Так как оптически он очень слабый и не надежный. 

 

Но будьте готовы, что зеркальная камера с хорошим объективом будет стоить дороже компактного фотоаппарата да и будет не совсем миниатюрной.

 

Так что смотрите сами, что для вас важнее. Любые вопросы по фототехнике вы можете смело задать нашим фотографам: 

+375-29-122-92-40 (Viber)

 

+375-29-122-92-40 (whatsApp)

 

E-mail: [email protected] by

 

Skype: sigma-by

 

Пишите в чат фотографу!


Ознакомьтесь с обзором матриц, формирующих фотоизображение. Часть 1

Владимир Нескоромный

Главный редактор сайта alphapro.sony.ru

В потребительской технике всегда торжествует компромисс, о котором мы совершенно не задумываемся. Например, наше представление о передаче трехмерного пространства на плоской, двумерной фотографии, как правило, сводится к фокусному расстоянию объектива. Широкоугольник охватывает много объектов, телеобъектив — мало, кроме того, он уменьшает эффект пространственной перспективы. Но как, к примеру? 16-мм объектив, являясь широкоугольным для полнокадровой зеркалки, превращается в телевик для компактной камеры?

 

В поисках нормального объектива

Следует понимать, что характеристики объектива определяются не только (и не столько) его фокусным расстоянием, сколько размером светочувствительного элемента. В зависимости от эпохи, аналоговой или цифровой, это — кадр пленки или матрицы. Именно отношение фокусного расстояния объектива к диагонали кадрового окна и служит мерой нормальности объектива для фотоаппарата, с которым он используется. Если этот показатель значительно меньше единицы, объектив является широкоугольным, если больше — длиннофокусным, близок к единице — нормальный. Напомним, что для кадра 24х36 мм с диагональю 43,3 мм нормальными являются объективы с фокусным расстоянием f=40-60 мм; для среднего формата 6-см пленки граница нормальности f=70 мм; для полукадра 18х24 мм — f=30 мм.

 

Как формат определяет конечное качество изображения

Размер кадра пленки или матрицы определяет не только «перспективные» особенности получаемого изображения. В фотоиндустрии именно размер кадра, или формат, является компромиссным выбором, который необходим для выполнения различных требований. 

Во-первых, размер кадра определяет габариты самой камеры — большая или компактная. Во-вторых, размер кадра важен для достижения необходимой светочувствительности и детализации изображения. В-третьих, он косвенно определяет возможность и степень управления глубиной резкости. Например, в художественной портретной фотографии мы обычно стремимся к уменьшению глубины резкости. В пейзажной и технической, наоборот, к ее увеличению. В зависимости от того, какому требованию разработчики отдают предпочтение, реализуется то или иное решение.

Фотограф может снимать на форматные пленки и сканирующие задники с размерами в десятки сантиметров, когда камера достигает метровых габаритов. А сотрудник спецслужбы — использовать для выполнения задания миниатюрную камеру-пуговицу в запонке. Но каждый их них получает необходимый результат и совершенно не переживает из-за своих габаритов фототехники.

Характеристики объектива определяются не только его фокусным расстоянием, сколько размером светочувствительного элемента. Именно отношение фокусного расстояния объектива к диагонали кадрового окна и служит мерой нормальности объектива для фотоаппарата, с которым он используется. Если этот показатель значительно меньше единицы, объектив является широкоугольным, если больше — длиннофокусным, близок к единице — нормальный.

О минусах миниатюризации

Удобство использования камеры определяется возможностью ее транспортирования и выполнения съемочных настроек с помощью кнопок, дисков, тачпэдов и сенсорного экрана. Аппарат с 10-сантиметровыми габаритами кажется наиболее эргономичным, и кадр форматом в несколько сантиметров как раз ему подходит. Но если понадобится сделать компактный телезум-объектив, чтобы носить камеру в кармане, то кадр придется уменьшить. Однако тут же возникает масса проблем. При значительном уменьшении размера кадра станет весьма затруднительно реализовать сложную механику управления, юстировку оптики, сохранить достаточную светочувствительность и разрешение. На практике с этим сталкиваются обладатели недорогих смартфонов. Стремление к миниатюризации приводит к повышенным шумам, завалам резкости и контраста по полю кадра из-за неточной юстировки оптики.

 

Эпоха полного кадра

Следующее требование — обеспечение требуемого разрешения и светочувствительности. Изображение элемента снимаемого объекта регистрируется ячейкой сенсора или светочувствительным кристаллом пленки. Чем они (ячейка и кристалл) больше, тем больше светового потока смогут захватить. Соответственно, вполне закономерное желание — использовать светочувствительные элементы покрупнее. Однако возникает другая задача — разрешение, количество пикселей или кристаллов.

Чтобы увеличить разрешение, нужно увеличить размеры матрицы или кадра пленки. С пленкой проще — просто перейти на больший формат, например, 6х9 см или 4х5 дюймов.

А вот увеличивать размеры матрицы слишком дорого. Только к настоящему времени доступная цельная матрица доросла до полного кадра 24х36 мм. А ведь в свое время компании-производители даже сращивали две недорогие маленькие матрицы в одну большую. Например, такое решение было реализовано в камере Minolta RD-3000, выпущенной в 1999 году. В ней две матрицы по 1,5 Мпикс. с помощью призмы формировали изображение с финальным разрешением 2,7 Мпикс.

 

Ограничения в гонке мегапикселей

Чтобы повысить разрешение, приходится уменьшать размер регистрирующего элемента сенсора при сохранении формата матрицы. К сожалению, и для пленки, и для матрицы существует физический предел уменьшения размера отдельного элемента. А значит, что и у разрешения тоже есть свой предел. Речь идет о дифракционном рассеянии света, обусловленное ограниченностью размера объектива. Оно накладывает ограничение на минимальный шаг между светочувствительными элементами матрицы.

Например, чтобы раскрыть потенциал по разрешению объектива с диафрагмой f/2, достаточно использовать матрицу с минимальной дистанцией между светочувствительными элементами около одного микрона.

Использовать матрицу с шагом меньше 3 микрон с оптикой со светосилой f/5.6 не имеет смысла, поскольку пятно дифракционного рассеяния растет пропорционально диафрагменному числу.

В случае с пленочной фотографией ограничением на разрешение является структура фотоэмульсии. Хотя размер светочувствительного кристалла современных пленок и близок к одному микрону, но их распределение в слое эмульсии толщиной в несколько микрометров ограничивает разрешающую способность обычной фотопленки примерно 10 микронами (100 линий/мм).

 

Маленькие шаги на пути к гигантскому разрешению

А что происходит в цифровой фотографии, где матрица с шагом в один микрон уже стала реальностью? Попробуем оценить желаемую мегапиксельность полнокадровой матрицы 24х36 мм с шагом ячеек в один микрон применительно к объективу со светосилой f/2.

Тысяча элементов на миллиметр в пересчете на общее разрешение матрицы составят 24000х36000 или почти 900 Мпикс.! К сожалению, современная электроника не способна поддерживать такую матрицу, а именно, эффективно считывать и сохранять получаемый гигантский объем информации. Про массовый выпуск таких матриц мы даже не говорим.

В настоящее время в системных камерах Sony устанавливают полнокадровые матрицы с разрешением 42,4 Мпикс. и шагом 4,5 микрона (ILCE-7RM2). Имеет ли смысл дальнейшее повышение разрешения? С точки зрения потребителя, несомненно. Однако с инженерных позиций, при современном уровне развития технологий вряд ли будет оправданным стремление к повышению разрешения до дифракционного предела. Неидеальность оптики (аберрации и ошибки юстировки, фокусировки) устанавливает свои, более грубые, чем дифракционный предел, ограничения на увеличение разрешения.

В тоже время компания Sony наращивает линейку объективов серии G Master, которые способны поддерживать матрицы с разрешением в 100 Мпикс. Неужели нас ждет очередная сенсация?

Ну, а маленькие матрицы с шагом, близким к одному микрону, успешно используются в цифровых компактах и смартфонах.

Полнокадровая матрица в камере Sony A7R II. Разрешение 42,4 Мпикс.

О плюсах и минусах глубины резкости

Наконец, третья характеристика фотоизображения — глубина резкости. Для начала вспомним, что такое гиперфокальное расстояние. Мы видим резкими объекты не точно на дистанции наводки на резкость, а в некотором диапазоне около нее. И можно выбрать дистанцию наводки объектива так, что при установленной диафрагме все объекты от точки наводки на резкость и до бесконечности будут казаться резкими. Эта дистанция и есть гиперфокальное расстояние. Как правило, оно пропорционально квадрату фокусного расстояния и обратно пропорционально диафрагменному числу.

Если сравнивать результат, получаемый двумя камерами — с маленькой и большой матрицей, то окажется, что при равных условиях (угол охвата пространства и размер конечной картинки) гиперфокальное расстояние для камеры с меньшим фокусным расстоянием и небольшой матрицей будет меньше. Иными словами, при той же диафрагме на снимке компактной камеры зона резкости будет находиться ближе и будет шире, чем у камеры с большой матрицей. Это означает, что диафрагма f/2 компакта, на самом деле, вовсе не дает портретного эффекта с малой глубиной резкости, а работает как f/8-11 зеркалки или беззеркалки.

Для портретов это, может быть, и не очень здорово, а для предметной и макросъемки, наоборот, просто замечательно. Ведь за увеличение глубины резкости не нужно платить диафрагмированием объектива, длинной выдержкой, повышением светочувствительности и, в конце концов, чистотой картинки (шумами) и резкостью.

 

Заключение

На фоторынке сейчас можно встретить самые различные предложения. Однако чтобы хорошо ориентироваться в них, следует знать основные параметры фототехники и понимать важность каждого их низ применительно к своим задачам. Собственно, мы их изучили. Теперь можно переходить к выбору конкретной камеры, и этой теме посвящен следующий материал.

 

Продолжение материала (часть 2) читать здесь.

Рассекая матрицу камеры, Часть 3: Внутренняя матрица ←

13 августа 2013 г.

Сегодня мы изучим внутреннюю матрицу камеры в нашей третьей и последней главе трилогии «Рассечение матрицы камеры». В первой статье мы узнали, как разделить полную матрицу камеры на внутреннюю и внешнюю матрицы и как правильно обрабатывать неоднозначности, возникающие в этом процессе. Во второй статье внешняя матрица была рассмотрена более подробно, рассмотрены несколько различных интерпретаций ее трехмерных вращений и перемещений.Сегодня мы так же рассмотрим внутреннюю матрицу, исследуя две эквивалентные интерпретации: как описание геометрии виртуальной камеры и как последовательность простых 2D-преобразований. После этого вы увидите интерактивную демонстрацию, иллюстрирующую обе интерпретации.

Если вам не интересно углубляться в теорию и вы просто хотите использовать свою внутреннюю матрицу с OpenGL, ознакомьтесь со статьями «Калиброванные камеры в OpenGL без glFrustum», «Калиброванные камеры» и «gluPerspective».

Все эти статьи являются частью серии «Камера перспективы, интерактивный тур». Чтобы прочитать другие статьи этой серии, перейдите к оглавлению.

Внутренняя матрица преобразует координаты трехмерной камеры в двумерные координаты однородного изображения. Эта перспективная проекция моделируется идеальной камерой-обскурой, показанной ниже.

Внутренняя матрица параметризована Хартли и Зиссерманом как

\ [ K = \ left ( \ begin {array} {c c c} f_x & s & x_0 \\ 0 & f_y & y_0 \\ 0 & 0 & 1 \\ \ end {массив} \верно ) \]

Каждый внутренний параметр описывает геометрическое свойство камеры.Давайте подробно рассмотрим каждое из этих свойств.

Фокусное расстояние, \ (f_x \), \ (f_y \)

Фокусное расстояние — это расстояние между отверстием и пленкой (или плоскостью изображения). По причинам, которые мы обсудим позже, фокусное расстояние измеряется в пикселях. В настоящей камере-обскуре и \ (f_x \), и \ (f_y \) имеют одинаковое значение, которое показано как \ (f \) ниже.

На практике \ (f_x \) и \ (f_y \) могут различаться по ряду причин:

  • Дефекты сенсора цифровой камеры.
  • Изображение было неравномерно масштабировано при постобработке.
  • Объектив камеры создает непреднамеренное искажение.
  • В камере используется анаморфотный формат, в котором объектив сжимает широкоэкранную сцену в матрицу стандартного размера.
  • Ошибки калибровки камеры.

Во всех этих случаях результирующее изображение имеет неквадратные пиксели.

Наличие двух разных фокусных расстояний не очень интуитивно понятно, поэтому в некоторых текстах (например, Форсайт и Понсе) используется одно фокусное расстояние и «соотношение сторон», которое описывает величину отклонения от идеально квадратного пикселя.Такая параметризация хорошо отделяет геометрию камеры (то есть фокусное расстояние) от искажения (соотношения сторон).

Смещение главной точки, \ (x_0 \), \ (y_0 \)

«Главная ось» камеры — это линия, перпендикулярная плоскости изображения, которая проходит через точечное отверстие. Его пересечение с плоскостью изображения называется «главной точкой», как показано ниже.

«Смещение главной точки» — это положение главной точки относительно исходной точки пленки.Точное определение зависит от того, какое соглашение используется для определения местоположения происхождения; на иллюстрации ниже предполагается, что он находится в нижнем левом углу фильма.

Увеличение \ (x_0 \) смещает точечное отверстие вправо:

Это эквивалентно смещению пленки влево и оставлению точечного отверстия без изменений.

Обратите внимание, что рамка, окружающая камеру, не имеет значения, имеет значение только положение точечного отверстия относительно пленки.

Наклон оси, \ (s \)

Наклон оси вызывает сдвиговое искажение проецируемого изображения. Насколько мне известно, нет никакого аналога наклону оси для настоящей камеры-обскуры, но очевидно, что некоторые процессы оцифровки могут вызвать ненулевой перекос. Мы рассмотрим перекос подробнее позже.

Прочие геометрические свойства

Фокусное расстояние и смещение главной точки представляют собой простые перемещения пленки относительно точечного отверстия. Должны же быть другие способы трансформировать камеру, верно? А как насчет поворота или масштабирования пленки?

Вращение пленки вокруг точечного отверстия эквивалентно вращению самой камеры, которым управляет внешняя матрица.Вращение пленки вокруг любой другой фиксированной точки \ (x \) эквивалентно вращению вокруг отверстия \ (P \) с последующим перемещением на \ ((x-P) \).

А как насчет масштабирования? Должно быть очевидно, что удвоение всех размеров камеры (размера пленки и фокусного расстояния) не влияет на снимаемую сцену. Если вместо этого вы удвоите размер пленки и фокусное расстояние , а не , это будет эквивалентно удвоению обоих (без операции) и последующему уменьшению фокусного расстояния вдвое. Таким образом, явное представление масштаба фильма было бы излишним; он фиксируется фокусным расстоянием.

Фокусное расстояние — от пикселей до мировых единиц

Это обсуждение масштабирования камеры показывает, что существует бесконечное количество камер-обскур, которые производят одно и то же изображение. Внутренняя матрица касается только отношения между координатами камеры и координатами изображения, поэтому абсолютные размеры камеры не имеют значения. Использование пиксельных единиц для фокусного расстояния и смещения главной точки позволяет нам представить относительные размеры камеры, а именно положение пленки относительно ее размера в пикселях.

Другими словами, внутреннее преобразование камеры инвариантно к равномерному масштабированию геометрии камеры. Представляя размеры в пикселях, мы естественным образом фиксируем эту неизменность.

Вы можете использовать аналогичные треугольники для преобразования пиксельных единиц в мировые единицы (например, мм), если вы знаете хотя бы одно измерение камеры в мировых единицах. Например, если вы знаете, что пленка камеры (или цифровой датчик) имеет ширину \ (W \) в миллиметрах, а ширина изображения в пикселях равна \ (w \), вы можете преобразовать фокусное расстояние \ (f_x \) в мировых единиц, использующих:

\ [F_x = f_x \ frac {W} {w} \]

Другие параметры \ (f_y \), \ (x_0 \) и \ (y_0 \) могут быть преобразованы в их аналоги в мировых единицах \ (F_y \), \ (X_0 \) и \ (Y_0 \), используя аналогичные уравнения:

\ [ \ begin {array} {ccc} F_y = f_y \ frac {H} {h} \ qquad X_0 = x_0 \ frac {W} {w} \ qquad Y_0 = y_0 \ frac {H} {h} \ end {массив} \]

Как мы обсуждали ранее, только расположение отверстия и материала пленки, поэтому физическая коробка, окружающая камеру, не имеет значения. По этой причине во многих обсуждениях геометрии камеры используется более простое визуальное представление: пирамида камеры.

Область обзора камеры имеет форму пирамиды, которую иногда называют «конусом видимости». Давайте добавим к нашей сцене несколько трехмерных сфер и покажем, как они попадают в конус видимости, и создадим изображение.

Так как «коробочка» камеры не имеет значения, снимем ее. Также обратите внимание, что изображение в фильме представляет собой зеркальную версию реальности. Чтобы исправить это, мы будем использовать «виртуальный образ» вместо самого фильма.Виртуальное изображение имеет те же свойства, что и изображение на пленке, но в отличие от настоящего изображения виртуальное изображение появляется перед камерой, а проецируемое изображение переворачивается.

Обратите внимание, что положение и размер плоскости виртуального изображения произвольны — мы могли бы удвоить ее размер, если бы мы также удвоили расстояние от отверстия.

После удаления истинного изображения мы остаемся с представлением «усеченной пирамиды» нашей камеры-обскуры.

Точечное отверстие было заменено кончиком конуса видимости, и пленка теперь представлена ​​виртуальной плоскостью изображения.Позже мы будем использовать это представление для нашей демонстрации.

В предыдущих разделах мы интерпретировали наши входящие 3-вектора как координаты трехмерного изображения, которые преобразуются в координаты однородного двухмерного изображения. В качестве альтернативы мы можем интерпретировать эти 3-вектора как однородные 2D-координаты, которые преобразуются в новый набор 2D-точек. Это дает нам новый взгляд на внутреннюю матрицу: последовательность двумерных аффинных преобразований.

Мы можем разложить внутреннюю матрицу на последовательность преобразований сдвига, масштабирования и переноса, соответствующих перекосу оси, фокусному расстоянию и смещению главной точки, соответственно:

\ [ \ begin {align} K & = \ left ( \ begin {array} {c c c} f_x & s & x_0 \\ 0 & f_y & y_0 \\ 0 & 0 & 1 \\ \ end {массив} \верно ) \\ [0. 5em] знак равно \ underbrace { \оставил ( \ begin {array} {c c c} 1 & 0 & x_0 \\ 0 & 1 & y_0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-перевод} \ раз \ underbrace { \оставил ( \ begin {array} {c c c} f_x & 0 & 0 \\ 0 & f_y & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-масштабирование} \ раз \ underbrace { \оставил ( \ begin {array} {c c c} 1 & s / f_x & 0 \\ 0 & 1 & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D сдвиг} \ end {align} \]

Эквивалентное разложение помещает сдвиг после масштабирования :

\ [ \ begin {align} K & = \ underbrace { \оставил ( \ begin {array} {c c c} 1 & 0 & x_0 \\ 0 & 1 & y_0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-перевод} \ раз \ underbrace { \оставил ( \ begin {array} {c c c} 1 & s / f_y & 0 \\ 0 & 1 & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D сдвиг} \ раз \ underbrace { \оставил ( \ begin {array} {c c c} f_x & 0 & 0 \\ 0 & f_y & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-масштабирование} \ end {align} \]

Эта интерпретация прекрасно разделяет внешние и внутренние параметры на области 3D и 2D, соответственно. Также подчеркивается, что внутреннее преобразование камеры происходит после проекции . Одним из примечательных результатов этого является то, что внутренние параметры не могут влиять на видимость. — закрытые объекты не могут быть обнаружены простыми двухмерными преобразованиями в пространстве изображения.

Демо ниже иллюстрирует обе интерпретации внутренней матрицы. Слева — интерпретация «геометрии камеры». Обратите внимание, как точечное отверстие перемещается относительно плоскости изображения при настройке \ (x_0 \) и \ (y_0 \).

Справа — интерпретация «2D-трансформации». Обратите внимание, как изменение результатов фокусного расстояния приводит к масштабированию проецируемого изображения, а изменение главной точки приводит к чистому преобразованию.

Для этой демонстрации требуется

Javascript.

Слева : сцена с камерой и просматриваемым объемом. Виртуальная плоскость изображения отображается желтым цветом. Справа : изображение камеры.

В ходе этой серии статей мы увидели, как разложить

  1. полная матрица камеры на внутреннюю и внешнюю матрицы,
  2. внешняя матрица в трехмерное вращение с последующим переносом, а
  3. внутреннюю матрицу на три основных 2D преобразования.\ text {Внешняя матрица} \\ [0.5em] знак равно \ overbrace { \ underbrace { \оставил ( \ begin {array} {c c c} 1 & 0 & x_0 \\ 0 & 1 & y_0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-перевод} \ раз \ underbrace { \оставил ( \ begin {array} {c c c} f_x & 0 & 0 \\ 0 & f_y & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-масштабирование} \ раз \ underbrace { \оставил ( \ begin {array} {c c c} 1 & s / f_x & 0 \\ 0 & 1 & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D сдвиг} } ^ \ text {Внутренняя матрица} \ раз \ overbrace { \ underbrace { \ left (\ begin {array} {c | c} Я & \ mathbf {t} \ end {array} \ right) } _ \ text {3D-перевод} \ раз \ underbrace { \ left (\ begin {array} {c | c} R & 0 \\ \ hline 0 и 1 \ end {array} \ right) } _ \ text {3D-вращение} } ^ \ text {Внешняя матрица} \ end {align} \]

    Чтобы увидеть все эти преобразования в действии, перейдите на мою страницу «Игрушка с перспективной камерой», где представлена ​​интерактивная демонстрация камеры с полной перспективой.

    Есть ли у вас другие способы интерпретации внутренней матрицы камеры? Оставьте комментарий или напишите мне!

    В следующий раз мы покажем, как подготовить откалиброванную камеру для создания пар стереоизображений. Увидимся позже!

    Сообщение от Кайл Симек
    Пожалуйста, включите JavaScript, чтобы просматривать комментарии от Disqus. комментарии в блоге, разработанные

    Рассечение матрицы камеры, часть 2: Внешняя матрица ←

    22 августа 2012 г.

    Добро пожаловать в третий пост из серии «Камера перспективы — Интерактивный тур».«В предыдущем посте мы узнали, как разложить матрицу камеры на произведение внутренней и внешней матриц. В следующих двух постах мы рассмотрим внешние и внутренние матрицы более подробно. Сначала мы рассмотрим различные способы глядя на внешнюю матрицу, с интерактивной демонстрацией в конце.

    Внешняя матрица камеры

    Внешняя матрица камеры описывает положение камеры в мире и направление, в котором она направлена. Те, кто знаком с OpenGL, знают это как «матрицу просмотра» (или свернутую в «матрицу просмотра модели»).Он состоит из двух компонентов: матрицы поворота R и вектора переноса t , но, как мы скоро увидим, они не совсем соответствуют повороту и перемещению камеры. Сначала мы исследуем части внешней матрицы, а позже мы рассмотрим альтернативные способы описания позы камеры, которые более интуитивно понятны.

    Внешняя матрица принимает форму жесткой матрицы преобразования: матрица вращения 3×3 в левом блоке и вектор-столбец переноса 3×1 справа:

    \ [[R \, | \, \ boldsymbol {t}] = \ left [\ begin {array} {ccc | c} r_ {1,1} & r_ {1,2} & r_ {1,3} & t_1 \\ r_ {2,1} & r_ {2,2} & r_ {2,3} & t_2 \\ r_ {3,1} & r_ {3,2} & r_ {3,3} & t_3 \\ \ end {array} \ right] \]

    Обычно можно увидеть версию этой матрицы с дополнительной строкой (0,0,0,1), добавленной внизу.Это делает матрицу квадратной, что позволяет нам дополнительно разложить эту матрицу на поворот на , за которым следует перевод на :

    \ [ \ begin {align} \оставил [ \ begin {array} {c | c} R & \ boldsymbol {t} \\ \ hline \ boldsymbol {0} & 1 \ end {массив} \ right] & = \оставил [ \ begin {array} {c | c} Я & \ boldsymbol {t} \\ \ hline \ boldsymbol {0} & 1 \ end {массив} \верно ] \ раз \оставил [ \ begin {array} {c | c} R & \ boldsymbol {0} \\ \ hline \ boldsymbol {0} & 1 \ end {массив} \верно ] \\ знак равно \ left [\ begin {array} {ccc | c} 1 & 0 & 0 & t_1 \\ 0 & 1 & 0 & t_2 \\ 0 & 0 & 1 & t_3 \\ \ hline 0 & 0 & 0 & 1 \ end {array} \ right] \ times \ left [\ begin {array} {ccc | c} r_ {1,1} & r_ {1,2} & r_ {1,3} & 0 \\ r_ {2,1} & r_ {2,2} & r_ {2,3} & 0 \\ r_ {3,1} & r_ {3,2} & r_ {3,3} & 0 \\ \ hline 0 & 0 & 0 & 1 \ end {array} \ right] \ end {align} \]

    Эта матрица описывает, как преобразовать точки в мировых координатах в координаты камеры. Вектор t может быть интерпретирован как положение начала координат мира в координатах камеры, а столбцы R представляют направления мировых осей в координатах камеры.

    Важно помнить, что внешняя матрица описывает, как мир трансформируется относительно камеры . Это часто противоречит интуиции, потому что мы обычно хотим указать, как камера трансформируется относительно мира .Далее мы рассмотрим два альтернативных способа описания внешних параметров камеры, которые более интуитивно понятны, и способы их преобразования в форму внешней матрицы.

    Построение внешней матрицы из позы камеры

    Часто более естественно указать позу камеры напрямую, чем указывать, как точки мира должны преобразовываться в координаты камеры. К счастью, построить внешнюю матрицу камеры таким способом легко: просто создайте жесткую матрицу преобразования, которая описывает позу камеры, а затем возьмите ее обратную. TC \\ \ hline \ boldsymbol {0} & 1 \\ \ end {массив} \ right] & \ text {(умножение матриц)} \ end {align}

    При применении инверсии мы используем тот факт, что инверсией матрицы вращения является ее транспонирование, а инвертирование матрицы переноса просто инвертирует вектор переноса.Т \\ \ boldsymbol {t} & = -RC \ end {align} \]

    Некоторые тексты пишут внешнюю матрицу, заменяя -RC на t , что смешивает мировое преобразование ( R ) и нотацию преобразования камеры ( C ).

    Смотровая камера

    Читатели, знакомые с OpenGL, могут предпочесть третий способ определения позы камеры, используя (a) положение камеры, (b) то, на что она смотрит, и (c) направление «вверх».В унаследованном OpenGL это выполняется функцией gluLookAt (), поэтому мы назовем ее «обзорной» камерой. Пусть C будет центром камеры, p будет целевой точкой, а u будет направлением вверх. Алгоритм вычисления матрицы вращения (перефразирован из документации OpenGL):

    1. Вычислить L = p — C.
    2. Нормализовать L.
    3. Вычислить s = L x u. (перекрестное произведение)
    4. Нормализовать s.
    5. Вычислить u ‘= s x L.

    Тогда матрица внешнего вращения определяется по формуле:

    \ [ R = \ left [ \ begin {array} {ccc} s_1 & s_2 & s_3 \\ u_1 ‘& u_2’ & u_3 ‘\\ -L_1 и -L_2 и -L_3 \ end {массив} \верно] \]

    (обновлено 21 мая 2014 г. — транспонированная матрица)

    Вектор трансляции можно получить так же, как и раньше: t = -RC .

    Попробуйте!

    Ниже представлена ​​интерактивная демонстрация трех различных способов параметризации внешних параметров камеры.Обратите внимание на то, как камера по-разному перемещается при переключении между тремя параметрами.

    Для этого требуется браузер с поддержкой WebGL и включенным Javascript.

    Для этой демонстрации требуется

    Javascript.

    Слева : сцена с камерой и просматриваемым объемом. Виртуальная плоскость изображения отображается желтым цветом. Справа : изображение камеры.

    Настройте внешние параметры, указанные выше.

    Это параметризация, ориентированная на мир. Эти параметры описывают, как мир изменяется относительно камеры . Эти параметры соответствуют непосредственно записям в матрице внешней камеры.

    При настройке этих параметров обратите внимание на то, как камера движется в мире (левая панель), и контрастируйте с параметризацией «ориентированной на камеру»:

    • Вращение влияет на положение камеры (синий прямоугольник).
    • Направление движения камеры зависит от текущего поворота.
    • Положительное вращение перемещает камеру по часовой стрелке (или, что эквивалентно, вращает мир против часовой стрелки).

    Также обратите внимание, как влияет на изображение (правая панель):

    • Вращение никогда не перемещает начало мира (красный шар).
    • Изменение \ (t_x \) всегда перемещает сферы по горизонтали, независимо от вращения.
    • Увеличение \ (t_z \) всегда перемещает камеру ближе к исходной точке мира.

    Настройте внешние параметры, указанные выше.

    Это параметризация, ориентированная на камеру, которая описывает, как камера изменяется относительно мира . Эти параметры соответствуют элементам матрицы внешней камеры inverse .

    При настройке этих параметров обратите внимание на то, как камера перемещается в мире (левая панель), и контрастируйте с параметризацией «мир-центричность»:

    • Вращение происходит относительно положения камеры (синий прямоугольник).
    • Направление движения камеры не зависит от текущего поворота.
    • Положительное вращение вращает камеру против часовой стрелки (или, что эквивалентно, вращает мир по часовой стрелке).
    • Увеличение \ (C_y \) всегда перемещает камеру к небу, независимо от поворота.

    Также обратите внимание, как влияет на изображение (правая панель):

    • При вращении вокруг оси y обе сферы перемещаются по горизонтали.
    • При разных поворотах изменение \ (C_x \) перемещает сферы в разных направлениях.

    Настройте внешние параметры, указанные выше.

    Это параметризация «взгляда», которая описывает ориентацию камеры с точки зрения того, на что она смотрит. Отрегулируйте \ (p_x \), \ (p_y \) и \ (p_z \), чтобы изменить направление взгляда камеры (оранжевая точка). Вектор вверх зафиксирован на (0,1,0) ‘. Обратите внимание, что перемещение центра камеры, * C *, приводит к повороту камеры.

    Настройте внутренние параметры, указанные выше. При настройке этих параметров наблюдайте, как изменяется громкость просмотра на левой панели:

    • При изменении фокусного расстояния желтая фокальная плоскость перемещается, что меняет угол поля зрения просматриваемого объема.
    • Изменение главной точки влияет на то, где зеленая центральная линия пересекает фокальную плоскость.
    • Установка наклона на ненулевое значение приводит к тому, что фокальная плоскость становится непрямоугольной

    Внутренние параметры приводят только к двумерным преобразованиям; глубина объектов игнорируется. Чтобы убедиться в этом, посмотрите, как на изображение в правой панели влияет изменение внутренних параметров:

    • Изменение фокусного расстояния одинаково масштабирует ближнюю и дальнюю сферу.
    • Изменение главной точки не влияет на параллакс.
    • Никакая комбинация внутренних параметров не позволит выявить закрытые части объекта.

    Заключение

    Мы только что изучили три различных способа параметризации внешнего состояния камеры. Какую параметризацию вы предпочитаете использовать, зависит от вашего приложения. Если вы пишете шутер от первого лица в стиле Wolfenstein, вам может понравиться параметризация, ориентированная на мир, потому что движение по (t_z) всегда соответствует движению вперед.Или вы можете интерполировать камеру через путевые точки в вашей сцене, и в этом случае предпочтительна параметризация, ориентированная на камеру, поскольку вы можете напрямую указать положение своей камеры. Если вы не уверены, что предпочитаете, поиграйте с указанным выше инструментом и решите, какой подход кажется наиболее естественным.

    Присоединяйтесь к нам в следующий раз, когда мы исследуем внутреннюю матрицу, и мы узнаем, почему скрытые части вашей сцены никогда не могут быть обнаружены путем увеличения вашей камеры. Увидимся позже!

    Сообщение от Кайл Симек
    Пожалуйста, включите JavaScript, чтобы просматривать комментарии от Disqus.комментарии в блоге, разработанные Модель проекционной камеры

    | imatest


    Не рекомендуется в текущей версии



    Модель проекционной камеры описывает математику преобразования мировой точки в точку изображения. Это делается с помощью модели камеры с отверстиями. Вместе с моделью искажения, которая характеризует отклонение от модели точечного отверстия, этим методом можно моделировать большинство камер *.j \ left (\ mathbf {X} _ {i} \ right) \)

    Есть три компонента для применения модели проективного преобразования: внешние элементы, модель камеры-точечного отверстия и искажение точек для учета разницы между встроенной камерой и моделью-крошечным отверстием.

    Проекция трехмерных точек в модели камеры-обскуры.

    Изображение проецируемых точек.

    Внутренние функции камеры описывают свойства модели камеры-обскуры, которые связывают относительные мировые координаты камеры относительно камеры с координатами изображения.В модели крошечного отверстия лучи проходят по прямой линии от объекта в сцене через крошечное отверстие к фокальной плоскости. Геометрия этого подобна треугольникам, связывающим мировые координаты с координатами изображения. Математическая модель для этого использует 5 параметров: фокусное расстояние в направлениях x и y, основная точка в направлениях x и y и перекос между направлениями x и y.

    Параметры

    Фокусное расстояние

    В модели точечного отверстия фокусное расстояние, \ (f \) — это расстояние от точечного отверстия до фокальной плоскости вдоль оптической оси.Системы с большим фокусным расстоянием будут иметь большее увеличение в более узком поле зрения (FOV), тогда как меньшие фокусные расстояния будут иметь больший охват.

    Возможно иметь разное фокусное расстояние вдоль каждого направления фокальной плоскости. В этом случае фокусное расстояние оси \ (y \) изменяется на \ (\ alpha \).

    \ (f_y = \ alpha \ cdot f \)

    Для настоящей камеры-обскуры \ (f_x = f_y \) (\ (\ alpha = 1 \)), однако на практике это может быть связано с факторами, включая производственные дефекты, искажение объектива и изображения, полученные с помощью системы сканирования.Интерпретация неравных фокусных расстояний заключается в том, что эффективная форма пикселя не является квадратной.

    Принцип

    Точка \ ((pp_x, pp_y) \) — это основная точка, которая представляет собой пиксельную координату пересечения оптической оси с фокальной плоскостью. Функция сдвига наклона-сдвига перемещает фокальную плоскость (и главную точку) вокруг оптической оси.

    Косой

    Фактор перекоса \ (s \) вводит трансформацию сдвига изображения.Для многих камер это 0. Случаи, когда оно не равно нулю, включают в себя фотографирование изображения (введение гомографии) и несинхронизацию процесса выборки пикселей из фреймграббера. Ненулевой перекос означает, что оси x и y камеры не перпендикулярны друг другу.

    Внутренняя матрица

    Внутренняя матрица, \ (\ mathbf {K} \) — это верхнетреугольная матрица, которая преобразует мировую координату относительно камеры в координату однородного изображения. Существует две общие и эквивалентные формы внутренней матрицы:

    \ (\ mathbf {K} = \ begin {bmatrix} f & s & pp_x \\ 0 & f \ cdot \ alpha & pp_y \\ 0 & 0 & 1 \ end {bmatrix} \)

    \ (\ mathbf {K} = \ begin {bmatrix} f_x & s & pp_x \\ 0 & f_y & pp_y \\ 0 & 0 & 1 \ end {bmatrix} \)

    Многие камеры могут быть представлены с более простой внутренней матрицей.Если перекос равен 0:

    \ (\ mathbf {K} = \ begin {bmatrix} f_x & 0 & pp_x \\ 0 & f_y & pp_y \\ 0 & 0 & 1 \ end {bmatrix} \)

    Если перекос равен 0 и \ (\ alpha = 1 \):

    \ (\ mathbf {K} = \ begin {bmatrix} f & 0 & pp_x \\ 0 & f & pp_y \\ 0 & 0 & 1 \ end {bmatrix} \)

    Внутренняя матрица камеры \ (j \) th применяется к трехмерной точке \ (i \) th относительно камеры для получения однородной точки изображения. \ top \) будет точкой относительно камеры.Предположим, что

    \ (\ begin {bmatrix} x \\ y \\ w \ end {bmatrix} = \ begin {bmatrix} f & 0 & pp_x \\ 0 & f & pp_y \\ 0 & 0 & 1 \ end {bmatrix} \ begin {bmatrix} X \\ Y \\ Z \ end {bmatrix} \)

    \ (\ begin {bmatrix} x \\ y \\ w \ end {bmatrix} = \ begin {bmatrix} f \ cdot X + pp_x \ cdot Z \\ f \ cdot Y + pp_y \ cdot Z \\ Z \ конец {bmatrix} \)

    После преобразования в неоднородные координаты

    \ (\ begin {bmatrix} x ‘\\ y’ \ end {bmatrix} = \ begin {bmatrix} \ displaystyle \ frac {f \ cdot X + pp_x \ cdot Z} {Z} \\ \ displaystyle \ frac { е \ cdot Y + pp_y \ cdot Z} {Z} \ end {bmatrix} = \ begin {bmatrix} f \ cdot \ displaystyle \ frac {X} {Z} + pp_x \\ f \ cdot \ displaystyle \ frac {Y } {Z} + pp_y \ end {bmatrix} \)

    Проверка этого результата показывает, что расстояние от оптической оси (основной точки) пропорционально отношению расстояния мировых точек от оптической оси к расстоянию до камеры.Это означает, что точка, которая вдвое дальше от оптической оси и вдвое дальше от камеры, будет соответствовать той же точке изображения. Лучшая реконструкция точки с помощью одной камеры состоит в том, что точка находится где-то на линии.

    Квартир

    Все эти значения рассчитываются в единицах количества пикселей. Шаг пикселя \ (p \) используется для преобразования количества пикселей в физические единицы. Например:

    \ (f [\ mathrm {mm}] = f [\ mathrm {пикселей}] \ cdot p \ left [\ frac {\ mu \ mathrm {m}} {\ mathrm {pixel}} \ right] \ cdot \ гидроразрыв {1 [\ mathrm {mm}]} {1000 [\ mu \ mathrm {m}]} \)

    обратный

    Инверсия внутренней матрицы камеры используется для преобразования неискаженных точек изображения в линии от центра камеры.{-1} = \ displaystyle \ frac {1} {f} \ begin {bmatrix} 1 & 0 & -pp_x \\ 0 & 1 & -pp_y \\ 0 & 0 & f \ end {bmatrix} \)

    Модель искажения камеры описывает отклонение физической камеры от модели проекционной камеры. Он преобразует неискаженные точки 2D-изображения в точки искаженного 2D-изображения (те, которые находятся за пределами камеры). Модель обратной дисторсии преобразует точки искаженного изображения в неискаженные.

    Внешний вид камеры описывает положение и ориентацию камеры в мире.Существует два способа описания преобразования координат между мировыми координатами и координатами относительно камеры: преобразование точки и преобразование осей (поза). Они оба имеют одинаковую форму матрицы вращения / переноса и являются противоположными друг другу.

    Центр камеры соответствует расположению входного зрачка камеры. В панорамной фотографии это часто называют точкой отсутствия параллакса. Камеры с большим полем зрения (например, камеры «рыбий глаз») будут иметь разные положения входного зрачка при разных углах поля зрения.Для этих камер используется осевое расположение входного зрачка.

    Точечное преобразование

    Описание преобразования точки преобразует мировую точку в точку относительно камеры. Его матрица вращения / перемещения прямо умножается вправо на внутреннюю матрицу для формирования матрицы камеры. {\ top} \ mathbf {t} \\ &&& \ end {array} \ right] \ begin {bmatrix} X \\ Y \\ Z \\ 1 \ end {bmatrix} \)

    В обозначении позы камеры центр камеры расположен в \ (\ mathbf {t} \).

    Матрица камеры, \ (\ mathbf {P} \), представляет собой комбинацию внутренней матрицы камеры и точечного преобразования.

    \ (\ mathbf {P} = \ left [\ begin {array} {ccc} && \\ & \ mathbf {K} & \\ && \ end {array} \ right] \ left [\ begin {array} { ccc | c} &&& \\ & \ mathbf {R} && \ mathbf {t} \\ &&& \ end {array} \ right] \)

    Матрица камеры преобразует точки мира в координаты однородного изображения.

    Мировые точки к точкам изображения

    1. Преобразует мировую координату в координату относительно камеры путем умножения на мировую точку в преобразование точки изображения.Это преобразование является обратной позе.
    2. Примените внутреннюю матрицу камеры к относительной координате камеры, чтобы получить однородную координату изображения.
    3. Преобразует однородную координату изображения в неоднородную координату.
    4. Примените модель искажения, чтобы определить положение изображения мировой точки на фокальной плоскости.
    Обозначение преобразования точек

    \ (\ begin {bmatrix} x \\ y \\ w \ end {bmatrix} = \ underbrace {\ left [\ begin {array} {ccc} && \\ & \ mathbf {K} & \\ && \ end {array} \ right]} _ {\ mathrm {intrinics}} \ underbrace {\ left [\ begin {array} {ccc | c} &&& \\ & \ mathbf {R} && \ mathbf {t} \\ &&& \ конец {массив} \ right]} _ {\ mathrm {обратная \ поза}} \ begin {bmatrix} X \\ Y \\ Z \\ 1 \ end {bmatrix} \)

    \ (\ begin {bmatrix} x ‘\\ y’ \ end {bmatrix} = \ begin {bmatrix} \ mathrm {distort} _ {x} \! \! \ Left (\ displaystyle \ frac {x} {w } \ right) \\\ mathrm {искажать} _ {y} \! \! \ left (\ displaystyle \ frac {y} {w} \ right) \ end {bmatrix} \)

    Обозначение преобразования осей

    \ (\ begin {bmatrix} x \\ y \\ w \ end {bmatrix} = \ underbrace {\ left [\ begin {array} {ccc} && \\ & \ mathbf {K} & \\ && \ end {array} \ right]} _ {\ mathrm {intrinics}} \ underbrace {\ left [\ begin {array} {ccc | c} &&& \\ & \ mathbf {R} ^ {\ top} && — \ mathbf { R} ^ {\ top} \ mathbf {t} \\ &&& \ end {array} \ right]} _ {\ mathrm {inverse \ pose}} \ begin {bmatrix} X \\ Y \\ Z \\ 1 \ конец {bmatrix} \)

    \ (\ begin {bmatrix} x ‘\\ y’ \ end {bmatrix} = \ begin {bmatrix} \ mathrm {distort} _ {x} \! \! \ Left (\ displaystyle \ frac {x} {w } \ right) \\\ mathrm {искажать} _ {y} \! \! \ left (\ displaystyle \ frac {y} {w} \ right) \ end {bmatrix} \)

    Изображение указывает на линии

    1. Примените модель обратной дисторсии, чтобы неискажать точки изображения. Это помещает их в геометрию камеры-обскуры.
    2. Преобразуйте координату изображения в однородную координату с весом \ (w \). Можно использовать любое действительное, отличное от нуля \ (w \), однако два общих из них — это 1 или расстояние от центра камеры до мировой точки.
    3. Умножьте координату однородного изображения на величину, обратную внутренней матрице камеры. Этот вектор является вектором направления линии между точкой и центром камеры в координатах относительно камеры.
    4. Примените поворот позы камеры (обратный матрице точечного преобразования) к вектору направления.\ top \ right | \ right | \) — расстояние от центра камеры (расположение входного зрачка) до мировой точки.

      Матрицы преобразования цвета в цифровых камерах: учебное пособие

      1.

      Введение

      Рассмотрите возможность преобразования сцены, снятой цифровой камерой в необработанном пространстве камеры, в цифровое изображение, подходящее для отображения с использованием цветового пространства, ориентированного на вывод. По крайней мере, есть два принципиально важных вопроса, которые необходимо решить, пытаясь правильно воспроизвести внешний вид цвета.Во-первых, функции отклика цифровых фотоаппаратов отличаются от функций зрительной системы человека (HVS). Широко используемый подход к этой проблеме состоит в том, чтобы рассматривать цветовые пространства как векторные пространства и учитывать различия в ответах путем введения матрицы преобразования цвета. Типом матрицы преобразования цвета, который обычно встречается, является матрица характеристик 3 × 3 T_, которая определяет линейную взаимосвязь между необработанным пространством камеры и эталонным цветовым пространством CIE XYZ:

      В общем, необработанные пространства камеры не являются колориметрическими, поэтому приведенное выше преобразование приблизительное.Взаимосвязь может быть оптимизирована для данного источника света путем минимизации ошибки цвета. Примечательно, что это означает, что оптимальная T_ зависит от характера источника света сцены, 1 , 2 , включая его точку белого (WP). Методология характеристики для определения оптимального T_ описана в разд. 2.4, вместе с иллюстрацией того, как T_ следует нормализовать на практике.

      Вторая проблема, которую необходимо решить, — это восприятие сцены освещения WP.Хотя различные механизмы адаптации, используемые HVS, сложны и не до конца понятны, считается, что HVS естественным образом использует механизм хроматической адаптации для регулировки своего восприятия WP освещения сцены для достижения постоянства цвета при различных условиях освещения. 3 , 4 Поскольку датчики цифровых камер не адаптируются естественным образом таким образом, неправильный баланс белого (WB) будет возникать, когда WP освещения сцены отличается от эталонного белого цветового пространства, связанного с выходом, используемого для кодировать выходное изображение, созданное камерой.Как показано в разд. 3, цифровые камеры должны пытаться имитировать этот механизм хроматической адаптации, используя соответствующее преобразование хроматической адаптации (CAT).

      Как обсуждалось в разд. 4, современные смартфоны и коммерческие необработанные преобразователи обычно вычисляют оптимальную характеристическую матрицу T_ путем интерполяции между двумя предварительно установленными характеристическими матрицами в соответствии с оценкой WP освещения сцены, и CAT реализуется после применения T_. В традиционных цифровых камерах преобразование цвета обычно переформулируется в терминах множителей необработанных каналов и матриц вращения цвета R_.Этот подход предлагает несколько преимуществ, как обсуждалось в разд. 5. Аналогичный, но более простой в вычислительном отношении подход используется конвертером исходных файлов DCRaw с открытым исходным кодом, как обсуждается в разд. 6. Конвертер цифровых негативов Adobe ® с открытым исходным кодом (DNG) предлагает два метода преобразования цветов, и природа цветовых матриц Adobe и прямых матриц обсуждается в разд. 7. Наконец, в разд. 8.

      2.

      Camera Raw Space

      2.1.

      Gamut

      Необработанное пространство камеры для данной модели камеры возникает из ее набора функций спектральной чувствительности или функций отклика камеры:

      Eq.(2)

      Ri (λ) = QEi (λ) eλhc, где e — заряд элемента, λ — длина волны, h — постоянная Планка, а c — скорость света. Внешний квантовый выход для мозаики i определяется формулой

      Eq. (3)

      QEi (λ) = TCFA, i (λ) η (λ) T (λ) FF, где TCFA, i — функция пропускания матрицы цветных фильтров (CFA) для мозаики i, η (λ) — заряд эффективность сбора или внутренняя квантовая эффективность фотоэлемента, а T (λ) — функция пропускания границы раздела SiO2 / Si. 5 Коэффициент заполнения определяется как FF = Adet / Ap, где Adet — это светочувствительная область обнаружения на фотосайте, а Ap — это площадь фотосайта.Спектральная полоса пропускания камеры должна идеально соответствовать видимому спектру, поэтому требуется фильтр, блокирующий инфракрасное излучение.

      Аналогично функциям отклика конуса глаза HVS, которые можно интерпретировать как определение количества основных цветов конуса глаза, которые глаз использует для восприятия цвета при заданном λ, функции отклика камеры можно интерпретировать как указание количества основные цвета необработанного пространства камеры на каждом λ. Например, измеренные функции отклика камеры Nikon D700 показаны на рис.1. Однако необработанное пространство камеры является колориметрическим только в том случае, если выполняется условие Лютера-Айвса, 7 9 , что означает, что функции отклика камеры должны быть точным линейным преобразованием функций отклика конуса глаза, которые косвенно представлены как линейное преобразование из функций сопоставления цветов CIE для стандартного наблюдателя.

      Рис. 1

      Функции отклика камеры Nikon D700. Пиковая спектральная чувствительность нормирована на единицу.Данные получены из исх. 6.

      Хотя функции отклика конуса глаза подходят для захвата деталей с помощью простого объектива человеческого глаза, в цифровых камерах используются составные линзы, которые были скорректированы на хроматическую аберрацию. Следовательно, функции отклика камеры разработаны с учетом других соображений. 10 , 11 Например, лучшее соотношение сигнал / шум достигается за счет уменьшения перекрытия функций отклика, что соответствует характеристической матрице с меньшими недиагональными элементами. 10 12 Действительно, незначительные цветовые ошибки могут быть заменены на лучшее соотношение сигнал / шум. 10 13 С другой стороны, повышенная корреляция в измерении длины волны может улучшить производительность процедуры цветовой демозаики. 14 Из-за таких компромиссов, а также ограничений, связанных с производством фильтров, на практике функции отклика камеры не являются точными линейными преобразованиями функций отклика глазного конуса.Следовательно, необработанные пространства камеры не являются колориметрическими, поэтому камеры показывают метамерную ошибку. Метамеры — это разные спектральные распределения мощности (SPD), которые HVS воспринимают как один и тот же цвет при просмотре в одинаковых условиях. Камеры с метамерной ошибкой дают разные цветовые отклики на эти метамеры. Метамерная ошибка камеры может быть определена экспериментально и количественно оценена с помощью индекса метамерии чувствительности цифровой фотокамеры (DSC / SMI). 8 , 15

      На рисунке 2 показано спектральное геометрическое место HVS на диаграмме цветности xy, которая представляет собой двумерную проекцию цветового пространства CIE XYZ, которое описывает относительные пропорции трехцветных значений.Обратите внимание, что сам спектральный локус имеет форму подковы, а не треугольника из-за того, что перекрытие функций ответа глаз-конус предотвращает независимую стимуляцию глазных колбочек, поэтому цветности, соответствующие координатам цветности (x, y), расположены за пределами спектральные локусы невидимы или воображаемы, поскольку они более насыщены, чем чистые цвета спектра. Цветовой охват необработанного пространства камеры Nikon D700 также показан на рис. 2 и сравнивается с несколькими стандартными цветовыми пространствами для вывода, а именно sRGB, 16 Adobe ® RGB, 17 и ProPhoto RGB. 18 Из-за расположения основных цветов необработанного пространства камеры на диаграмме цветности xy, некоторые области необработанного пространственного диапазона камеры не достигают спектрального геометрического места HVS, поскольку эти области лежат за пределами треугольной формы, доступной для аддитивных линейных комбинаций три праймериз. Кроме того, заметным следствием метамерной ошибки камеры является то, что необработанная пространственная гамма камеры искажается от треугольной формы, доступной для аддитивных линейных комбинаций трех основных цветов.Некоторые области даже вытеснены за пределы треугольника, доступного для цветового пространства CIE XYZ. 19 См. Исх. 19 для дополнительных примеров.

      Рис. 2

      Палитра необработанного пространства камеры для Nikon D700 (голубая заштрихованная область), нанесенная на диаграмму цветности xy. Цветовая гамма не является идеальным треугольником, поскольку нарушается условие Лютера-Айвса, что также объясняет, почему определенные области выталкиваются за пределы треугольника, доступного для цветового пространства CIE XYZ, определенного основными цветами, расположенными в (0,0), (0,1 ) и (1,0).Граница серой заштрихованной области в форме подковы определяет спектральное местоположение HVS. Насыщенность уменьшается по мере удаления от спектрального локуса внутрь. Для сравнения указаны (треугольные) гаммы нескольких цветовых пространств, относящихся к стандартному выводу.

      Для определения гаммы необработанного пространства камеры первым шагом является измерение функций отклика камеры с использованием монохроматора на дискретном наборе длин волн в соответствии с методом A стандарта ISO 17321-1. 15 Для каждой длины волны функции отклика камеры выдают необработанные относительные трехцветные значения RGB в необработанном пространстве камеры.Второй шаг — преобразовать RGB в относительные значения CIE XYZ путем применения матрицы характеристик, которая удовлетворяет уравнению. (1). Впоследствии координаты цветности (x, y), соответствующие спектральному геометрическому пространству необработанного пространства камеры, могут быть вычислены с использованием обычных формул, x = X / (X + Y + Z) и y = Y / (X + Y + Z ).

      Поскольку данная матрица характеристик оптимизирована для использования с осветительным прибором, то есть освещением сцены, используемым для выполнения характеристики, другим следствием метамерной ошибки камеры является то, что необработанная пространственная гамма камеры может изменяться в зависимости от применяемой матрицы характеристик. Цветовой охват необработанного пространства камеры Nikon D700, показанный на рис. 2, был получен с использованием матрицы характеристик, оптимизированной для источника света D65 CIE. На рисунке 3 показано, как изменяется цветовая гамма, когда вместо нее применяется матрица характеристик, оптимизированная для источника A CIE.

      Рис. 3

      То же, что и на рис. 2, за исключением того, что для получения необработанного пространственного охвата камеры использовалась матрица характеристик, оптимизированная для источника света CIE A, а не матрица характеристик, оптимизированная для источника света CIE D65.

      2.2.

      Необработанные значения

      Значения цвета в необработанном пространстве камеры выражаются в виде цифровых необработанных значений для каждого необработанного цветового канала, которые аналогичны трехцветным значениям в цветовых пространствах CIE. Для CFA, который использует три типа цветных фильтров, таких как CFA Байера, 20 , необработанные значения, выраженные с использованием единиц, относящихся к выходу, т. Е. Данных / цифровых чисел (DN) или аналого-цифровых единиц, относятся к следующим набор необработанных каналов, обозначенных здесь каллиграфическими символами:

      Eq.(4)

      [nDN, 1nDN, 2nDN, 3nDN, 4] = [RG1G2B]. Хотя здесь для представления блока Байера использовалась векторная нотация, истинный необработанный вектор пикселей получается только после выполнения цветной демозаики в в этом случае с каждым фотосайтом будет связано четыре необработанных значения. CFA Байера использует в два раза больше зеленых фильтров, чем красный и синий, что означает, что в целом будут получены два значения G1 и G2, связанные с разными позициями в каждом блоке Байера. Это выгодно с точки зрения общего отношения сигнал / шум, поскольку фотосайты, принадлежащие зеленым мозаикам, более эффективны с точки зрения фотопреобразования.Кроме того, шаблон Байера является оптимальным с точки зрения уменьшения артефактов наложения спектров, когда три типа фильтров расположены на квадратной сетке. 14 Хотя считается, что большее количество зеленых фильтров обеспечивает повышенное разрешение для сигнала яркости, так как стандартная функция яркости 1924 CIE для фотопического зрения достигает пиков при 555 нм, 20 утверждалось, что CFA Байера с двукратным увеличением больше синих пикселей, чем красных и зеленых было бы оптимальным для этой цели. 14 При демозаике необработанных данных, соответствующих стандартному CFA Байера, окончательный результат покажет ложные лабиринты или сетки, если соотношение между G1 и G2 изменяется по изображению. 21 Программные необработанные преобразователи могут усреднять G1 и G2 вместе, чтобы устранить такие артефакты. 21

      Поскольку в принципе существует только три функции отклика камеры, R1 (λ), R2 (λ) и R3 (λ), цветовая характеристика для байеровского CFA рассматривает G1 и G2 как один канал, G. Необработанные значения можно выразить следующим образом:

      Ур.(5)

      R = k∫λ1λ2R1 (λ) E˜e, λdλ, G = k∫λ1λ2R2 (λ) E˜e, λdλ, B = k∫λ1λ2R3 (λ) E˜e, λdλ. Функции отклика камеры определены формулой. В (2) интегрирование ведется по спектральной полосе пропускания камеры, E˜e, λ — средняя спектральная освещенность на фотосайте, а k — постоянная величина. Выражения для E˜e, λ и k приведены в Приложении.

      Фактические необработанные значения, полученные на практике, представляют собой квантованные значения, смоделированные путем взятия целой части уравнения. (5). При преобразовании из необработанного пространства камеры полезно нормализовать исходные значения до диапазона [0,1] путем деления уравнения.(5) необработанной точкой отсечения, которая является наивысшим доступным DN.

      2.3.

      Эталонный белый

      Используя приведенную выше нормализацию, эталонный белый цвет необработанного пространства камеры определяется единичным вектором

      , выраженным в терминах трехцветных значений CIE XYZ или координат цветности (x, y) с Y = 1, эталонный белый необработанного пространства камеры — это WP освещения сцены, которая дает максимально равные исходные значения для нейтрального объекта. (WP SPD определяется трехцветными значениями CIE XYZ, которые соответствуют 100% нейтральному диффузному отражателю, освещенному этим SPD.)

      Отсюда следует, что эталонный белый цвет необработанного пространства камеры в принципе можно определить экспериментально, найдя источник света, который дает равные исходные значения для нейтрального объекта. Обратите внимание, что если для декодирования необработанного файла используется конвертер RAW с открытым исходным кодом DCRaw, необходимо отключить WB. С точки зрения колориметрии CIE, эталонный белый цвет необработанного пространства камеры формально определяется формулой

      Eq. (7)

      [X (WP) Y (WP) Z (WP)] сцена = T_ [R (WP) = 1G (WP) = 1B (WP) = 1] сцена, где Y (WP) = 1 и нижние индексы означают, что WP — это точка освещения сцены.Матрица характеристик 3 × 3 T_ преобразуется из необработанного пространства камеры в CIE XYZ и должна быть оптимизирована для требуемого освещения сцены. Оптимальное значение T_ на данном этапе неизвестно, но в принципе может быть определено с помощью процедуры оптимизации, описанной в разд. 2.4.

      Хотя цветовые пространства CIE используют нормализованные единицы, так что их эталонные белые цвета соответствуют WP стандартных источников света CIE, необработанные пространства камеры не нормализуются естественным образом таким образом. Следовательно, эталонный белый цвет необработанного пространства камеры не обязательно является нейтральным цветом, поскольку он обычно расположен далеко от планковского локуса и поэтому не обязательно имеет связанную коррелированную цветовую температуру (CCT).

      Обратите внимание, что WP может быть связан с CCT при условии, что его координаты цветности (x, y) достаточно близки к планковскому локусу, но существует много таких координат, которые соответствуют одной и той же CCT. Чтобы различать их, может быть присвоено значение Duv, неофициально называемое цветовым оттенком. 22 Это определяется путем преобразования (x, y) в координаты цветности (u, v) на диаграмме цветности UCS CIE 1960, 23 , 24 , где изотермы нормальны для локуса Планка.В этом представлении CCT является допустимой концепцией только для координат (u, v), расположенных на расстоянии от планковского локуса, которое находится в пределах Duv = ± 0,05 вдоль изотермы. 25

      Чтобы увидеть, что эталонный белый цвет необработанного пространства камеры далек от планковского локуса, рассмотрим исходные значения Nikon D700 для нейтрального диффузного отражателя, освещенного источниками освещения CIE A и D65, соответственно,

      Eq.

      (8) [R (WP) = 0,8878G (WP) = 1,0000B (WP) = 0,4017] A = T_A − 1 [X (WP) = 1,0985Y (WP) = 1,0000Z (WP) = 0.3558] A [R (WP) = 0,4514G (WP) = 1,0000B (WP) = 0,8381] D65 = T_D65−1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, где T_A и T_D65 — это примерные характеристические матрицы, оптимизированные для осветительных приборов CIE A и D65 соответственно. Как показано на рис. 4, WP этих стандартных источников света очень близки к планковскому локусу. Источник света A имеет CCT = 2856 K и Duv = 0,0, а источник света D65 имеет CCT = 6504 K и Duv = 0,0032. Очевидно, что приведенные выше необработанные значения Nikon D700 сильно отличаются от единичного вектора необработанного пространства камеры, и в обоих случаях необходимо применить большие множители к необработанным значениям красных и синих пикселей.Эти множители известны как умножители необработанных каналов, поскольку они обычно применяются к необработанным красным и синим каналам перед цветовой демозаикой как часть стратегии преобразования цвета, используемой внутренними механизмами обработки изображений традиционных цифровых камер.

      Рис. 4

      Расчетные эталонные белые пространства необработанных пространств Nikon D700 и Olympus E-M1 по сравнению с WP осветительных приборов CIE A и D65. Планковский локус представлен черной кривой. Цветом отображаются только видимые цветности, содержащиеся в цветовом пространстве sRGB.

      Оценку эталонного белого Nikon D700 можно получить, аппроксимируя уравнение. (7) с использованием легко доступной матрицы характеристик вместо T_. Применение T_A дает (x, y) = (0,3849,0,3058), что соответствует Duv = -0,0378. Это связано с CCT = 3155 K, так как значение Duv находится в пределах допустимого предела, но на рис. 4 показано, что цветовой оттенок является сильным пурпурным. Это справедливо для типичных пространств необработанного снимка в целом. 21 Аналогичная оценка для камеры Olympus E-M1 дает (x, y) = (0.3599,0,2551), что соответствует Duv = −0,0637. У этого нет связанной CCT, а цветовой оттенок — очень сильный пурпурный.

      Хотя тот факт, что эталонные белые цвета необработанного пространства камеры не являются нейтральными с точки зрения колориметрии CIE, не имеет отношения к окончательному воспроизведенному изображению, он будет показан в разд. 5 видно, что эталонный белый цвет необработанного пространства камеры используется в качестве полезного промежуточного шага в стратегии преобразования цвета, используемой традиционными цифровыми камерами.

      2.4.

      Цветовая характеристика камеры

      Вспомните линейное преобразование из необработанного пространства камеры в CIE XYZ, определенное уравнением.(1):

      , где T_ — характеристическая матрица 3 × 3:

      Eq. (9)

      T _ = [T11T12T13T21T22T23T31T32T33]. Преобразование цветов является приблизительным, поскольку условие Лютера-Айвса не выполняется точно. Как упомянуто во введении, T_ может быть оптимизирован для характеристического источника света, то есть освещения сцены, используемого для выполнения характеризации. 1 , 2 Оптимальная матрица T_ зависит от самого SPD, но в значительной степени зависит от характеристического освещения WP при условии, что источник света является представителем реального SPD.

      Матрицы характеристик, оптимизированные для известных источников света, могут быть определены с помощью процедур минимизации цветовых ошибок, основанных на фотографиях, сделанных на стандартной цветовой диаграмме. 2 Хотя были разработаны различные методы минимизации, включая методы сохранения WP, 26 процедура, описанная ниже, основана на стандартизированном методе B ISO 17321-1. 15

      Обратите внимание, что ISO 17321-1 использует обработанные изображения, выводимые камерой, а не необработанные данные, и, следовательно, требует инверсии функции оптоэлектронного преобразования камеры (OECF). 27 OECF определяет нелинейную взаимосвязь между освещенностью на плоскости датчика и уровнями цифрового вывода видимого выходного изображения, такого как файл JPEG, созданный камерой. Чтобы обойти необходимость экспериментального определения OECF, ниже описывается вариант метода B из ISO 17321-1. В этом методе используется конвертер исходных данных с открытым исходным кодом DCRaw для декодирования необработанного файла, чтобы необработанные данные можно было использовать напрямую. 28 , 29

      • 1.Сделайте снимок таблицы цветов, освещенной указанным источником света. Поскольку исходные значения масштабируются линейно, важны только их относительные значения. Однако число f N и продолжительность экспозиции t следует выбирать так, чтобы избежать клиппирования.

      • 2. Рассчитайте относительные значения тристимула XYZ для каждого участка цветовой диаграммы:

        Ур. (10)

        X = k∫λ1λ2x¯ (λ) Ee, λR (λ) dλY = k∫λ1λ2y¯ (λ) Ee, λR (λ) dλZ = k∫λ1λ2z¯ (λ) Ee, λR (λ) dλ , где Ee, λ — спектральная освещенность, падающая на цветовую диаграмму, измеренная с помощью спектрометра; x¯ (λ), y‾ (λ) и z¯ (λ) — функции согласования цветов цветового пространства CIE XYZ; и интегрирование дискретизируется в сумму с шагом 10 нм и ограничивает λ1 = 380 нм и λ2 = 780 нм.Если не используется трехцветный колориметр, расчет требует знания спектральной отражательной способности каждого участка. В приведенных выше уравнениях спектральная отражательная способность обозначена как R (λ), и ее не следует путать с функциями отклика камеры. Константу нормализации k можно выбрать так, чтобы Y находился в диапазоне [0,1] с использованием белого пятна в качестве белого эталона.
      • 3. Получите линейное выходное изображение с демозаикой прямо в необработанном пространстве камеры без преобразования в любое другое цветовое пространство.Гамма-кодирование, кривые тона и баланс белого должны быть отключены. Поскольку настоящий метод позволяет обойтись без необходимости определять и инвертировать OECF, очень важно отключить WB; в противном случае к необработанным каналам могут применяться множители сырых каналов. При использовании конвертера RAW с открытым исходным кодом DCRaw подходящей командой является

        dcraw -v -r 1 1 1 1-o 0 -4 -T filename. Это дает 16-битный линейный выходной файл TIFF с демозаикой в ​​необработанном пространстве камеры. Если вы работаете с необработанными каналами, а не с необработанными пиксельными векторами с демозаикой, подходящей командой является dcraw -v -D -4 -T filename.Вышеупомянутые команды DCRaw объяснены в таблице 3.
      • 4. Измерьте средние значения R, G и B по блоку пикселей размером 64 × 64 в центре каждого фрагмента. Затем каждый патч может быть связан с соответствующим средним необработанным вектором пикселей.

      • 5. Постройте матрицу A_ 3 × n, содержащую векторы цветового пространства XYZ для каждого фрагмента 1,…, n в виде столбцов:

        Eq. (11)

        A _ = [X1X2 ⋯ XnY1Y2 ⋯ YnZ1Z2 ⋯ Zn]. Точно так же постройте матрицу B_ 3 × n, содержащую соответствующие необработанные векторы пикселей в виде столбцов:

        Eq.(12)

        B _ = [R1R2 ⋯ RnG1G2 ⋯ GnB1B2 Bn].
      • 6. Оцените характеристическую матрицу 3 × 3 T_, которая преобразует B_ в A_:

        Предварительное решение получается с использованием минимизации линейных наименьших квадратов: 2 , 15

        Ур. (14)

        T_ = A_B_T (B_B_T) -1, где верхний индекс T обозначает оператор транспонирования.
      • 7. Используйте предварительную оценку T_, чтобы вычислить новый набор оцененных значений тристимула CIE XYZ A_ ‘в соответствии с формулой. (13).Преобразуйте A_ и A′_ в перцептивно однородное эталонное цветовое пространство CIE LAB и вычислите цветовую разницу ΔEi между оцененными значениями трехцветного стимула и реальными значениями трехцветного стимула для каждого фрагмента i. Набор {ΔEi} можно использовать для вычисления DSC / SMI. 8 , 15 Обратите внимание, что для точного удовлетворения условия Лютера-Айвса необходимо, чтобы A _ ′ = A_, и в этом случае будет получен балл DSC / SMI, равный 100.

      • 8. Оптимизируйте T_, минимизируя {ΔEi}, используя метод нелинейной оптимизации, рекомендованный ISO 17321-1.Окончательный DSC / SMI определяет окончательную потенциальную цветовую ошибку. В идеале, включите ограничение, которое сохраняет характеристический источник света WP.

      • 9. Масштабируйте конечный T_ в соответствии с нормализацией, необходимой для его практического применения. Это обсуждается ниже.

      Если WB был отключен на шаге 3, характеристическая матрица T_ может использоваться с произвольным освещением сцены. Тем не менее, оптимальные результаты будут получены для освещения сцены с WP, который точно соответствует таковому у характеристического источника света.

      На рисунке 5 показано, как матричные элементы оптимизированной матрицы характеристик изменяются в зависимости от CCT характеристического источника света для камеры Olympus E-M1.

      Рис. 5

      Изменение элементов матрицы характеристической матрицы для камеры Olympus E-M1 в зависимости от характеристического источника света CCT.

      Для той же камеры на рис. 6 (a) показана фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. Когда значения RGB необработанного пространства камеры интерпретируются как значения RGB в цветовом пространстве sRGB для целей отображения без применения какой-либо матрицы цветовых характеристик, проявляется сильный оттенок зеленого цвета, который возникает из-за большей пропускания зеленого фильтра Байера.На рисунке 6 (b) показана та же фотография, преобразованная в цветовое пространство sRGB путем применения оптимизированной матрицы характеристик T_, за которой следует матрица, преобразующая цвета из цветового пространства CIE XYZ в sRGB. Видно, теперь цвета отображаются правильно.

      Рис. 6

      (a) Фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. (b) Та же фотография, преобразованная в цветовое пространство sRGB.

      2,5.

      Нормализация матрицы характеристик

      Нормализация матрицы характеристик относится к масштабированию всей матрицы таким образом, чтобы все элементы матрицы масштабировались одинаково.Типичная нормализация, применяемая на практике, заключается в том, чтобы гарантировать, что матричные карты между характеризующим источником света WP, выраженным с использованием цветового пространства CIE XYZ, и необработанным пространством камеры, так что необработанные данные просто насыщаются, когда 100% нейтральный диффузный отражатель фотографируется под характеризующим источником света. . Зеленый необработанный канал обычно насыщается первым.

      Например, если характеристический источник света — D65, то T_ может быть нормализовано таким образом, чтобы его обратное значение обеспечивало следующее отображение:

      Eq.(15)

      [R (WP) G (WP) B (WP)] D65 = T_ − 1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, где max {R ( WP), G (WP), B (WP)} = 1. Поскольку зеленый необработанный канал обычно насыщается первым при большинстве типов освещения, обычно G (WP) = 1, тогда как R (WP) <1 и B (WP) <1.

      Например, матрицы характеристик Olympus E-M1, используемые на рис. 5 для калибровочных осветительных приборов 4200 и 6800 K, определяются формулой

      Eq. (16)

      T_4200 K = [0,86800,33950,21330,28830,8286-0,02160.0425−0.26471.7637], T_6800 K = [1.21050.25020.18820.45860.8772−0.13280.0936−0.27881.9121]. Эти матрицы нормализованы так, что WP характеристического источника света отображается в исходные значения, где зеленый необработанный канал только достигает насыщения. :

      Ур. (17)

      [R (WP) = 0,6337G (WP) = 1,0000B (WP) = 0,5267] 4200 K = T_4200 K − 1 [X (WP) = 1,0019Y (WP) = 1,0000Z (WP) = 0,6911 ] 4200 K, [R (WP) = 0,4793G (WP) = 1,0000B (WP) = 0,7312] 6800 K = T_6800 K − 1 [X (WP) = 0,9682Y (WP) = 1,0000Z (WP) = 1,1642 ] 6800 K.

      3.

      Баланс белого

      Замечательным свойством HVS является его способность естественным образом приспосабливаться к условиям окружающего освещения. Например, если на снимке, освещенном дневным светом, установить 100% нейтральный диффузный отражатель, отражатель будет иметь нейтральный белый цвет. Позже в тот же день, когда происходит изменение цветности или CCT освещения сцены, можно ожидать, что цвет отражателя изменится соответствующим образом. Однако отражатель по-прежнему будет иметь нейтральный белый цвет. Другими словами, воспринимаемый цвет объектов остается относительно постоянным при различных типах освещения сцены, что известно как постоянство цвета. 3 , 4

      Механизм хроматической адаптации, с помощью которого HVS обеспечивает постоянство цвета, сложен и не до конца понятен, но упрощенное объяснение состоит в том, что HVS стремится снизить цветность источника света. 30 Еще в 1902 году фон-Крис предположил, что это достигается за счет независимого масштабирования каждой функции отклика конуса глаза. 3 , 4 Цветовой стимул, который наблюдатель, адаптированный к условиям окружающей среды, считает нейтральным белым (идеально ахроматическим со 100% относительной яркостью), определяется как адаптированный белый цвет. 31

      Поскольку функции отклика камеры естественным образом не имитируют HVS за счет дисконтирования цветности освещения сцены, выходное изображение будет выглядеть слишком теплым или слишком холодным, если оно отображается с использованием освещения с WP, которое не соответствует адаптированному белому для фотографической сцены во время съемки. Это известно как неправильный баланс белого. Проблема может быть решена путем реализации следующей вычислительной стратегии.

      • 1. Сообщите камере об адаптированном белом цвете, прежде чем делать снимок.Из-за сложной зависимости истинно адаптированного белого цвета от окружающих условий, эта задача на практике заменяется более простой, а именно идентифицировать освещение сцены WP. Например, предустановка баланса белого, соответствующая освещению сцены, может быть выбрана вручную, оценка CCT освещенности сцены может быть введена вручную, или камера может вычислить свою собственную оценку путем анализа необработанных данных с использованием автоматической функции баланса белого. Во всех случаях оценка камеры для WP освещения сцены известна как нейтральный 32 камеры или принятый белый (AW). 31 (Этот этап оценки освещенности не следует путать с WB. Оценка освещенности относится к вычислительным подходам, используемым автоматической функцией WB для оценки освещенности сцены WP. Очень простой подход к оценке освещенности — это метод «серого мира», 33 , который предполагает, что среднее значение всех цветов сцены окажется ахроматическим.Другой простой подход состоит в предположении, что самый яркий белый, вероятно, будет соответствовать освещению сцены WP. 34 Однако практические алгоритмы оценки освещенности намного сложнее. 35 , 36 )

      • 2. Выберите стандартный эталонный белый цвет, который будет использоваться при отображении выходного изображения. Если изображение будет отображаться с использованием стандартного цветового пространства, связанного с выводом, такого как sRGB, выбранный эталонный белый будет соответствовать цветовому пространству с указанием вывода, которым в случае sRGB является источник света CIE D65.

      • 3.Хроматически адаптируйте цвета изображения, адаптируя оценку WP освещения сцены (AW) так, чтобы он стал опорным белым для выбранного цветового пространства, ориентированного на вывод. Этот шаг балансировки белого достигается применением CAT.

      CAT необходимо применять как часть общего преобразования цвета из необработанного пространства камеры в выбранное цветовое пространство, ориентированное на вывод. Существуют разные подходы к объединению этих компонентов. Типичный подход, используемый в науке о цвете, — это преобразование из необработанного пространства камеры в CIE XYZ, применение CAT, а затем преобразование в выбранное цветовое пространство, указанное на выходе.В случае sRGB,

      Eq. (18)

      [RLGLBL] D65 = M_sRGB − 1 CAT_AW → D65 T_ [RGB] сцена, где T_ — это матрица характеристик, которая преобразует необработанное пространство камеры в CIE XYZ и оптимизирована для сцены AW, матрица CAT_AW → D65 В цветовом пространстве CIE XYZ применяется CAT, который адаптирует AW к эталонному белому D65 цветового пространства sRGB, и, наконец, M_sRGB-1 — это матрица, которая преобразует из CIE XYZ в линейную форму цветового пространства sRGB:

      Eq .

      (19) M_sRGB − 1 = [3,24 · 10−1.5374-0.4986-0.96921.87600.04160.0556-0.20401.0570]. В частности, AW в необработанном пространстве камеры сопоставляется с эталонным белым цветовым пространством, указанным на выходе, определенным единичным вектором в цветовом пространстве, указанном на выходе. :

      Ур. (20)

      [RL = 1GL = 1BL = 1] D65 = M_sRGB − 1 CAT_AW → D65 T_ [R (AW) G (AW) B (AW)] сцена. Когда закодированное выходное изображение просматривается на откалиброванном мониторе. , объект сцены, который HVS считал белым на момент съемки фотографии, теперь будет отображаться с использованием эталонного белого цвета D65.В идеале окружающие условия просмотра должны соответствовать условиям, определенным как подходящие для просмотра цветового пространства sRGB.

      Если оценка WP освещения сцены далека от истинного WP освещения сцены, то для HVS будет очевиден неверный WB. Если оценка CCT освещенности сцены выше, чем истинная CCT, фотография будет выглядеть слишком теплой. И наоборот, если оценка CCT освещения сцены ниже, чем истинная CCT, тогда фотография будет выглядеть слишком холодной.

      На рисунке 7 (а) показана фотография цветовой диаграммы, сделанная при вольфрамовом освещении 2700 K CCT с помощью камеры Olympus E-M1.Матрица характеристик T_ была применена для преобразования цветов в CIE XYZ, а затем M_sRGB-1 для преобразования цветов в sRGB. Очевидно, истинный цвет освещения сцены раскрывается, поскольку хроматическая адаптация камерой не выполняется. Другими словами, фотография выглядит слишком теплой по сравнению с эталонным белым цветом D65 в цветовом пространстве sRGB. На рисунке 7 (b) показана та же фотография после балансировки белого путем включения CAT, который хроматически адаптирует освещение сцены WP к эталонному белому цветовому пространству sRGB D65, имеющему 6504 K CCT и Duv = 0.0032 цветовой оттенок.

      Рис. 7

      (a) Фотография цветовой диаграммы, сделанная при вольфрамовом освещении 2700 K CCT и преобразованная в цветовое пространство sRGB для отображения без какой-либо хроматической адаптации. (b) Фотография с балансировкой белого, полученная путем включения CAT для адаптации WP освещения сцены к эталонному белому D65 цветового пространства sRGB.

      3.1.

      Хроматические адаптационные преобразования

      CAT — это вычислительная техника для настройки WP данного SPD. Он достигает этой цели, пытаясь имитировать механизм хроматической адаптации HVS.В контексте цифровых камер наиболее важными CAT являются CAT Брэдфорда и масштабирование необработанных каналов.

      В 1902 году фон-Крис постулировал, что механизм хроматической адаптации можно моделировать как независимое масштабирование каждой функции отклика конуса глаза, 3 , 4 , что эквивалентно масштабированию трехцветных значений L, M и S. в цветовом пространстве LMS. Чтобы проиллюстрировать CAT фон-Криса, рассмотрите возможность адаптации оценки WP освещения сцены (AW) к WP освещения D65:

      Eq.(21)

      [XYZ] D65 = CAT_AW → D65 [XYZ] сцена. В этом случае CAT фон-Криса, который должен применяться ко всем необработанным векторам пикселей, может быть записан как

      Eq. (22)

      CAT_AW → D65 = M_vK − 1 [L (D65) L (AW) 000M (D65) M (AW) 000S (D65) S (AW)] M_vK. Матрица M_vK преобразует каждый необработанный вектор пикселей в диагональ матрица в цветовом пространстве LMS. Современные формы M_vK включают матрицы, основанные на основных принципах конуса, определенных CIE в 2006 г. 37 , и матрицу преобразования Ханта – Пойнтера – Эстевеса 38 , определяемую уравнением

      Eq.(23)

      M_vK = [0,389710.68898−0.07868−0.229811.183400.046410.000000.000001.00000]. После применения M_vK значения L, M и S независимо масштабируются в соответствии с гипотезой фон-Криса. В данном примере коэффициенты масштабирования возникают из соотношения между WP AW и D65. Их можно получить из следующих векторов WP:

      Eq. (24)

      [L (AW) M (AW) S (AW)] = M_vK [X (WP) Y (WP) Z (WP)] сцена [L (D65) M (D65) S (D65)] = M_vK [X (WP) = 0.9504Y (WP) = 1.0000Z (WP) = 1.0888] D65. Наконец, применяется обратная матрица преобразования M_vK для преобразования каждого необработанного вектора пикселей обратно в цветовое пространство CIE XYZ.

      Bradford CAT 39 можно рассматривать как улучшенную версию CAT von-Kries. ICC рекомендует упрощенную линеаризованную версию для использования в цифровых изображениях. 40 Линейный КАТ Брэдфорда может быть реализован аналогично КАТ фон-Криса, с той разницей, что значения трехцветного стимула L, M и S заменены на ρ, γ и β, которые соответствуют ”Искусственный глазной конус. Матрица преобразования определяется формулой

      Eq. (25)

      M_BFD = [0.89510.2664-0.1614-0.75021.71350.03670.0389-0.06851.0296].

      Аналогично независимому масштабированию функций отклика конуса глаза, предложенному фон-Крисом, тип CAT может быть применен в необработанном пространстве камеры путем прямого масштабирования необработанных каналов. Рассмотрим блок Байера для AW, полученный путем фотографирования 100% нейтрального диффузного отражателя при освещении сцены. Следующая операция адаптирует AW к эталонному белому в необработанном пространстве камеры:

      Eq. (26)

      [RGB] RW = CAT_AW → RW [RGB] сцена, где

      Eq.(27)

      CAT_AW → RW = D _ = [1R (AW) 0001G (AW) 0001B (AW)] сцена. Коэффициенты масштабирования по диагонали, известные как множители необработанных каналов, могут быть получены непосредственно из исходных данных с использованием AW, рассчитанного с помощью камера. Например, AW = D65 для освещения сцены D65, в этом случае

      Eq. (28)

      CAT_D65 → RW = D_D65 = [1R (D65) 0001G (D65) 0001B (D65)], где R (D65), G (D65) и B (D65) извлекаются из блока Байера для 100 % нейтральный диффузный отражатель, сфотографированный при освещении сцены D65.

      Было обнаружено, что в контексте цифровых камер тип CAT, определяемый множителями необработанных каналов, лучше работает на практике, особенно в крайних случаях. 21 , 32 Причина в том, что множители необработанных каналов применяются в необработанном пространстве камеры до применения матрицы преобразования цвета. Необработанное пространство камеры соответствует физическому устройству захвата, но CAT, такие как линейный CAT Брэдфорда, применяются в цветовом пространстве CIE XYZ после применения матрицы преобразования цвета, содержащей ошибку. В частности, цветовые ошибки, которые были минимизированы в нелинейном цветовом пространстве, таком как CIE LAB, будут неравномерно усилены, поэтому преобразование цвета больше не будет оптимальным. 41

      4.

      Камеры для смартфонов

      Производители смартфонов вместе с разработчиками коммерческого программного обеспечения для преобразования необработанных данных обычно реализуют традиционный тип вычислительной стратегии преобразования цвета, используемый в науке о цвете, который был представлен в разд. 3. Поскольку необработанное пространство камеры преобразуется в CIE XYZ в качестве первого шага, методы обработки изображений могут применяться в цветовом пространстве CIE XYZ (или после преобразования в какое-либо другое промежуточное цветовое пространство) перед окончательным преобразованием в ориентированное на вывод Цветовое пространство RGB.

      Рассмотрим преобразование с балансировкой белого из необработанного пространства камеры в цветовое пространство RGB, ориентированное на вывод. В отличие от традиционных цифровых камер, цветная демозаика обычно выполняется в первую очередь, поэтому векторная нотация, используемая для необработанного пространства камеры ниже, относится к необработанным векторам пикселей, а не к блокам Байера. В случае sRGB преобразование, которое должно применяться к каждому необработанному вектору пикселей, определяется формулой

      Eq. (29)

      [RLGLBL] D65 = M_sRGB − 1 CAT_AW → D65 T_ [RGB] сцена.Преобразование можно разделить на три этапа.
      • 1. После того, как камера оценила освещенность сцены WP (AW), применяется матрица характеристик T_, оптимизированная для AW, которая преобразует необработанное пространство камеры в CIE XYZ:

        Eq. (30)

        [XYZ] scene = T_ [RGB] scene. Оптимизированная матрица T_ обычно нормализуется так, что AW в пространстве CIE XYZ получается, когда необработанный вектор пикселей, соответствующий нейтральному диффузному отражателю, освещенному AW, достигает насыщение:

        Ур.(31)

        [X (AW) Y (AW) Z (AW)] сцена = T_ [R (AW) G (AW) B (AW)] сцена, где Y (WP) = 1 и макс {R (AW) ), G (AW), B (AW)} = 1. Как обсуждалось в разд. 2.5, зеленый компонент обычно насыщается первым, поэтому R (AW) <1 и B (AW) <1 в целом.
      • 2. Поскольку T_ не изменяет AW, CAT применяется для достижения WB путем адаптации AW к эталонному белому в выбранном цветовом пространстве, указанном на выходе. Это D65 в случае sRGB:

        Eq. (32)

        [XYZ] D65 = CAT_AW → D65 [XYZ] сцена. ICC рекомендует реализовать CAT, используя линейную матрицу CAT Брэдфорда, определенную уравнением.(25).
      • 3. Применяется матрица, которая преобразует из CIE XYZ в линейную форму выбранного цветового пространства, ориентированного на вывод. В случае sRGB,

        Eq. (33)

        [RLGLBL] D65 = M_sRGB-1 [XYZ] D65.

      Наконец, уровни цифрового вывода выходного изображения определяются путем применения кривой нелинейного гамма-кодирования цветового пространства, указанного на выходе, и уменьшения битовой глубины до 8. В современных цифровых изображениях гамма-кривые кодирования предназначены для минимизации видимых артефакты полос, когда битовая глубина уменьшается, а внесенная нелинейность позже отменяется гаммой дисплея. 28

      Чтобы убедиться, что баланс белого достигается правильно, можно выполнить описанные выше шаги для конкретного случая необработанного вектора пикселей, который соответствует AW. Как требуется по формуле. (20) было обнаружено, что это отображается на эталонный белый цвет упомянутого на выходе цветового пространства, определенного единичным вектором в этом цветовом пространстве:

      [RL = 1GL = 1BL = 1] D65 = M_sRGB − 1 CAT_AW → D65 T_ [R (AW) G (AW) B (AW)] сцена.

      Хотя матричное преобразование, определенное формулой. (29) кажется простым, матрица характеристик T_ в принципе должна быть оптимизирована для AW.Однако непрактично определять матрицу характеристик, оптимизированную для каждой возможной WP освещения сцены, которая может возникнуть. Например, если CCT указаны с точностью до ближайшего к Кельвина, а цветовой оттенок не учитывается, тогда потребуется 12000 матриц для покрытия WP освещения сцены от 2000 до 14000 K.

      Самое простое в вычислительном отношении решение, используемое на некоторых камерах мобильных телефонов, — это приблизить оптимизированная матрица характеристик T_ с использованием единственной фиксированной матрицы, оптимизированной для репрезентативного источника света. Например, это может быть освещение D65, и в этом случае T_, оптимизированное для AW, аппроксимируется как T_D65. Недостатком этого очень простого подхода является то, что преобразование цвета теряет некоторую точность, когда WP освещения сцены значительно отличается от WP репрезентативного источника света.

      Как описано ниже, передовым решением проблемы является принятие подхода, используемого конвертером Adobe DNG. 32 Идея состоит в том, чтобы интерполировать между двумя предварительно заданными характеристическими матрицами, которые оптимизированы для использования с источником света с низкой или высокой CCT.Для заданного освещения сцены может быть определена интерполированная матрица, оптимизированная для CCT AW.

      4.1.

      Алгоритм интерполяции

      Если используется продвинутый подход, упомянутый выше, оптимизированная матрица характеристик T_, требуемая уравнением. (29) можно вычислить путем интерполяции между двумя характеристическими матрицами T1_ и T2_ на основе оценки CCT освещения сцены, обозначенной CCT (AW), вместе с CCT двух характеризующих осветительных приборов, обозначенных CCT1 и CCT2, соответственно, с CCT1 Например, источник света 1 может быть источником света с низкой CCT, таким как источник света CIE A, тогда как источник света 2 может быть источником света с высоким CCT, таким как D65.

      Первый шаг — надлежащим образом нормализовать T1_ и T2_. Хотя характеристические матрицы обычно нормализуются в соответствии с их соответствующими характеристиками WP осветительных приборов, как показано в разд. 2.5, при реализации алгоритма интерполяции удобнее нормализовать T1_ и T2_ в соответствии с общим WP. К сожалению, на данном этапе невозможно выразить AW с использованием цветового пространства CIE XYZ, поскольку T_ еще предстоит определить.Вместо этого общий WP может быть выбран в качестве эталонного белого цветового пространства, связанного с выводом, что составляет D65 для sRGB. В этом случае T1_ и T2_ должны быть масштабированы согласно формуле. (15):

      Ур. (34)

      [R (WP) G (WP) B (WP)] D65 = T1_ − 1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, [R (WP) G (WP) B (WP)] D65 = T2_ − 1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, где Y (WP) = 1 и max {R (WP) , G (WP), B (WP)} = 1.

      Если в смартфоне не используется датчик цвета, который может напрямую оценивать WP освещенности сцены с точки зрения координат цветности (x, y), AW рассчитывается камерой в терминах исходных значений R (AW), G (AW) и B (AW), поэтому AW не может быть выражено с использованием цветового пространства CIE XYZ до интерполяции.Однако соответствующий CCT (AW) требует знания координат цветности (x, y), что означает преобразование в CIE XYZ посредством матричного преобразования T_, которое само зависит от неизвестного CCT (AW). Эта проблема может быть решена с помощью самосогласованной итерационной процедуры. 32

      • 1. Сделайте предположение для координат цветности AW, (x (AW), y (AW)). Например, могут использоваться координаты цветности, соответствующие одному из характеризующих осветительных приборов.

      • 2. Найдите значение CCT CCT (AW), которое соответствует координатам цветности (x (AW), y (AW)). Широко используемый подход заключается в преобразовании (x (AW), y (AW)) в соответствующие координаты цветности (u (AW), v (AW)) на диаграмме цветности UCS 1960 года, 23 , 24 где изотермы нормальны к планковскому локусу. Это позволяет определять CCT (AW) с использованием метода Робертсона. 42 В качестве альтернативы могут быть реализованы приблизительные формулы 43 45 или более поздние алгоритмы 46 .

      • 3. Выполните интерполяцию так, чтобы

        Eq. (35)

        T_ (AW) = f [T1_ (CCT1), T2_ (CCT2)], где f — функция интерполяции. Интерполяция действительна, если CCT (AW) CCT2, то T_ следует установить равным T2_.
      • 4. Используйте T_ для преобразования AW из необработанного пространства камеры в цветовое пространство CIE XYZ:

        Eq. (36)

        [X (AW) Y (AW) Z (AW)] сцена = T_ [R (AW) G (AW) B (AW)] сцена. Это дает новое предположение для (x (AW), y (AW)).
      • 5. Повторяйте процедуру, начиная с шага 2, пока (x (AW), y (AW)), CCT (AW) и T_ все не сойдутся к стабильному решению.

      После того, как интерполяция была выполнена, T_ наследует нормализацию уравнения. (34). Однако теперь AW может быть выражено с использованием цветового пространства CIE XYZ, поэтому T_ можно перенормировать, чтобы удовлетворить уравнению. (31).

      Если в смартфоне используется датчик цвета, который может напрямую оценивать WP освещенности сцены с точки зрения координат цветности (x, y), то требуются только шаги 2 и 3, указанные выше.

      5.

      Традиционные цифровые камеры

      Рассмотрим снова сбалансированное по белому преобразование из необработанного пространства камеры в цветовое пространство RGB с привязкой к выходу. В случае sRGB преобразование определяется формулой. (29):

      [RLGLBL] D65 = M_sRGB − 1 CAT_AW → D65 T_ [RGB] сцена, где CAT_AW → D65 адаптирует оценку WP освещения сцены (AW) к эталонному белому цветовому пространству sRGB D65. Традиционные производители камер обычно переформулируют приведенное выше уравнение следующим образом:

      Eq.(37)

      [RLGLBL] D65 = R_D_ [RGB] сцена. Это уравнение можно интерпретировать, разложив преобразование на два этапа.
      • 1. Матрица D_ — это диагональная матрица WB, содержащая необработанные множители каналов, подходящие для AW:

        Eq. (38)

        D _ = [1R (AW) 0001G (AW) 0001B (AW)] сцена. Они применяются к необработанным каналам перед цветной демозаикой. Как показано формулой. (27), множители необработанных каналов, в частности, служат для хроматической адаптации AW к эталонному белому в необработанном пространстве камеры:

        Eq.(39)

        [R = 1G = 1B = 1] ссылка = сцена D_ [R (AW) G (AW) B (AW)].
      • 2. Матрица R_ — это матрица поворота цвета, оптимизированная для освещения сцены. После выполнения цветовой демозаики R_ применяется для преобразования непосредственно из необработанного пространства камеры в линейную форму выбранного цветового пространства, ориентированного на вывод. По сравнению с уравнениями. (29) и (37), R_ алгебраически определяется как

        Ур. (40)

        R_ = M_sRGB − 1 CAT_AW → D65 T_ D_ − 1. Матрицы поворота цвета обладают тем важным свойством, что сумма каждой из их строк равна единице:

        Eq.

        (41) R (1,1) + R (1,2) + R (1,3) = 1, R (2,1) + R (2,2) + R (2,3) = 1, R (3,1) + R (3,2) + R (3,3) = 1. Следовательно, R_ сопоставляет эталонный белый цвет необработанного пространства камеры непосредственно с эталонным белым цветовым пространством, указанным на выходе. 21 В случае sRGB,

        Eq. (42)

        [RL = 1GL = 1BL = 1] D65 = R_ [R = 1G = 1B = 1] эталон.

      Объединение уравнений. (39) и (42) показывают, что общий WB достигается, поскольку необработанный вектор пикселя, соответствующий AW, отображается на опорный белый цвет упомянутого на выходе цветового пространства:

      Eq.(43)

      [RL = 1GL = 1BL = 1] D65 = R_D_ [R (AW) G (AW) B (AW)] сцена.

      Как и характеристическая матрица T_, матрица поворота цвета R_ в принципе должна быть оптимизирована для освещения сцены. Вместо того, чтобы использовать подход, основанный на интерполяции, переформулировка в форме уравнения. (37) позволяет традиционным производителям камер принять альтернативный и простой в вычислительном отношении подход, который может быть напрямую реализован на архитектуре с фиксированной точкой.

      5.1.

      Умножитель и развязка матрицы

      Хотя уравнение.(37) кажется простой переформулировкой уравнения. (29), он имеет несколько преимуществ, которые возникают из-за извлечения необработанных множителей канала, содержащихся в матрице D_ ББ. Как показано на фиг. 8, изменение элементов матрицы поворота цвета относительно CCT очень мало. Стабильность выше, чем у элементов обычной характеристической матрицы T_, как видно из сравнения фиг. 5 и 8.

      Рис. 8

      Изменение элементов матрицы матрицы вращения R_ raw-to-sRGB, используемой камерой Olympus E-M1, в зависимости от CCT.

      Следовательно, достаточно определить небольшой набор из n предварительно установленных матриц поворота цветов, которые покрывают диапазон WP или CCT, причем каждая матрица оптимизирована для конкретной предварительно установленной WP или CCT:

      Eq. (44)

      R_i = M_sRGB − 1 CAT_AW → D65 T_i D_i − 1, где i = 1… n. Когда AW рассчитывается камерой, может быть выбрана матрица поворота цвета R_i, оптимизированная для наиболее подходящей предустановки WP или CCT. Однако матрица WB D_, соответствующая AW, всегда применяется до R_i, поэтому полное преобразование цвета может быть выражено как

      Eq.(45)

      [RLGLBL] D65 = (M_sRGB − 1 CAT_AW → D65 T_i D_i − 1) D_ [RGB] сцена. Поскольку D_ отделен от матриц вращения, этот подход позволит добиться правильного баланса белого без необходимости интерполировать матрицы вращения. .

      Следует отметить, что необработанное пространство камеры правильно представляет сцену (хотя и с помощью нестандартной цветовой модели) и что множители необработанного канала, содержащиеся в D_, не применяются для «исправления» чего-либо, касающегося представления истинного белого цвета сцены с помощью необработанное пространство камеры, как это часто предполагается.Множители применяются для хроматической адаптации AW к эталонному белому в необработанном пространстве камеры как часть общей CAT, необходимой для достижения WB, путем имитации механизма хроматической адаптации HVS. Как показано на рис.4, эталонный белый цвет необработанного пространства камеры обычно является пурпурным цветом при использовании колориметрии CIE, но он служит полезным промежуточным этапом в требуемом преобразовании цвета, поскольку он облегчает извлечение компонента масштабирования канала, который можно отделить от матричной операции. К другим преимуществам переформулировки можно отнести следующее.

      • • Множители сырых каналов, содержащиеся в D_, могут быть применены к необработанным каналам до выполнения цветной мозаики. В результате получается демозаика лучшего качества. 21

      • • Метод может быть эффективно реализован в архитектуре с фиксированной точкой. 47

      • • При желании, часть масштабирования необработанного канала может быть выполнена в аналоговой области с использованием аналогового усиления.Это полезно для качества изображения, если аналого-цифровой преобразователь (АЦП) не имеет достаточно высокой битовой глубины. Обратите внимание, что этот тип аналогового усиления будет влиять на коэффициенты преобразования единицы, относящиеся к входу и выходу gi, определенные формулой. (80) в Приложении.

      • • Необработанные множители каналов, содержащиеся в D_, которые появляются в уравнении. (37) хранятся в метаданных проприетарных необработанных файлов и применяются внутренним механизмом обработки изображений JPEG камеры. Поскольку множители необработанных каналов не влияют на необработанные данные, они могут использоваться внешним программным обеспечением для преобразования необработанных данных, предоставляемым производителем камеры, и могут быть легко настроены пользователем.

      • • Предварительные настройки освещения сцены, которые включают в себя цветовой оттенок, могут быть напрямую реализованы путем сохранения соответствующих предварительно установленных матриц поворота цветов и множителей необработанных каналов, как показано в разд. 5.2.

      5.2.

      Пример: Olympus E-M1

      Хотя цветовые матрицы, используемые производителями камер, как правило, неизвестны, некоторые производители, такие как Sony и Olympus, действительно раскрывают информацию о матрицах поворота цвета, используемых их камерами, которую можно извлечь из необработанных метаданных. .

      В таблице 1 перечислены данные, показанные на рис. 8, для предварительно установленных матриц поворота цвета, используемых цифровой камерой Olympus E-M1, а также диапазоны CCT освещения сцены, в которых применяется каждая матрица. На рисунке 9 показано, как множители необработанных каналов для одной и той же камеры меняются в зависимости от CCT. Данные были извлечены из необработанных метаданных с помощью бесплатного приложения ExifTool. 48 Стратегию преобразования цвета камеры можно резюмировать следующим образом.

      • 1.Камера определяет оценку WP освещения сцены (AW), используя алгоритм автоматического баланса белого, выбранную предустановку освещения сцены или настраиваемую CCT, предоставленную пользователем. AW используется для расчета соответствующих множителей необработанных каналов по формуле. (38) так, чтобы диагональная матрица WB D_ могла быть применена к необработанным каналам. В частности, D_ служит для адаптации AW к эталонному белому в необработанном пространстве камеры.

      • 2. После выполнения цветовой демозаики камера выбирает предварительно заданную матрицу поворота цветов R_i, оптимизированную для освещения с помощью CCT, которая обеспечивает наиболее близкое соответствие CCT, связанной с AW, или наиболее близкую предустановку освещения сцены.

      • 3. Камера применяет R_i для преобразования в цветовое пространство с привязкой к выходу, выбранное пользователем в камере, например sRGB. В частности, эталонный белый цвет необработанного пространства камеры отображается на эталонный белый цвет выбранного цветового пространства, ориентированного на вывод, которым является D65 в случае sRGB.

      Камера Olympus E-M1 также включает несколько предустановок освещения сцены. Матрицы поворота цвета и соответствующие множители необработанных каналов для этих предустановок сцены перечислены в таблице 2.Обратите внимание на то, что для заданного CCT предварительно заданные матрицы и множители сцены не обязательно совпадают с теми, что перечислены в таблице 1. Это связано с тем, что визуализации предварительно заданных сцен включают цветовой оттенок вдали от планковского локуса, поэтому координаты цветности не обязательно являются такие же, как перечисленные в таблице 1 для данной CCT. По той же причине обратите внимание, что предустановки сюжетных режимов «хорошая погода», «под водой» и «вспышка» фактически используют одну и ту же матрицу поворота цвета, но используют очень разные множители необработанных каналов.

      Таблица 1

      Матрицы поворота цвета Raw-to-sRGB, соответствующие диапазонам настраиваемых CCT в камере для камеры Olympus E-M1 с объективом 12-100 / 4 и прошивкой v4.1. В среднем столбце перечислены матрицы, извлеченные из необработанных метаданных, которые представляют собой 8-битные числа с фиксированной запятой. При делении на 256 в правом столбце отображаются одни и те же матрицы с четырьмя десятичными знаками, так что сумма каждой строки равна единице, а не 256.

      912−22 [374−96 −42348−508−124372]
      Диапазон CCT (K) Матрица вращения (фиксированная точка) Матрица вращения
      2000 → 3000 [320−36−28−683081614−248490] [1.2500-0.1406-0.1094-0.26561.20310.06250.0547-0.96881.9141]
      3100 → 3400 [332-52-24-58320-612-192436] [1.2969-0.2031-0.0938-0.22661 −0.02340.0469−0.75001.7031]
      3500 → 3700 [340−60−24−56324−1212−172416] [1.3281−0.2344−0.0938−0.21881.2656−0.04690.0461−0.67 6250]
      3800 → 4000 [346-68-22-52332-2410-160406] [1,3516-0,2656-0,0859-0,20311,2969-0.09380.0391−0.62501.5859]
      4200 → 4400 [346−68−22−48332−2812−160404] [1.3516−0.2656−0.0859−0.18751.2969−0.10940.046229
      4600 → 5000 [354−76−22−44336−3610−148394] [1,3828−0,2969−0,0859−0,17191,3125−0,14060,0391−0,57811,5391]
      [366−88−22−42340−4210−136382] [1.4297−0,3438−0,0859−0,16411,3281−0,16410,0391−0,53131,4922]
      5800 → 6600 [1.4609−0.3750−0.0859−0.16411.3594−0.19530.0313−0.48441.4531]
      6800 → 14000 [388−108−24−38360−668−112360] [1.5156−0.42 .4063−0.25780.0313−0.43751.4063]

      Рис. 9

      Множители необработанных каналов, используемые камерой Olympus E-M1, как функция CCT. Камера использует одинаковые множители для обоих зеленых каналов.

      Таблица 2

      Матрицы поворота цвета Raw-to-sRGB и соответствующие множители необработанных каналов, соответствующие режимам сцены в камере для камеры Olympus E-M1 с объективом 12-100 / 4 и v4.1 прошивка. Все значения представляют собой 8-битные числа с фиксированной запятой, которые можно разделить на 256. Поскольку предустановки режима сцены включают цветовой оттенок вдали от планковского локуса, множители и матрицы не обязательно имеют те же значения, что и пользовательские предустановки CCT с тот же CCT, указанный в таблице 1.

      −22]22 5500
      Режим сцены CCT (K) Множители Матрица вращения (фиксированная точка)
      Хорошая погода 5300 474 256 414 [36 −22−42340−4210−136382]
      Прекрасная погода с тенью 7500 552 256 326 [388−108−24−38360−668−112360]
      Облачно 6000 облачно 510 256 380 [374−96−22−42348−508−124372]
      Вольфрам (накаливания) 3000 276 256 728 [320−36−28−683081614−24129019
      Холодный белый люминесцентный 4000 470 256 580 [430−168−6−50300612−132376]
      Под водой 450 256 444 [366−88−22−42340−4210−136382] Flash
      562 256 366 [366−88−22−42340−4210−136382]

      Для любой данной модели камеры все предустановленные матрицы поворота цвета зависят от таких факторов, как цветовое пространство на выходе, выбранное пользователь в настройках камеры (например, sRGB или Adobe ® RGB), модель объектива, с которой был сделан снимок, и версия прошивки.Из-за различий в калибровке датчиков между разными примерами одной и той же модели камеры также может быть зависимость от отдельной камеры, используемой для съемки.

      Например, на рис. 10 (a) показана фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. Как и на рис. 6 (a), оттенок зеленого цвета возникает из-за того, что значения RGB необработанного пространства камеры интерпретируются как значения RGB в цветовом пространстве sRGB для целей отображения без применения какой-либо матрицы цветовых характеристик для преобразования цветов.На рисунке 10 (b) показана та же фотография после применения диагональной матрицы баланса белого D_ для хроматической адаптации AW к исходному белому пространству камеры. Множители необработанных каналов удаляют зеленый оттенок, но фотография остается в необработанном пространстве камеры. Примечательно, что цвета кажутся реалистичными, хотя и ненасыщенными. Чтобы проиллюстрировать, что эталонный белый цвет необработанного пространства камеры на самом деле является пурпурным цветом при использовании колориметрии CIE, рис.10 (c) преобразует (b) в цветовое пространство sRGB без какой-либо дальнейшей хроматической адаптации, применяя обычную матрицу характеристик T_, за которой следует M_sRGB. −1.Напротив, рис. 10 (d) был получен путем применения соответствующих умножителей необработанных каналов, за которыми следовала матрица поворота цвета sRGB R_ вместо T_ и M_sRGB-1. Матрица поворота цвета включает в себя CAT, который адаптирует эталонный белый цвет необработанного пространства камеры к эталонному белому пространству sRGB D65. В этом конкретном случае D_ = D_D65, поэтому матрица поворота цвета R_, определенная формулой. (40) становится

      Ур. (46)

      R_≡R_D65 = M_sRGB − 1 T_D65 D_D65−1. Подставляя в уравнение (37) дает

      уравнение.(47)

      [RLGLBL] D65 = M_sRGB-1 T_D65 D_D65-1 D_D65 [RGB] сцена. Следовательно, матрица вращения обращает эффект матрицы WB, поскольку освещение сцены и дисплея одинаковое.

      Рис. 10

      (а) Фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. (b) После применения соответствующих коэффициентов необработанных каналов. Они удаляют зеленый оттенок, но фотография остается в необработанном пространстве камеры. (c) После применения соответствующих умножителей необработанных каналов и преобразования в sRGB без какой-либо дальнейшей хроматической адаптации.Белый участок показывает истинный цвет эталонного белого космического пространства камеры. (d) После применения соответствующих умножителей необработанных каналов и матрицы поворота цветов sRGB R_.

      6.

      DCRaw Конвертер RAW с открытым исходным кодом

      Широко используемый преобразователь RAW с открытым исходным кодом DCRaw (произносится как «dee-see-raw»), написанный Д. Коффином, может обрабатывать большое количество форматов файлов RAW изображений. Он особенно полезен для научного анализа, поскольку он может декодировать необработанные файлы без демозаики, он может применять линейные кривые тона и может напрямую выводить в необработанное пространство камеры и цветовое пространство CIE XYZ.Некоторые соответствующие команды перечислены в таблице 3. Однако DCRaw по умолчанию выводит непосредственно в цветовое пространство sRGB с WP подсветкой D65, используя вариант традиционной стратегии цифровой камеры, описанной в предыдущем разделе. 28

      Напомним, что матрица вращения цвета, оптимизированная для использования с освещением сцены, определяется формулой. (40):

      R_ = M_sRGB − 1 CAT_AW → D65 T_ D_ − 1. Хотя цифровые камеры обычно используют небольшой набор предустановленных матриц поворота, оптимизированных для выбора предустановленных источников света, DCRaw вместо этого использует очень простой в вычислительном отношении подход, который использует только матрица одиночного вращения, оптимизированная для освещения сцены D65, R_≈R_D65.Это достигается с помощью характеристической матрицы T_D65, оптимизированной для освещения D65, что означает, что матрица D_-1, содержащаяся в R_, заменяется на D_D65-1, и матрица CAT_AW → D65 не требуется:

      Eq. (48)

      R_D65 = M_sRGB-1 T_D65 D_D65-1. Диагональная матрица баланса белого D_D65 содержит множители сырых каналов, подходящие для освещения D65:

      Eq. (49)

      D_D65 = [1R (WP) 0001G (WP) 0001B (WP)] D65 = [1R (D65) 0001G (D65) 0001B (D65)]. Общее преобразование из необработанного пространства камеры в линейную форму sRGB определяется

      Eq.(50)

      [RLGLBL] D65≈R_D65 D_ [RGB] сцена, которую можно более явно записать как

      Eq. (51)

      [RLGLBL] D65≈M_sRGB − 1 T_D65 [R (D65) R (AW) 000G (D65) G (AW) 000B (D65) B (AW)] [RGB] сцена. Следовательно, вся хроматическая адаптация выполняется выполняется с использованием множителей сырых каналов. Обратите внимание, что матрица WB D_, соответствующая оценке освещенности сцены, всегда применяется к необработанным данным в формуле. (50), поэтому WB всегда в принципе достигается правильно.

      Таблица 3

      Выбор соответствующих команд DCraw, доступных в версии 9.28. Обратите внимание, что параметры цветового пространства вывода RGB используют матрицы поворота цветов и поэтому должны использоваться только с правильными множителями сырых каналов из-за встроенного CAT.

      912
      -v Распечатать подробные сообщения
      -w Использовать камеру WB, если возможно
      -A Среднее значение серого прямоугольника для WB
      Установить индивидуальный WB
      + M / -M Использовать / не использовать встроенную цветовую матрицу
      -H [0-9] Режим выделения (0 = клип, 1 = отсоединить, 2 = смешивание, 3+ = перестроение)
      -o [0-6] Выходное цветовое пространство (raw, sRGB, Adobe, Wide, ProPhoto, XYZ, ACES)
      -d Режим документа ( без цвета, без интерполяции)
      -D Режим документа без масштабирования (полностью необработанный)
      -W Не увеличивать автоматически яркость изображения
      -b Регулировка яркости ( по умолчанию = 1.0)
      -g

      Установить пользовательскую кривую гаммы (по умолчанию = 2,222 4,5)
      -q [0-3] Установить качество интерполяции
      -h Половина -размер цветного изображения (вдвое быстрее, чем «-q 0»)
      -f Интерполировать RGGB как четыре цвета
      -6 Записать 16-битное вместо 8-битного
      — 4 Линейный 16-битный, то же, что «-6 -W -g 1 1»
      -T Записать TIFF вместо PPM

      Хотя матрица преобразования цвета T_D65 оптимизирована для освещения сцены D65, Применение матрицы поворота цвета R_D65 для преобразования из необработанного пространства камеры в sRGB допустимо для любого CCT освещения сцены, поскольку матрицы поворота цвета изменяются очень медленно в зависимости от CCT, как видно из рис.8. Однако R_D65 является оптимальным выбором для освещения сцены D65, поэтому недостатком этого упрощенного подхода является то, что общее преобразование цвета теряет некоторую точность, когда освещение сцены значительно отличается от D65.

      6.1.

      Пример: Olympus E-M1

      DCRaw использует матрицы поворота цвета, полученные с помощью уравнения. (48), поэтому для данной модели камеры требуется матрица характеристик T_D65. Для этой цели DCRaw использует матрицы Adobe «ColorMatrix2» из конвертера Adobe ® DNG. 32

      Из-за требований к логике восстановления, матрицы Adobe отображаются в противоположном направлении по отношению к традиционным матрицам характеризации, определенным в разд. 2.4, и, следовательно,

      Ур. (52)

      T_D65 = (1cColorMatrix2 _) — 1, где c — нормировочная константа. Для цифровой камеры Olympus E-M1 исходный код DCRaw хранит записи ColorMatrix2 следующим образом: 7687, −1984, −606, −4327, 11928, 2721, −1381, 2339, 6452. Деление на 10000 и преобразование в матричная форма дает

      Eq.(53)

      ColorMatrix2 _ = [0,7687-0,1984-0,0606-0,43271,19280.2721-0,13810,23390,6452]. Вызов из разд. 2.5 следует, что характеристические матрицы обычно нормализованы так, что WP характеристического источника света отображается на необработанные значения, так что максимальное значение (обычно зеленый канал) просто достигает насыщения, когда 100% нейтральный диффузный отражатель фотографируется под характеристическим источником света. Хотя матрицы ColorMatrix2 оптимизированы для освещения CIE D65, они по умолчанию нормализованы в соответствии с WP осветителя CIE D50, а не D65:

      Eq.(54)

      [R (WP) G (WP) B (WP)] D50 = ColorMatrix2_ [X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50, где max {R (WP) , G (WP), B (WP)} = 1. Соответственно, их необходимо масштабировать для использования с DCRaw:

      Eq. (55)

      [R (WP) G (WP) B (WP)] D65 = 1cColorMatrix2_ [X (WP) = 0.9504Y (WP) = 1.0000Z (WP) = 1.0888] D65, где max {R (WP) , G (WP), B (WP)} = 1. В данном примере найдено, что c = 1.0778, поэтому

      Eq. (56)

      T_D65-1 = [0,7133-0,1841-0,0562-0,40151,10680,2525-0,12810,21700,5987]. С учетом единичного вектора в цветовом пространстве sRGB указанная выше матрица может использоваться для получения необработанных значений трехцветного изображения для D65. освещение WP:

      Ур.(57)

      [R (WP) = 0,4325G (WP) = 1,0000B (WP) = 0,7471] D65 = T_D65−1 M_sRGB [RL = 1GL = 1BL = 1] D65, где M_sRGB преобразуется из линейной формы sRGB. в CIE XYZ. Теперь уравнение. (49) можно использовать для извлечения множителей сырых каналов для освещения сцены с D65 WP:

      Eq. (58)

      D_D65 = [2.311700010001.3385]. Наконец, матрица вращения цвета может быть рассчитана по формуле. (48):

      Ур. (59)

      R_D65 = [1,7901-0,6689-0,1212-0,21671,7521-0,53540,0543-0,55821,5039]. Сумма в каждой строке при необходимости сводится к единице. Форма матрицы аналогична встроенным в камеру матрицам Olympus, перечисленным в таблице 1.Для целей сравнения соответствующая приведенная матрица является той, которая действительна для CCT источников света сцены в диапазоне от 5800 до 6600 K. Ожидаются некоторые численные различия, поскольку освещение D65 имеет цветовой оттенок Duv = 0,0032. Другие численные различия, вероятно, связаны с разницей в методах характеризации Olympus и Adobe. Кроме того, Adobe использует таблицы HSV (оттенок, насыщенность и значение) для имитации окончательной цветопередачи встроенного в камеру механизма обработки JPEG.

      6.2.

      DCRaw и MATLAB

      Как показано в таблице 3, DCRaw включает в себя множество команд, которые полезны для научных исследований.Однако важно отметить, что параметры цветового пространства вывода RGB используют матрицы поворота цвета, а не конкатенацию необработанных матриц с CIE XYZ и CIE XYZ с матрицами RGB. Поскольку матрицы поворота цвета включают встроенный CAT, эти параметры позволят достичь ожидаемого результата только в сочетании с правильными множителями необработанных каналов. Например, установка множителя каждого необработанного канала на единицу не предотвратит выполнение некоторой частичной хроматической адаптации, если выбран выход sRGB, поскольку матрица вращения цвета DCRaw включает в себя матрицу D_D65-1, которая является типом CAT_RW → D65.

      Надежным способом использования DCRaw для научных исследований является команда «dcraw -v -D -4 -T filename», которая обеспечивает линейный 16-битный вывод TIFF в необработанном цветовом пространстве без балансировки белого, демозаики или преобразования цвета. . Последующая обработка может быть выполнена после импорта файла TIFF в MATLAB ® с использованием обычной команды «imread». Ссылка 49 предоставляет учебное пособие по обработке. Цветные диаграммы фотографий в данной статье были получены с использованием этой методики.

      Например, после импорта файла в MATLAB с помощью приведенных выше команд видимое выходное изображение в цветовом пространстве sRGB без какой-либо балансировки белого может быть получено путем применения соответствующей характеристической матрицы T_ после цветовой демозаики с последующим прямым применением стандартная матрица CIE XYZ в sRGB, M_sRGB − 1.

      7.

      Adobe DNG

      Adobe ® DNG — это формат необработанных файлов с открытым исходным кодом, разработанный Adobe. 32 , 50 Бесплатная программа DNG Converter может использоваться для преобразования любого необработанного файла в формат DNG.

      Хотя преобразователь DNG не нацелен на создание видимого выходного изображения, он выполняет преобразование цвета из необработанного пространства камеры в пространство соединения профиля (PCS) на основе цветового пространства CIE XYZ с освещением D50 WP. 40 (Это не фактический эталонный белый цвет CIE XYZ, который является источником света CIE E.) Следовательно, модель обработки цвета, используемая конвертером DNG, должна обеспечивать соответствующие матрицы характеристик вместе со стратегией для достижения правильного баланса белого по отношению к Шт.При обработке файлов DNG необработанные преобразователи могут напрямую отображать из PCS любое выбранное цветовое пространство, указанное на выходе, и связанный с ним эталонный белый цвет.

      Спецификация DNG предоставляет две разные модели обработки цвета, называемые здесь методом 1 и методом 2. Метод 1 использует ту же стратегию, что и смартфоны и коммерческие преобразователи необработанных данных, с той разницей, что данные остаются в PCS. Метод 2, использующий умножители необработанных каналов, использует ту же стратегию, что и традиционные цифровые камеры.Однако множители применяются вместе с так называемой прямой матрицей вместо матрицы вращения, поскольку отображение выполняется на PCS, а не на цветовое пространство RGB, относящееся к выходу.

      7.1.

      Метод 1. Цветовые матрицы

      Преобразование из необработанного пространства камеры в PCS определяется следующим образом:

      Ур. (60)

      [XYZ] D50 = CAT_AW → D50 C_ − 1 [RGB] сцена. Здесь C_ — это цветовая матрица Adobe, оптимизированная для сцены AW. Из-за требований логики восстановления выделения, цветовые матрицы Adobe отображаются в направлении от цветового пространства CIE XYZ до необработанного пространства камеры:

      Eq.(61)

      [RGB] scene = C_ [XYZ] scene. Это направление, противоположное обычной матрице характеристик T_, поэтому после обратного преобразования C_ из необработанного пространства камеры в CIE XYZ для адаптации применяется линейная Брэдфордская CAT AW к WP PCS.

      Аналогично проблеме, описанной в гл. 4 для смартфонов, реализация уравнения. (60) усложняется тем, что C_ следует оптимизировать для сцены AW. Оптимизированная матрица C_ определяется путем интерполяции между двумя цветовыми матрицами, обозначенными ColorMatrix1 и ColorMatrix2, где ColorMatrix1 должен быть получен из характеристики, выполненной с использованием источника света с низким CCT, такого как источник света CIE A, и ColorMatrix2 должен быть получен из характеристики, выполненной с использованием высокого разрешения. Источник света CCT, такой как осветительный прибор CIE D65. 32

      Оптимизированная матрица C_ вычисляется путем интерполяции между ColorMatrix1 и ColorMatrix2 на основе оценки CCT освещения сцены, обозначенной CCT (AW), вместе с CCT, связанных с каждым из двух характеризующих источников света, обозначенных CCT1 и CCT2, соответственно. , с CCT1

      7.2.

      Нормализация цветовой матрицы

      Вспомните из разд. 2.5, что характеристические матрицы обычно нормализованы так, что характеризующий источник света WP в цветовом пространстве CIE XYZ просто насыщает необработанные данные в необработанном пространстве камеры и что зеленый необработанный канал обычно насыщается первым.Однако в данном контексте матрицы Adobe ColorMatrix1 и ColorMatrix2 требуют общей нормализации, которая удобна для выполнения интерполяции. Аналогично разд. 4.1 AW неизвестен в терминах цветового пространства CIE XYZ до интерполяции. Вместо этого ColorMatrix1 и ColorMatrix2 по умолчанию нормализованы, так что WP PCS просто насыщает необработанные данные:

      Eq. (63)

      [R (WP) G (WP) B (WP)] D50 = ColorMatrix1_ [X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50, [R (WP) G ( WP) B (WP)] D50 = ColorMatrix2_ [X (WP) = 0.9642Y (WP) = 1,0000Z (WP) = 0,8249] D50, где max {R (WP), G (WP), B (WP)} = 1. Например, значения по умолчанию ColorMatrix1 и ColorMatrix2 для камеры Olympus E-M1, соответственно, нормализованы следующим образом:

      Eq. (64)

      [R (WP) = 0,5471G (WP) = 1,0000B (WP) = 0,6560] D50 = [1,1528-0,57420,0118-0,24531,02050,2619-0,07510,1890,6539] [X (WP) = 0,9642Y ( WP) = 1,0000Z (WP) = 0,8249] D50, [R (WP) = 0,4928G (WP) = 1,0000B (WP) = 0,6330] D50 = [0,7687-0,1984-0,0606-0,43271,19280,2721-0,13810,23390,6452] [X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50.

      Интерполированный C_ изначально наследует эту нормализацию.Однако после определения C_ значения CIE XYZ для AW будут известны. Следовательно, исходный код Adobe DNG SDK позже повторно нормализует Eq. (60), так что AW в необработанном пространстве камеры отображается на WP PCS, когда необработанные данные просто насыщаются:

      Eq. (65)

      [X (WP) = 0,9641Y (WP) = 1,0000Z (WP) = 0,8249] D50 = CAT_AW → D50 C_ − 1 [R (AW) G (AW) B (AW)] сцена, где макс. {R (WP), G (WP), B (WP)} = 1. Это эквивалентно перенормировке C_ следующим образом:

      Eq. (66)

      [R (AW) G (AW) B (AW)] сцена = C_ [X (AW) Y (AW) Z (AW)] сцена, где Y (AW) = 1 и max {R (WP ), G (WP), B (WP)} = 1.

      7.3.

      Линейная интерполяция на основе обратной CCT

      Алгоритм интерполяции метода 1 такой же, как описанный в разд. 4.1, за исключением того, что ColorMatrix1, ColorMatrix2 и C_ заменяют T1_, T2_ и T_ соответственно. Кроме того, спецификация Adobe DNG требует, чтобы метод интерполяции был линейной интерполяцией на основе обратной CCT. 32

      Опять же, сама интерполяция усложняется тем фактом, что AW обычно рассчитывается камерой в терминах необработанных значений R (AW), G (AW) и B (AW), но соответствующие CCT ( AW) требует знания координат цветности (x, y).Это означает преобразование в CIE XYZ с помощью матричного преобразования C_, которое само зависит от неизвестного CCT (AW), которое может быть решено с помощью процедуры самосогласования итераций.

      • 1. Сделайте предположение для координат цветности AW, (x (AW), y (AW)). Например, могут использоваться координаты цветности, соответствующие одному из характеризующих осветительных приборов.

      • 2. Найдите значение CCT CCT (AW), которое соответствует координатам цветности (x (AW), y (AW)), используя один из методов, перечисленных в шаге 2 разд.4.1.

      • 3. Выполните линейную интерполяцию:

        Ур. (67)

        C_ = α ColorMatrix1 _ + (1 − α) ColorMatrix2_, где α — зависимое от CCT взвешивание, которое зависит от обратного CCT:

        Eq. (68)

        α = (CCT (AW)) — 1− (CCT2) −1 (CCT1) −1− (CCT2) −1. Эти веса (обозначены g и 1 − g в исходном коде Adobe DNG SDK) проиллюстрированы на рис. 11 для пары примерных значений CCT1 и CCT2. Интерполяция действительна для CCT (1) ≤CCT (AW) ≤CCT (2). Если CCT (AW) CCT2, то C_ должно быть установите равным ColorMatrix2.
      • 4. Используйте C_ для преобразования AW из необработанного пространства камеры в CIE XYZ:

        Eq. (69)

        [X (AW) Y (AW) Z (AW)] сцена = C_ − 1 [R (AW) G (AW) B (AW)] сцена. Это дает новое предположение для (x (AW) , y (AW)).
      • 5. Повторяйте процедуру, начиная с шага 2, пока (x (AW), y (AW)), CCT (AW) и C_ все не сойдутся к стабильному решению.

      • 6. Нормализуйте преобразование цвета в соответствии с формулой. (65).

      На рисунке 12 показаны результаты линейной интерполяции на основе обратной CCT с использованием цветовых матриц Adobe, определенных формулой.(64) для камеры Olympus E-M1. Обратите внимание, что ColorMatrix2 такая же, как определенная формулой. (53), который был извлечен из исходного кода DCRaw.

      Рис. 11

      Весовые коэффициенты линейной интерполяции α и 1 − α на основе обратной CCT с CCT1 = 2855 K и CCT2 = 6504 K.

      Рис. 12

      Оптимизированная цветовая матрица C_, построенная как функция CCT и полученные с помощью линейной интерполяции на основе обратной CCT матриц преобразования цвета Adobe ColorMatrix1 (источник света A, CCT2 = 2855 K) и ColorMatrix2 (источник света D65, CCT2 = 6504 K) для камеры Olympus E-M1.

      Поскольку C_ отображается в направлении от цветового пространства CIE XYZ к необработанному пространству камеры, инверсию интерполированного C_ можно сравнить с традиционной характеристической матрицей T_ при заданном CCT источника света. На рисунке 13 показан график, обратный интерполированному C_, как функция CCT, и этот рисунок можно сравнить с рисунком 5, на котором показаны стандартные матрицы характеристик для той же камеры, оптимизированные для выбора CCT. Хотя на этих двух графиках используются разные нормализации, поскольку матрицы характеристик нормализованы в соответствии с их характеристическим источником света WP, а не WP PCS, вариации относительно CCT аналогичны.Однако очевидно, что интерполированный C_ теряет точность для CCT ниже CCT1.

      Рис. 13

      Инверсия интерполированной цветовой матрицы C_, представленной на рис. 12.

      7.4.

      Метод 2: Прямые матрицы

      Рассмотрим преобразование из необработанного пространства камеры в PCS, определенное уравнением. (60):

      [XYZ] D50 = CAT_AW → D50 C_ − 1 [RGB] сцена, где C_ — цветовая матрица Adobe, оптимизированная для сцены AW. Метод 2 переформулирует вышеуказанное преобразование следующим образом:

      Eq.(70)

      [XYZ] D50 = F_D_ [RGB] сцена. Преобразование цвета можно разделить на два этапа.
      • 1. Аналогично стратегии преобразования цвета традиционных цифровых фотоаппаратов, описанной в разд. 5, диагональная матрица D_, определенная формулой. (38) содержит множители необработанных каналов, подходящие для AW, т. Е. Оценочную оценку WP освещения сцены:

        D _ = [1R (AW) 0001G (AW) 0001B (AW)] сцена. В частности, множители необработанных каналов служат для хроматической адаптировать AW к эталонному белому цвету необработанного пространства камеры:

        Eq.(71)

        [R = 1G = 1B = 1] = D_ [R (AW) G (AW) B (AW)] сцена. Обратите внимание, что спецификация Adobe DNG также учитывает необработанные множители каналов, применяемые в аналоговой области. 32 Однако в последних цифровых камерах используются АЦП с относительно высокой битовой глубиной порядка 12 или 14, и, следовательно, в цифровой области используются умножители необработанных каналов.
      • 2. Прямая матрица F_ — это тип характеристической матрицы, которая отображает необработанное пространство камеры в PCS и оптимизирована для освещения сцены.Поскольку PCS основана на цветовом пространстве CIE XYZ с WP освещенности D50, передняя матрица F_ включает встроенный CAT, поскольку она также должна адаптировать эталонный белый необработанного пространства камеры к WP освещения D50:

        Eq . (72)

        [X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50 = F_ [R = 1G = 1B = 1].

      Поскольку прямая матрица F_ должна быть оптимизирована для сцены AW, на практике она определяется интерполяцией между двумя прямыми матрицами аналогично подходу интерполяции, используемому в методе 1.Спецификация Adobe DNG предоставляет теги для двух прямых матриц, обозначенных ForwardMatrix1 и ForwardMatrix2, которые должны снова быть получены из характеристик, выполненных с использованием источника света с низким CCT и источника света с высоким CCT, соответственно. Следует использовать тот же метод интерполяции, который описан в предыдущем разделе, с ForwardMatrix1, ForwardMatrix2 и F_ вместо ColorMatrix1, ColorMatrix2 и C_, соответственно,

      Eq. (73)

      F_ = α ForwardMatrix1 _ + (1 − α) ForwardMatrix2_. На рисунке 14 показана оптимизированная прямая матрица, интерполированная из ForwardMatrix1 и ForwardMatrix2 и выраженная как функция CCT для камеры Olympus E-M1.

      Рис. 14

      Оптимизированная прямая матрица F_, построенная как функция CCT и полученная с помощью линейной интерполяции на основе обратной CCT матрицы Adobe ForwardMatrix1 (источник света A, CCT2 = 2855 K) и прямой матрицы 2 (источник света D65, CCT2 = 6504 K ) матрицы для фотоаппарата Olympus E-M1. Очевидно, что элементы оптимизированной прямой матрицы F_ изменяются очень медленно и стабильно как функция CCT, аналогично элементам матрицы поворота цвета, показанным на рис. 8.

      7.5.

      Спецификация прямой матрицы

      Путем сравнения формул.(60) и (70), F_ алгебраически связана с цветовой матрицей C_ следующим образом:

      Ур. (74)

      F_ = CAT_AW → D50 C_ − 1 D_ − 1. Поскольку на практике F_ интерполируется из ForwardMatrix1 и ForwardMatrix2, они определяются как

      Eq. (75)

      ForwardMatrix1_ = CAT_AW → D50 ColorMatrix1_ − 1 D_ − 1ForwardMatrix2_ = CAT_AW → D50 ColorMatrix2_ − 1 D_ − 1 Согласно уравнению. (72) оптимизированная прямая матрица F_ по определению нормализована так, что единичный вектор в необработанном пространстве камеры отображается на WP D50 PCS. 32 Это означает, что ForwardMatrix1 и ForwardMatrix2 также должны быть нормализованы таким образом. Например, значения по умолчанию ForwardMatrix1 и ForwardMatrix2 для камеры Olympus E-M1, соответственно, нормализованы следующим образом:

      Eq. (76)

      [X (WP) = 0.9643Y (WP) = 0.9999Z (WP) = 0.8251] D50 = [0.47340.36180.12910.27650.68270.04070.21160.00060.6129] [R = 1G = 1B = 1], [X ( WP) = 0.9643Y (WP) = 1.0000Z (WP) = 0.8252] D50 = [0.46330.32440.17660.27790.66610.05600.17220.00330.6497] [R = 1G = 1B = 1]. Официальный WP D50 PCS на самом деле X = 0.9642, Y = 1,0000 и Z = 0,8249, 40 , что является 16-битным дробным приближением истинного D50 WP, определяемого как X = 0,9642, Y = 1,0000 и Z = 0,8251.

      8.

      Выводы

      В первом разделе этой статьи показано, как конвертер RAW с открытым исходным кодом DCRaw можно использовать для непосредственного определения характеристик камеры без необходимости определять и инвертировать OECF, а также показано, как матрицы характеристик нормализуются на практике. Как следствие метамерной ошибки камеры, необработанное пространство камеры для типичной камеры оказалось деформированным от треугольной формы, доступной для аддитивных линейных комбинаций трех фиксированных основных цветов на диаграмме цветности xy, а доступная гамма оказалась зависимой. на характеристику осветительного прибора.Также было показано, что эталонный белый цвет типичного необработанного пространства камеры имеет сильный пурпурный оттенок.

      Впоследствии в этой статье исследовались и сравнивались типы стратегий преобразования цвета, используемые камерами смартфонов и коммерческими преобразователями RAW, механизмами обработки изображений традиционных цифровых камер, DCRaw и преобразователем Adobe DNG.

      Смартфоны и программные приложения для преобразования необработанных данных обычно используют стратегию преобразования цвета, известную в области цветоведения.Это включает в себя применение матрицы характеристик T_ для преобразования из необработанного пространства камеры в цветовое пространство CIE XYZ, CAT для хроматической адаптации оцененного WP освещения сцены к эталонному белому цветового пространства, упомянутого на выходе (например, D65 для sRGB), и, наконец, преобразование из CIE XYZ в линейную форму выбранного цветового пространства, ориентированного на вывод. Поскольку оптимизированная матрица характеристик зависит от CCT, если не выполняется условие Лютера-Айвза, оптимизированная матрица может быть определена путем интерполяции между двумя предварительно установленными характеристическими матрицами, одна оптимизирована для источника света с низкой CCT, а другая оптимизирована для источника света с высокой CCT. .Более простые решения включают использование фиксированной матрицы характеристик, оптимизированной для репрезентативного освещения сцены.

      Для традиционных цифровых камер в этой статье показано, как общее преобразование цвета обычно переформулируется в терминах множителей сырых каналов D_ вместе с набором матриц поворота цветов R_. Множители необработанных каналов действуют как тип CAT, хроматически адаптируя оценку WP освещения сцены к эталонному белому необработанного пространства камеры. Поскольку каждая строка матрицы поворота цвета равна единице, матрица поворота впоследствии преобразуется из необработанного пространства камеры непосредственно в выбранное цветовое пространство RGB, относящееся к выходу, и в то же время хроматически адаптирует исходный белый цвет исходного пространства камеры к таковому цветовое пространство, указанное на выходе.Было показано, что вариация элементов матрицы поворота цвета относительно CCT очень мала, поэтому требуется лишь небольшой выбор предварительно заданных матриц поворота, каждая из которых оптимизирована для заданного предварительно заданного источника света. Это позволяет применять необработанные множители каналов, подходящие для оценки WP освещения сцены, в сочетании с предварительно установленной матрицей поворота, связанной с наиболее подходящим WP. Основное преимущество переформулировки состоит в том, что интерполяция не требуется, и метод может быть эффективно реализован в архитектуре с фиксированной точкой.Кроме того, качество изображения может быть улучшено путем применения умножителей необработанных каналов до цветовой демозаики.

      Было показано, что DCRaw использует модель, аналогичную традиционным цифровым камерам, за исключением того, что для каждой камеры используется только одна матрица поворота цветов, в частности матрица R_D65, оптимизированная для освещения D65. Хотя общее преобразование цвета теряет некоторую точность, когда освещение сцены значительно отличается от D65, преимущество отделения множителей необработанного канала от характеристической информации, представленной матрицей поворота цвета, заключается в том, что WB может быть правильно достигнут для любого типа освещения сцены при условии необработанного применяются канальные множители, подходящие для освещения сцены.Было показано, что матрицы вращения, используемые DCRaw, могут быть получены из инверсий матриц цветовых характеристик ColorMatrix2, используемых конвертером Adobe DNG.

      Преобразователь Adobe DNG отображает необработанное пространство камеры и оценку WP освещения сцены на промежуточный этап в общем преобразовании цвета, а именно на PCS на основе цветового пространства CIE XYZ с WP D50. Метод 1 определяет подход, который также используется в коммерческих преобразователях необработанных данных и современных смартфонах. Цветовая матрица C_, оптимизированная для освещения сцены, получается посредством интерполяции между предварительно заданными матрицами «ColorMatrix1» с низким CCT и «ColorMatrix2» с высоким CCT.Из-за требований логики восстановления выделения эти цветовые матрицы отображаются в противоположном направлении по сравнению с обычными характеристическими матрицами. Кроме того, матрицы ColorMatrix1 и ColorMatrix2 изначально нормализованы в соответствии с WP PCS, а не их соответствующими характеристическими осветительными приборами. Поскольку цветовые матрицы Adobe находятся в свободном доступе, их соответствующим образом нормализованные инверсии могут служить полезными высококачественными характеристическими матрицами, когда оборудование для определения характеристик камеры недоступно.

      Метод 2, предлагаемый конвертером Adobe DNG, использует множители необработанных каналов аналогично традиционным цифровым камерам. Однако они применяются в сочетании с так называемой прямой матрицей, а не с матрицей вращения, поскольку преобразователь Adobe DNG напрямую не сопоставляется с цветовым пространством RGB, указанным на выходе, поэтому каждая строка прямой матрицы не суммируется до единицы. Хотя оптимизированная прямая матрица определяется путем интерполяции предварительно установленных матриц «ForwardMatrix1» и «ForwardMatrix2», изменение оптимизированной прямой матрицы относительно CCT очень мало, аналогично матрице вращения.

      9.

      Приложение: Модель необработанных данных

      Рассмотрим необработанные значения, выраженные как интегрирование по спектральной полосе пропускания камеры в соответствии с формулой. (5):

      R = k∫λ1λ2R1 (λ) E˜e, λdλ, G = k∫λ1λ2R2 (λ) E˜e, λdλ, B = k∫λ1λ2R3 (λ) E˜e, λdλ. Хотя E˜ e, λ можно рассматривать как среднюю спектральную освещенность на фотосъёмке, более точно это описывается как спектральная освещённость, свёрнутая с функцией рассеяния точки (PSF) системы камеры (x, y, λ) и измеренная в позиционных координатах ( x, y) на плоскости датчика:

      Eq.(77)

      E˜e, λ (x, y) = [Ee, λ, ideal (x, y) * h (x, y, λ)] comb [xpx, ypy], где px и py — пиксель смолы в горизонтальном и вертикальном направлениях. Также может быть включена модель шума. 28 , 51 Величина, обозначенная Ee, λ, ideal (x, y), представляет собой идеальную спектральную освещенность на плоскости датчика, которая теоретически может быть получена в отсутствие системы PSF:

      Eq. (78)

      Eλ, ideal (x, y) = π4Le, λ (xm, ym) 1Nw2T cos4 {φ (xm, ym)}, где Le, λ — соответствующая спектральная яркость сцены, m — увеличение системы, Nw — рабочее f-число объектива, T — коэффициент пропускания линзы, а φ — угол между оптической осью и указанными координатами сцены.Если известен профиль виньетирования объектива, четвертый член косинуса можно заменить коэффициентом относительной освещенности, который представляет собой функцию пространства изображения, описывающую реальный профиль виньетирования. 52

      Константа k, которая появляется в уравнении. (5) устанавливает верхнюю границу величины необработанных значений. Можно показать 28 , что k задается как

      , где t — продолжительность воздействия, а gi — коэффициент преобразования между счетчиками электронов и исходными значениями для мозаики i, выраженный в единицах e− / DN. 53 , 54 Коэффициент преобразования обратно пропорционален усилению ISO GISO, которое является аналоговой настройкой усиления усилителя с программируемым усилением, расположенного перед АЦП:

      Eq. (80)

      gi = UGISO, i, U = ne, i, FWCnDN, i, clip. Здесь U — единичный коэффициент усиления, который представляет собой настройку усиления, при которой gi = 1. Полнолуночная емкость обозначается символами ne, i, FWC и nDN, i, clip — это точка отсечения необработанного сигнала, которая является максимально доступным необработанным уровнем. Это значение не обязательно равно максимальному необработанному уровню, обеспечиваемому АЦП с учетом его битовой глубины M, которая составляет 2M-1 DN, особенно если камера включает смещение смещения, которое вычитается перед записью необработанных данных. 28 , 53

      Наименьшее аналоговое усиление определяется GISO = 1, что соответствует базовому усилению ISO. 28 , 51 Числовые значения соответствующих настроек ISO камеры S определяются с использованием выходных данных JPEG, а не необработанных данных. 55 , 56 Эти пользовательские значения также учитывают цифровое усиление, применяемое через градационную кривую JPEG. При сравнении необработанного вывода с камер, основанных на различных форматах датчиков, по возможности следует использовать эквивалентные, а не одинаковые настройки экспозиции. 57

      Как указано в п. 2.2, фактические необработанные значения, полученные на практике, представляют собой квантованные значения, смоделированные путем взятия целой части уравнения. (5), и полезно впоследствии нормализовать их до диапазона [0,1], разделив уравнение. (5) по необработанной точке отсечения.

      % PDF-1.4 % 400 0 объект > эндобдж xref 400 109 0000000016 00000 н. 0000003483 00000 н. 0000003712 00000 н. 0000003748 00000 н. 0000004227 00000 п. 0000004392 00000 п. 0000004535 00000 н. 0000004695 00000 н. 0000004839 00000 н. 0000004968 00000 н. 0000005111 00000 п. 0000005240 00000 н. 0000005383 00000 п. 0000005512 00000 н. 0000005655 00000 н. 0000005784 00000 н. 0000005927 00000 н. 0000006056 00000 н. 0000006199 00000 н. 0000006328 00000 н. 0000006471 00000 н. 0000006601 00000 п. 0000006744 00000 н. 0000006874 00000 н. 0000007017 00000 н. 0000007145 00000 н. 0000007288 00000 н. 0000007416 00000 н. 0000007560 00000 н. 0000007688 00000 н. 0000007832 00000 н. 0000007869 00000 н. 0000008225 00000 н. 0000008617 00000 н. 0000009177 00000 н. 0000009264 00000 н. 0000009367 00000 н. 0000009992 00000 н. 0000010142 00000 п. 0000010556 00000 п. 0000011223 00000 п. 0000012683 00000 п. 0000013991 00000 п. 0000014174 00000 п. 0000014232 00000 п. 0000014655 00000 п. 0000014877 00000 п. 0000015541 00000 п. 0000016841 00000 п. 0000017175 00000 п. 0000017458 00000 п. 0000018776 00000 п. 0000024044 00000 п. 0000024387 00000 п. 0000024994 00000 п. 0000026034 00000 п. 0000026702 00000 п. 0000027149 00000 н. 0000027246 00000 п. 0000027739 00000 п. 0000027993 00000 н. 0000028206 00000 п. 0000029544 00000 п. 0000030846 00000 п. 0000031983 00000 п. 0000032805 00000 п. 0000040421 00000 п. 0000426541 00000 н. 0000429274 00000 н. 0000436155 00000 н. 0000440319 00000 п. 0000440383 00000 п. 0000440769 00000 н. 0000440992 00000 н. 0000441064 00000 н. 0000441174 00000 н. 0000441279 00000 н. 0000441328 00000 н. 0000441450 00000 н. 0000441499 00000 н. 0000441630 00000 н. 0000441678 00000 н. 0000441841 00000 н. 0000441889 00000 н. 0000442010 00000 н. 0000442120 00000 н. 0000442301 00000 н. 0000442349 00000 н. 0000442486 00000 н. 0000442624 00000 н. 0000442772 00000 н. 0000442820 00000 н. 0000442942 00000 н. 0000443060 00000 н. 0000443108 00000 н. 0000443241 00000 н. 0000443289 00000 н. 0000443429 00000 н. 0000443477 00000 н. 0000443525 00000 н. 0000443573 00000 н. 0000443621 00000 н. 0000443669 00000 н. 0000443807 00000 н. 0000443855 00000 н. 0000443992 00000 н. 0000444040 00000 н. 0000444088 00000 н. 0000002476 00000 н. трейлер ] / Назад 795936 >> startxref 0 %% EOF 508 0 объект > поток h ޔ Smlu ~ X [lf \ h5۵] hFM (/ j * (_ P | a: S8 $ & | 2f_> а $!% ~ W! =? TjPXP T6b * 9) mѹzc99f} K?) 7 @ jG: ZZp {ܽ Y7u5n [z | # ʸ 鶨 / o 46zw {| `g, UL? 56Ch ‘؛ ku y ) = L!> j; H./{‘-RF5LTZr.25XTi%Ci ו * MUɓx% gg) ~; Żaxbx6BzD`

      Проекция представления модели WebGL — веб-API

      В этой статье рассматривается, как принимать данные в проекте WebGL и проецировать их в нужные места для отображения на экране. Он предполагает знание базовой математики матриц с использованием матриц переноса, масштабирования и вращения. В нем объясняются три основных матрицы, которые обычно используются при создании 3D-сцены: матрицы модели, вида и проекции.

      Индивидуальные преобразования точек и многоугольников в пространстве в WebGL обрабатываются основными матрицами преобразования, такими как перенос, масштаб и поворот.Эти матрицы могут быть составлены вместе и сгруппированы особым образом, чтобы сделать их полезными для рендеринга сложных 3D-сцен. Эти составные матрицы в конечном итоге перемещают исходные данные модели в специальное координатное пространство, называемое пространством клипов . Это куб шириной 2 единицы с центром в точке (0,0,0) и углами в диапазоне от (-1, -1, -1) до (1,1,1). Это пространство клипа сжимается до двухмерного пространства и растрируется в изображение.

      Первая матрица, обсуждаемая ниже, — это матрица модели , которая определяет, как вы берете данные исходной модели и перемещаете их в трехмерном мировом пространстве.Матрица проекции используется для преобразования координат мирового пространства в координаты пространства клипа. Обычно используемая проекционная матрица перспективная проекционная матрица используется для имитации эффектов типичной камеры, служащей заменой для зрителя в виртуальном трехмерном мире. Матрица вида отвечает за перемещение объектов в сцене для имитации положения изменяемой камеры, изменяя то, что зритель может видеть в данный момент.

      В следующих разделах подробно рассматриваются идеи, лежащие в основе и реализация матриц модели, вида и проекции. Эти матрицы являются основой для перемещения данных на экране и представляют собой концепции, выходящие за рамки отдельных фреймворков и механизмов.

      В программе WebGL данные обычно загружаются в графический процессор с его собственной системой координат, а затем вершинный шейдер преобразует эти точки в специальную систему координат, известную как пространство отсечения . Любые данные, выходящие за пределы области клипа, обрезаются и не отображаются.Однако, если треугольник пересекает границу этого пространства, он разбивается на новые треугольники, и остаются только те части новых треугольников, которые находятся в пространстве отсечения.

      На приведенном выше рисунке показано пространство клипа, в которое должны уместиться все точки. Это куб, по две единицы на каждой стороне, с одним углом в точке (-1, -1, -1) и противоположным углом в точке (1,1,1). Центр куба — точка (0,0,0). Эта система координат размером 8 кубических метров, используемая пространством клипов, известна как нормализованные координаты устройства (NDC).Вы можете время от времени сталкиваться с этим термином при исследовании кода WebGL и работе с ним.

      В этом разделе мы поместим наши данные напрямую в систему координат пространства клипа. Обычно используются данные модели, которые находятся в некоторой произвольной системе координат, а затем преобразуются с использованием матрицы, преобразуя координаты модели в систему координат пространства клипа. В этом примере проще всего проиллюстрировать, как работает пространство клипа, используя значения координат модели в диапазоне от (-1, -1, -1) до (1,1,1).Приведенный ниже код создаст 2 треугольника, которые будут рисовать квадрат на экране. Глубина Z в квадратах определяет, что будет нарисовано сверху, когда квадраты занимают одно и то же пространство. Меньшие значения Z отображаются поверх больших значений Z.

      Пример WebGLBox

      В этом примере будет создан пользовательский объект WebGLBox , который будет рисовать 2D-блок на экране.

      Примечание : Код для каждого примера WebGLBox доступен в этом репозитории github и организован по разделам.Кроме того, внизу каждого раздела есть ссылка JSFiddle.

      Конструктор WebGLBox

      Конструктор выглядит так:

        function WebGLBox () {
        
        this.canvas = document.getElementById ('холст');
        this.canvas.width = window.innerWidth;
        this.canvas.height = window.innerHeight;
        this.gl = MDN.createContext (холст);
      
        var gl = this.gl;
      
        
        this.webglProgram = MDN.createWebGLProgramFromIds (gl, 'вершинный шейдер', 'фрагмент-шейдер');
        gl.useProgram (это.webglProgram);
      
        
        this.positionLocation = gl.getAttribLocation (this.webglProgram, 'позиция');
        this.colorLocation = gl.getUniformLocation (this.webglProgram, 'цвет');
      
        
        
        gl.enable (gl.DEPTH_TEST);
      
      }
        
      Отрисовка WebGLBox

      Теперь мы создадим метод рисования прямоугольника на экране.

        WebGLBox.prototype.draw = function (settings) {
        
        
      
        var data = new Float32Array ([
      
          
          settings.left, settings.bottom, settings.depth,
          settings.right, settings.внизу, settings.depth,
          settings.left, settings.top, settings.depth,
      
          
          settings.left, settings.top, settings.depth,
          settings.right, settings.bottom, settings.depth,
          settings.right, settings.top, settings.depth
        ]);
      
        
      
        
        
      
        var gl = this.gl;
      
        
        var buffer = gl.createBuffer ();
        gl.bindBuffer (gl.ARRAY_BUFFER, буфер);
        gl.bufferData (gl.ARRAY_BUFFER, данные, gl.STATIC_DRAW);
      
        
        gl.enableVertexAttribArray (this.positionLocation);
        gl.vertexAttribPointer (это.positionLocation, 3, gl.FLOAT, false, 0, 0);
      
        
        gl.uniform4fv (this.colorLocation, settings.color);
      
        
        gl.drawArrays (gl.TRIANGLES, 0, 6);
      }
        

      Шейдеры — это биты кода, написанные на GLSL, которые берут наши точки данных и в конечном итоге выводят их на экран. Для удобства эти шейдеры хранятся в элементе