Технологии обработки изображения в PTZ‑камерах: функции и значение ISP

У каждой камеры две основные задачи: улавливать свет и обрабатывать его. За первую задачу отвечает матрица, но то, что она фиксирует, еще не является изображением — это необработанные данные, невидимые для человеческого глаза. Здесь на помощь приходит процессор обработки сигналов изображения (Image Signal Processor, ISP).

В PTZ-камерах, которые должны безупречно работать при меняющихся условиях освещения, за каждым кадром стоит процессор обработки изображений, отвечающий за все — от шумоподавления и баланса белого до динамического диапазона и точности цветопередачи. В этом руководстве мы расскажем о том, как работают процессоры обработки изображений в PTZ-камерах, рассмотрим ключевые функции, определяющие качество изображения, и покажем, на что следует обратить внимание при выборе такого процессора.

Что такое ISP и для чего он нужен?

ISP — это специализированный процессор обработки сигнала изображения, который находится внутри камеры между сенсором и конечным видеовыходом. Его задача — преобразовывать необработанные электрические сигналы, полученные с сенсора, в чистое, точное по цветопередаче изображение, готовое для трансляции, — от шумоподавления и настройки баланса белого до динамического диапазона и повышения резкости — в режиме реального времени для каждого кадра.
 

Полный процесс обработки сигнала в ISP — от необработанных данных с сенсора до конечного изображения.

На каждом этапе изображение обрабатывается по-своему, и все это происходит в режиме реального времени, в каждом кадре.

Представьте себе такую картину. Матрица — это фермер, который собирает сырье с поля. ISP — это шеф-повар, который берет эти ингредиенты и превращает их в нечто особенное. Качество конечного блюда зависит от обоих компонентов, но именно ISP определяет, как будет выглядеть изображение, какими будут цвета и будет ли результат готов к подаче. Вот почему две PTZ-камеры с одинаковыми характеристиками матрицы могут выдавать заметно отличающиеся изображения. Матрица определяет, сколько света будет улавливаться и с каким разрешением. Процессор обработки изображений определяет, как интерпретируется свет: как обрабатываются тени, как передаются цвета, как камера адаптируется к меняющимся условиям. Более продвинутый процессор обработки изображений не только работает быстрее, но и выполняет более сложные задачи, автоматически принимая решения для поддержания качества изображения.

Как ISP-процессор обрабатывает изображение

Необработанные данные, поступающие с матрицы камеры, — это сетка одноцветных световых измерений, которую человеческий глаз не распознал бы как картинку. ISP-процессор обрабатывает эти данные, проходя через ряд этапов, каждый из которых определенным образом улучшает изображение, прежде чем оно будет готово к выводу.

• Дебайеризация

Сенсоры камеры захватывают каждый пиксель только в одном цвете — красном, зелёном или синем. Дебайеризация — это процесс интерполяции одноцветных измерений в полноцветные пиксели для восстановления полного изображения, которое сенсор никогда не захватывал целиком. Именно на этом этапе необработанные данные превращаются в нечто похожее на фотографию.

• Шумоподавление

Все сенсоры камеры создают определённый уровень шума — случайные колебания яркости и цвета, которые выглядят как зернистость, особенно при слабом освещении. Для устранения этой проблемы ISP применяет шумоподавление. Двумерное шумоподавление работает в рамках одного кадра, а трехмерное — на основе сравнения информации из нескольких кадров, что позволяет получать более четкие изображения в условиях недостаточной освещенности без потери детализации.

• Автоматический баланс белого

Различные источники света — солнечный, вольфрамовый, флуоресцентный — имеют разную цветовую температуру, из-за чего общий тон изображения смещается в сторону синего, оранжевого или зелёного. Автоматический баланс белого автоматически корректирует это, обеспечивая точность и естественность цветов, особенно оттенков кожи, независимо от освещения.

• Повышение резкости

Функция повышения резкости делает края изображения более чёткими, благодаря чему мелкие детали выглядят более выразительными. При грамотном применении эта функция добавляет чёткости, оставаясь незаметной. При слишком агрессивном использовании этого эффекта по краям появляются нежелательные белые ореолы, которые особенно заметны на границах с высокой контрастностью и которые сложно исправить на этапе постобработки.

Каждый из этих этапов выполняется последовательно, в режиме реального времени, для каждого кадра, формируемого камерой. Качество ISP-процессора определяет, насколько хорошо выполняется каждый этап и насколько стабильны результаты при трансляции в режиме реального времени.

Почему ISP-процессор особенно важен для PTZ-камер? К PTZ-камерам предъявляются особые требования к обработке изображений. Им требуется ISP-процессор, способный автоматически принимать правильные решения — последовательно и в режиме реального времени. Адаптивная обработка в реальном времени Кадр за кадром процессор обработки изображений регулирует экспозицию, баланс белого и шумоподавление при масштабировании, панорамировании или переходе между сценами. Яркость, контрастность и цвет могут меняться в рамках одного движения — процессор обработки изображений непрерывно обрабатывает эти изменения, сохраняя чистоту и естественность изображения без участия оператора.

• Динамическая оптическая компенсация при масштабировании

При масштабировании PTZ-камеры эффективная апертура меняется, а плоскость фокусировки смещается. Специализированный процессор обработки изображений в режиме реального времени выполняет коррекцию затенения объектива и упреждающую автофокусировку во всем диапазоне фокусных расстояний, обеспечивая постоянную яркость и четкость изображения как при максимальном угле обзора, так и при полном увеличении.

• Согласованность цветопередачи при использовании нескольких камер

При использовании нескольких камер для съемки — например, при трансляции конференций, прямых трансляций мероприятий или спортивных событий — даже при использовании одинаковых сенсоров могут возникать небольшие различия в цветопередаче. Профессиональный видеопроцессор применяет точную калибровку матрицы цветокоррекции (CCM) и автоматический баланс белого для выравнивания цветовой гаммы на всех камерах, предотвращая видимые расхождения при переключении между ракурсами.

• Обработка с низкой задержкой для прямых трансляций

Для PTZ-камер, используемых в прямых трансляциях или для увеличения изображения (IMAG), скорость обработки имеет решающее значение. ISP-процессор должен выполнять весь процесс обработки изображения — от дебайеризации до шумоподавления — за миллисекунды. Любая задержка приводит к разрыву между звуком и видео, что недопустимо при профессиональной организации прямых трансляций.

• Технические аспекты обработки изображений, которые стоит знать

Осведомленности об основах обработки изображений достаточно для принятия большинства решений о покупке. Но тем, кто хочет углубиться в эту тему — будь то оценка камер для конкретного проекта или просто желание понять, чем хорошая обработка изображений отличается от отличной, — стоит подробно разобраться в этих трех аспектах.

2D- и 3D-шумоподавление: почему это важно при использовании PTZ-камер в условиях низкой освещенности

В каждом сенсоре камеры присутствует шум — случайные изменения яркости и цвета, которые проявляются в виде зернистости на изображении, особенно заметной при слабом освещении. Решается эта проблема двумя разными способами:

 

2D-шумоподавление работает в рамках одного кадра, анализируя каждое изображение по отдельности и сглаживая зернистые пиксели. Эта функция эффективна при умеренном недостатке освещения, но у нее есть ограничение: если использовать ее слишком активно, изображение становится размытым и неестественным — вместе с зернистостью теряются мелкие детали. 3D-шумоподавление сравнивает информацию из нескольких последовательных кадров. Поскольку реальные детали изображения остаются неизменными от кадра к кадру, а шум носит случайный характер, процессор обработки изображений может более точно устранять шум без потери деталей. В помещениях с тусклым освещением или на мероприятиях под открытым небом, которые проходят поздним вечером, разница заметна: более четкое изображение, естественная текстура и мелкие детали сохраняются даже при слабом освещении.

 

Для PTZ-камер, используемых в условиях низкой освещенности или при переменном освещении, функция 3D-шумоподавления является одной из наиболее важных характеристик.

Больше, чем просто точная цветопередача

Большинство людей считают, что задача ISP-процессора — просто точно воспроизводить цвета. На практике все гораздо сложнее, и понимание этого объясняет, почему камеры разных производителей могут заметно отличаться друг от друга даже при одинаковых условиях съемки.

• Матрица цветокоррекции (Color Correction Matrix, CCM)

CCM — это набор математических параметров, встроенных в ISP-процессор, которые преобразуют необработанные цветовые данные сенсора в заданное цветовое пространство. Именно это придает каждой камере свою уникальную цветовую гамму — более теплую, более холодную, более насыщенную или более нейтральную. При использовании многокамерных PTZ-систем одинаковая калибровка CCM на всех устройствах обеспечивает плавное совмещение цветов при смене ракурсов, что снижает необходимость в ручной цветокоррекции на этапе постпродакшена.

• Целостность тона кожи

Хорошо настроенный ISP-процессор выполняет целевую корректировку цвета, особенно в диапазоне тонов кожи, сохраняя естественную теплоту и прозрачность даже при ярком светодиодном сценическом освещении или смешанной цветовой температуре. Для трансляций и прямых эфиров, где основное внимание уделяется людям, точная передача тона кожи является одним из наиболее заметных показателей качества ISP-процессора.

Аппаратный ISP в сравнении с программным ISP

Не все процессоры для обработки изображений одинаковы — архитектура ISP определяет максимальную производительность камеры.

• Аппаратный ISP — это специализированный чип, разработанный специально для обработки видеосигнала. Поскольку он работает на специализированном кремниевом кристалле, то обеспечивает высокую скорость работы с минимальной задержкой, что крайне важно для прямых трансляций и приложений IMAG, где любая задержка в обработке приводит к заметному разрыву между звуком и видео.
• Программный ISP использует процессоры общего назначения и жертвует скоростью ради гибкости. Поскольку алгоритмы работают в программном обеспечении, их можно обновлять и совершенствовать с помощью прошивок без изменения физического аппаратного обеспечения. Вот почему обновление прошивки иногда может существенно улучшить работу камеры с шумами, баланс белого или точность цветопередачи — фактически камера начинает работать лучше, чем при покупке.

Большинство современных профессиональных PTZ-камер сочетают в себе оба этих подхода: аппаратный видеопроцессор обрабатывает видеопоток в режиме реального времени с той скоростью, которая требуется для прямых трансляций, а настройка на программном уровне позволяет производителям со временем совершенствовать обработку изображений. Для покупателей это означает, что при принятии решения о покупке стоит обратить внимание на наличие у производителя программы активной разработки встроенного программного обеспечения.

 

От шумоподавления и точности цветопередачи до регулировки экспозиции в реальном времени и согласованности многокамерных систем — ISP-модуль формирует каждый аспект конечного изображения — автоматически, в каждом кадре, при любых условиях эксплуатации. Для PTZ-камер, работающих в фиксированном положении в непредсказуемых условиях, такой уровень автономного анализа изображения — фундаментальное требование.

Понимание принципов работы ISP меняет ваш подход к оценке камер, вопросы, которые вы задаете перед покупкой, и то, на что вы обращаете внимание при сравнении технических характеристик. Две камеры с одинаковыми характеристиками сенсора могут выдавать существенно различающиеся изображения, и теперь вы знаете почему.

 

Рекомендуемые продукты

4K AI PTZ Камера Minrray UV417