NeRF — теперь мы можем видеть в детали на шумных фотографиях Google

Мы видели, как исследователи Google добились удивительных результатов с помощью искусственного интеллекта, в том числе поразительного увеличения разрешения. Google нацелилась на шумоподавление с помощью MultiNeRF, проекта с открытым исходным кодом, который использует искусственный интеллект для улучшения качества изображения. Программа RawNeRF просматривает изображения, а затем использует искусственный интеллект для увеличения детализации изображений, снятых в условиях низкой освещенности и темноты. 

В исследовательской работе «NeRF в темноте: синтез изображений с высоким динамическим диапазоном из зашумленных необработанных изображений» команда демонстрирует, как она использует нейросети (NeRF) для создания высококачественного анализа из коллекции входных изображений. NeRF был обучен сохранять полный динамический диапазон сцены, и можно управлять фокусом, экспозицией и отображением тона после момента съемки. При оптимизации по шумным изображениям в формате RAW NeRF может создавать сцену, которая уберет с одного или нескольких изображений. Кроме того, команда утверждает, что RawNeRF может реконструировать чрезвычайно шумные сцены, снятые почти в полной темноте.

В то время как стандартный NeRF использует изображения с низким динамическим диапазоном, снятым в цветовом пространстве sRGB, Raw Nerve использует линейные необработанные входные данные в цветовом пространстве с высоким динамическим диапазоном (HDR). Реконструкция NeRF в необработанном пространстве дает лучшие результаты и позволяет получить новый синтез HDR-изображения. Исследование показывает, что RawNeRF «удивительно устойчив к высоким уровням шума, до такой степени, что он может выступать в качестве конкурентоспособного шумоподавителя для нескольких изображений при применении к изображениям статической сцены с широкой базовой линией». Кроме того, команда продемонстрировала «приложения для синтеза HDR-изображения, позволяющие восстанавливать представление сцены, которое сохраняет высокие значения цвета динамического диапазона.