Технические науки/6.Электротехника и радиоэлектроника.

К.т.н. Воронин В.В., аспирант Фоломкин Д.В.

Институт сферы обслуживания и предпринимательства

(филиал) ДГТУ, Шахты. Россия

Разработка и исследование алгоритма вычисления карты глубины стереоизображения

В настоящее время во многие области обработки информации активно внедряется трехмерное представление данных, в том числе изображений и видеосигналов. Соответственно представляет интерес разработка методов преобразования 2D изображений и видеосигналов в 3D. Анализ существующих методов позволяет сделать вывод, что все методы имеют свои ограничения, например, для случаев, когда используется только одно изображение, наблюдается динамика сцены или параллакс движения, и т.д. Это вызывает необходимость усовершенствования существующих методов и разработку новых.

Целью работы является уменьшение погрешности преобразования изображений из 2D в 3D на основе модифицированного метода Depth Transfer.

Главной проблемой решения задачи преобразования из 2D в 3D является вычисление карты глубины [2]. Одним из самых эффективных алгоритмов преобразования из 2D в 3D на данный момент является метод Depth Transfer [3].

Метод предполагает наличие базы типовых изображений с картами глубин для них. Полученное изображение сравнивается с базой данных для нахождения нескольких похожих изображений, с помощью которых в дальнейшем и формируется карта глубины.

В работе предлагается модификация метода Depth Transfer с целью уменьшения погрешности получения карты глубины на основе постобработки полученных данных. На рис. 1 представлена блок-схема алгоритма предлагаемого метода.

На первом этапе с помощью GIST дескрипторов определяются “похожие” кандидаты входного изображения из RGBD базы данных [4]. Далее выполняется процедура вычисления SIFT потока [5], которая применяется к кандидатам и к соответствующим картам глубин изображений, чтобы выполнить их деформацию в соответствии с входным изображением.

Рис. 1. Блок-схема алгоритма получения карты глубины

Основная идея метода заключается в том, что похожие сцены должны иметь примерно одинаковые распределения глубины. Другими словами, образы сцен имеют близкие значения глубины в областях с аналогичным внешним видом.

Метод Depth Transfer имеет несколько недостатков, связанных с тем что

при формировании карты глубины и поиска кандидатов учитывается только информация в пространстве RGB.

В связи с этим предлагается дополнительный этап в общей схеме алгоритма, который заключается в многоэтапной постобработке карты глубины, полученной методом Depth Transfer.

Оценка эффективности метода проводится на основе визуальной оценки и среднеквадратической ошибки восстановления карты глубины для предложенного метода и метода Depth Transfer.

На рис. 2 представлен результат обработки первого тестового изображения (а – исходное изображение, б ‑ карта глубины, полученная методом Depth Transfer, в ‑ карта глубины, полученная модифицированным методом). В первом случае, полученная карта глубины имеет шумовые составляющие, наличие которых устраняется с использованием модифицированного метода. Визуальная оценка полученных карт глубин на двух изображениях, позволяет сделать вывод о достаточной точности восстановления модифицированным методом.

а) б) в)

Рис. 2. Результат восстановления карты глубины для первого тестового изображения

Анализ результатов обработки изображений показывает, что значение среднеквадратической ошибки для предложенного метода меньше в среднем на 17-30%, чем для метода Depth Transfer при наилучших значениях параметров обработки для рассмотренных тестовых изображений.

В заключении можно сделать следующие выводы:

- Предлагается метод получения карты глубины сцены на основе модифицированного метода Depth Transfer.

- Метод основан на поиске похожих изображений в базе данных, с помощью которых формируется карта глубины,  с последующей ее постобработкой для уменьшения погрешности преобразования изображений из 2D в 3D.

- Анализ результатов обработки изображений показывает, что значение среднеквадратической ошибки для предложенного метода меньше в среднем на 17-30%, чем для метода Depth Transfer.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Форсайт Д.А., Понс Ж. Компьютерное зрение. Современный подход: Пер. с англ. – М.: Издательский дом «Вильямс», 2004. – 928 с.

2. Torralba A., Oliva A. Depth Estimation from Image Structure// IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 24, Issue 9, 2002, pp. 1226 – 1238.

3. Kevin Karsch, Ce Liu, Sing Bing Kang. Depth Extraction from Video Using Non-parametric Sampling// Lecture Notes in Computer Science, Volume 7576, 2012, pp. 775-788.

4. Oliva A., Torralba A. Modeling the shape of the scene: A holistic representation of the spatial envelope// IJCV 42, 2001, pp.145–175.

5. Liu C., Yuen J., Torralba A. SIFT Flow: Dense correspondence across scenes and its applications// IEEE TPAMI 33, 2011, pp. 978–994.

6. Konrad J., Wang M., Ishwar P. 2D-to-3D image conversion by learning depth from examples// In: 3DCINE, 2012, pp. 75–88.

7. Франц В.А., Левина О.М., Воронин В.В., Кожин Р.А. Первичная обработка карты глубины изображения. Успехи современной радиоэлектроники. Радиотехника. М.: 2013 , №6. С. 39-43.