- SATIN: многозадачный набор метаданных для классификации спутниковых изображений с использованием языковых моделей зрения (arXiv)
Автор: Джонатан Робертс, Кай Хан, Сэмюэл Олбани.
Аннотация: Интерпретация изображений дистанционного зондирования позволяет использовать многочисленные последующие приложения, начиная от планирования землепользования и заканчивая мониторингом вырубки лесов. Надежная классификация этих данных является сложной задачей из-за географического разнообразия Земли. Несмотря на то, что существует множество различных наборов данных классификации спутниковых и аэрофотоснимков, еще предстоит разработать контрольный показатель, который надлежащим образом охватывал бы это разнообразие. В этой работе мы представляем SATellite ImageNet (SATIN), набор метаданных, составленный из 27 существующих наборов данных дистанционного зондирования, и всесторонне оцениваем возможности классификации передачи с нулевым выстрелом широкого спектра моделей языка зрения (VL) на SATIN. Мы считаем, что SATIN является сложным эталоном — самый надежный метод, который мы оцениваем, обеспечивает точность классификации 52,0%. Мы предоставляем общедоступную таблицу лидеров, чтобы направлять и отслеживать прогресс моделей ВЛ в этой важной области.
2. Применение NeRF к спутниковым снимкам для реконструкции поверхности (arXiv)
Автор: Федерико Семераро, И Чжан, Вэньин Ву, Патрик Кэрролл.
Аннотация: Мы представляем Surf-NeRF, модифицированную реализацию недавно представленной модели Shadow Neural Radiance Field (S-NeRF). Этот метод позволяет синтезировать новые виды из разреженного набора спутниковых изображений сцены с учетом различий в освещении, присутствующих на изображениях. Обученную модель также можно использовать для точной оценки высоты поверхности сцены, которая часто является желательной величиной для приложений спутникового наблюдения. S-NeRF совершенствует стандартный метод Neural Radiance Field (NeRF), рассматривая яркость как функцию альбедо и освещенности. Обе эти величины выводятся полносвязными ветвями нейронной сети модели, причем последняя рассматривается как функция прямого солнечного света и рассеянного цвета неба. Реализации были запущены на наборе данных спутниковых изображений, дополненных с использованием метода масштабирования и кадрирования. Было проведено исследование гиперпараметров для NeRF, что привело к интригующим наблюдениям за сходимостью модели. Наконец, и NeRF, и S-NeRF были запущены до 100 тысяч эпох, чтобы полностью соответствовать данным и получить наилучшие возможные прогнозы. Код, относящийся к этой статье, можно найти по адресу https://github.com/fsemerar/surfnerf.
