- ViTs для SITS: Преобразователи зрения для временных рядов спутниковых изображений (arXiv)
Автор: Михаил Тарасиу, Эрик Чавес, Стефанос Зафириу.
Аннотация: В этой статье мы представляем Temporo-Spatial Vision Transformer (TSViT), модель полного внимания для общей обработки временных рядов спутниковых изображений (SITS), основанную на Vision Transformer (ViT). TSViT разбивает запись SITS на непересекающиеся фрагменты в пространстве и времени, которые размечаются и впоследствии обрабатываются факторизованным пространственно-временным кодировщиком. Мы утверждаем, что в отличие от естественных изображений временная, а затем пространственная факторизация более интуитивно понятна для обработки SITS, и представляем экспериментальные доказательства этого утверждения. Кроме того, мы повышаем дискриминационную способность модели, вводя два новых механизма временного позиционного кодирования, зависящего от времени сбора данных, и множественные обучаемые токены классов. Эффект от всех новых вариантов дизайна оценивается посредством обширного исследования абляции. Предлагаемая нами архитектура обеспечивает высочайшую производительность, значительно превосходя предыдущие подходы в трех общедоступных наборах данных семантической сегментации и классификации SITS. Все модели, учебные и оценочные коды публикуются в открытом доступе для облегчения дальнейших исследований.
2. Рекурсивная классификация временных рядов спутниковых изображений: приложение для картирования водного и земного покрова (arXiv)
Автор: Хелена Калатрава, Бхавья Дуввури, Хаоцин Ли, Рикардо Борсой, Эдвард Бейли, Дениз Эрдогмус, Пау Клозас, Сказки Имбириба.
Аннотация: широкий спектр приложений, имеющих фундаментальное значение для безопасности, защиты окружающей среды и городского развития, нуждается в доступе к точному мониторингу земного покрова и картографированию воды, для которых ключевым является анализ изображений оптического дистанционного зондирования. Классификация изображений временных рядов, особенно с помощью рекурсивных методов, вызывает все больший интерес в современной литературе. Тем не менее, существующие рекурсивные подходы обычно требуют больших объемов обучающих данных. В этой статье представлена структура рекурсивной классификации, обеспечивающая высокую точность при низких вычислительных затратах и минимальном контроле. Предлагаемый подход преобразует статический классификатор в рекурсивный с использованием вероятностной структуры, устойчивой к неинформативным вариациям изображения. На основе спутниковых данных Sentinel-2, охватывающих две области в Соединенных Штатах, проводится картографирование воды и эксперимент с земным покровом. Сравнивается производительность трех алгоритмов статической классификации и их рекурсивных версий, включая смешанную модель Гаусса (GMM), логистическую регрессию (LR) и классификаторы спектрального индекса (SIC). SIC заключается в новом подходе, который мы внедряем для преобразования модифицированного нормализованного разностного индекса воды (MNDWI) и нормализованного разностного индекса растительности (NDVI) в результаты вероятностной классификации. Два современных классификатора на основе глубокого обучения также используются в качестве эталонных моделей. Результаты показывают, что предложенный метод значительно повышает надежность существующих статических классификаторов в многовременных условиях. Наш метод также повышает производительность классификаторов на основе глубокого обучения без необходимости дополнительных обучающих данных.
