今年初めにIEEEのGRSSコミュニティが、SARと光学衛星画像を融合して問題解決するコンペティションを開催していたので、一部のタスクに取り組みました。

GRSS

GRSS(Geoscience and Remote Sensing Society)とは、電気・情報工学分野で最大の学術研究団体IEEE(Institute of Electrical and Electronics Engineers)に属するコミュニティの一つで、地球科学やリモートセンシング分野に特化しています。GRSS傘下にも複数の技術委員会があり、今回は画像解析とデータ融合技術を研究しているIADF(Image Analysis and Data Fusion)主催のコンペでした。

コンペティション概要

本コンペは、都市部における大規模な衛星データから詳細な建物の分類と再構成をすることを目指しています。主な特徴を下記にまとめます。

• 東京・ニューヨーク・ヨーロッパなど6大陸、17都市で撮影したグローバルな大規模データ
• 12クラスに分類した詳細な屋根のタイプ
• 光学・SARから取得したマルチモーダルなデータ

Track1

Track1では、衛星画像から建物を検出し、屋根のタイプをそれぞれ分類することが求められます。サンプルイメージ、屋根のタイプをそれぞれ下図に示します。

Track2

Track2では、衛星画像から建物を検出し、高さの推定が求められます。学習データにはDSM情報が付与されています。

データセット

光学・SAR共に同じ領域を撮影しており、512×512のサイズにタイル化されています。 学習データ、検証データのタイル数は下記の通りです。

学習: 3720, 検証: 1549

また、使用している衛星は中国の衛星で下記の通りです。

• 光学: Gaofen-2(80 cm / pixel, RGB) & SuperView(50 cm / pixel, RGB)
• SAR: Gaofen-3(1 m / pixel)

手法

本調査ではTrack1に取り組みました。検証データに対して物体検出をし、位置とクラスをCOCOフォーマットで提出することでスコア(AP_50)が返されます。検証データのラベル情報は与えられないので、学習データのみでモデルを学習する必要があります。

結果

学習データとして光学のみ、光学+SARを用いたモデルでの検証スコアを下記に示します。

光学のみ: 0.309
光学+SAR: 0.219

結果から、単純に光学データとSARデータを組み合わせただけでは悪化してしまいました。考えられる原因として、光学のみではImageNetで事前学習したモデルの重みを読み込んでいることや、センサー間の違いが大きく、単純に入力で組み合わせても悪影響を及ぼすことなどがあります。チャンピョンスコアが0.5を超えているので、まだまだ改善の余地があることが分かります。

検証データ予測

光学のみで学習したモデルで、検証データに対して予測した結果を下図に示します。ここでRGBは光学衛星画像、Resultは予測結果です。

図から、網羅的に建物を精度良く検出できていることが分かります。

テストデータ予測

全く異なるデータとして、Airbus社のPleiades(50 cm / pixel)で撮影した衛星画像に対して予測した結果を下図に示します。

検証データに比べ、見落としやポリゴンの形がやや歪ですが、多くの建物を検出できています。センサーや前処理が全く異なる衛星画像に対してもここまで予測できていることは脅威で、現在のスコアでも学習モデルの頑健性を確認できました。

まとめ

今回は衛星データを使ったコンペティションを調査しました。このようなコンペでは、取得の難しい高分解能衛星画像とラベルデータに触れることができるので、単純にスコアを競うだけでなく、様々な研究用途に利用でき、重要です。私自身、今回の物体検出モデルの頑健性に驚きました。興味を持った方はぜひご自身でもトライしてみてください。

• 衛星画像
• SAR
• 物体検出