Anwendung von TimeGAN auf AIS-Daten – Fragen zur Datenvorbereitung

[sakuv3]

Hallo und danke für das tolle Repository!

Ich experimentiere gerade mit deinem TimeGAN-PyTorch-Projekt und versuche, es auf AIS-Daten (Automatic Identification System) anzuwenden, um realistische Schiffspositionsdaten zu generieren.
Ich habe ein paar Fragen dazu und würde mich sehr freuen, wenn du mir weiterhelfen könntest.

Ich habe AIS-Daten von hier heruntergeladen:
https://coast.noaa.gov/htdata/CMSP/AISDataHandler/2023/index.html

AIS Daten (~100.000 rows mit ~100 Schiffen) können hier super mit dem Basedatetime Filter für Zeitabhängige Animationen visualisiert werden: kepler.gl

Dabei habe ich für 100 Schiffe (identifiziert über die MMSI) jeweils die folgenden Features extrahiert: LAT, LON und SOG (Speed Over Ground).
Alle Schiffe wurden in einem festen 10-Minuten-Intervall über einen Zeitraum von 14 Tagen aufgezeichnet (01.01.2023 bis 14.01.2023). Die vorbereiteten CSV-Daten sehen etwa so aus:

MMSI,BaseDateTime,LAT,LON,SOG
257990000,2023-01-01 00:00:00,16.84,-65.42,14.8

Meine Fragen:

• Wie würdest du diese Art von Zeitreihendaten vorbereiten, damit TimeGAN realistische Sequenzen erzeugen kann?
• Welche Sequenzlänge würdest du für sinnvoll halten?
• Gibt es Besonderheiten bei der Normalisierung oder beim Sampling, die du bei solchen Geo-/Bewegungsdaten beachten würdest?

Das ist mein erstes Projekt mit GANs, daher hätte ich ein paar grundlegende Fragen. Ich würde mich sehr freuen, wenn du mir ein paar Hinweise geben könntest.

Gibt es eine bevorzugte Möglichkeit, dich zu kontaktieren?
Hier ist meine E-Mail-Adresse, falls du mir direkt schreiben möchtest: joadz@protonmail.com

Viele Grüße
Jonathan

[haufjan]

Hi Jonathan,

danke, es freut mich dass dir das Repository als Grundlage für deine eigene Arbeit dienen kann. Dein Thema klingt spannend und ich hoffe du kannst das Modell erfolgreich mit deinem Datensatz verwenden.

Hier ein paar Gedanken von mir dazu:

• Preprocessing: Bis auf das Feature BaseDateTime solltest du die Features direkt ohne weiteres Preprocessing abgesehen von Skalieren verwenden können. Da dein Datensatz mit ca. 100.000 Zeilen deutlich umfangreicher als der stock_data Datensatz aus den TimeGAN Experimenten ist, würde ich Downsampling in Betracht ziehen. Eine Auflösung von 10 min scheint mir im Kontext der Schifffahrt sehr fein zu sein, aber das kannst du sicher besser einschätzen. Das Feature BaseDateTime würde ich entweder in floats mit Stundenauflösung umwandeln oder einfach in 10 min (oder Schrittweite nach Downsampling) Schritten hochzählen.
• Sequenzlänge: Hierauf gibt es leider keine einfache Antwort. Meine Beobachtungen waren dass Langzeittrends in den Daten besser mit längeren Sequenzen gelernt werden. Die Kurzzeittrends haben in meinen Experimenten nicht darunter gelitten. Als ich recherchiert habe, wie man beim Trainieren von RNNs die Sequenzlänge auswählt, war die Antwort meistens, dass man Ausprobieren muss. Daher würde ich mit Samples aus deinem Datensatz eine iterative Suche nach der Sequenzlänge anstoßen. Dafür bräuchtest du im Idealfall eine Metrik, die dir Aufschluss darüber gibt welche Sequenzlänge am besten abschneidet.
• Besonderheiten: Als Normalisierung wird bei TimeGAN MinMax verwendet. Die Wahl für diese Skalierung habe ich nie hinterfragt, aber eventuell wäre es interessant auch an dieser Stelle mal zu experimentieren. Wenn du im Bezug auf Sampling Batches während des Trainings meinst, könntest du darüber nachdenken Instanzen, die in der Datenverteilung selten vorkommen, zu gewichten. Ich nehme an viele Schiffe sind auf stark befahrenen Routen unterwegs und deswegen haben die Geodaten eine entsprechende Verteilung.

Ich hoffe ich kann dir damit etwas weiterhelfen und wünsche dir viel Erfolg mit deinem ersten GAN Projekt!:)
Falls du noch weitere Fragen hast oder du Ideen diskutieren willst, schreib mir nochmal unter diesem Beitrag.

Beste Grüße
Jan