Project

General

Profile

Actions

Support Request #7350

closed

Processing dat files

Added by hidden almost 5 years ago. Updated over 4 years ago.

Status:
Closed
Priority:
Normal
Customer:
TRACETRONIC
Department:
Requester's Priority:
Normal
Support Level:
2nd Level
Resolution:
Solved Issue
Product Issue Numbers:
Platform:
Windows 7 64bit
Topic:
ADTF::DAT
FAQ Links:

Description

Supportanfrage:

Hintergrund meiner Anfrage sind geplante Erweiterungen in der Anbindung unserer Testautomatisierung ECU-TEST an ADTF. Wir untersuchen gerade, wie wir Signale vom Messagebus aufzeichnen und diese Aufzeichnung dann in ECU-TEST einlesen und verarbeiten können.

Die erste offensichtliche Lösung wäre die Aufzeichnung mit dem Harddisk-Rekorder und das Einlesen und Verarbeiten der erstellten DAT-Files. Bzgl. diesem Ansatz habe ich folgende Fragen:

1. Kannst du mir zu den Bibliotheken für den DAT-Zugriff ein paar Eckdaten geben:

- Welche Bibliotheken gibt es für den DAT-Zugriff (Ich habe von Streaming Library und ADTF DAT File gelesen. Mir ist aber nicht klar, was sich dahinter verbirgt, was man wann verwenden sollte bzw. ob es noch andere gibt)?

- Wie und von wem werden die Bibliotheken distributiert (sind diese z.B. Teil der ADTF-Installation)?

- Welche Lizenzbedingungen gelten für die Bibliotheken und ggf. deren Abhängigkeiten?

- Unterstützt die Bibliothek für DAT-Files aus ADTF-3 auch DAT-Files aus ADTF-2?

2. Sind die benötigten DDL-Informationen zur Extraktion der Signale bzw. Signalelemente aus den Samples in den DAT-Files vorhanden oder müssen diese separat beigestellt werden?

Als zweiten Ansatz sehe ich das Mithören auf dem Messagebus als externe Applikation (im Handbuch meiner Meinung nach als "ADTF-to-X communication" bezeichnet). Die externe Applikation könnte dann in ein eigenes Format aufzeichnen. Wo kann ich über das Example "dspace_autobox_connection" hinausgehende Informationen zu diesem Ansatz finden? Mich interessiert:

1. Wie kann ich die Signale und deren Samples mittels Out-Port aus ADTF heraus leiten?

2. Welches Protokoll ist von der externen Applikation für den Datenempfang zu beachtende?

3. Enthalten die empfangenen Samples die gleichen ADTF-Zeitstempel, die auch der Harddisk-Rekorder in die DAT-Files schreiben würde.

4. Kann ich das Starten/Stoppen/Pausieren bzw. das Neustarten der ADTF-Konfiguration erkennen?

Viele Grüße und einen schönen Feiertag
Thomas

P.S. Meine Fragen beziehen sich (wo nicht explizit genannt) immer auf ADTF 2, da alle unsere Kunden bisher noch die alte Version verwenden.

Lösung:

Siehe Kommentare
note-2
note-5
note-9


Files

Actions #1

Updated by hidden almost 5 years ago

  • Project changed from Public Support to 28
  • Status changed from New to In Progress
  • Topic set to ADTF::DAT
  • Customer set to TRACETRONIC
  • Affected Products ADTF 2.14.3, ADTF File Library 0.4.1 (BETA), ADTF Streaming Library 2.9.0 added
Actions #2

Updated by hidden almost 5 years ago

Hallo Thomas,

zum ersten Teil deiner Anfrage:

- Welche Bibliotheken gibt es für den DAT-Zugriff (Ich habe von Streaming Library und ADTF DAT File gelesen. Mir ist aber nicht klar, was sich dahinter verbirgt, was man wann verwenden sollte bzw. ob es noch andere gibt)?

In unserem Downloadbereich findest Du unter Overview of Products and Documentation die ADTF Streaming Library für ADTF 2.x .dat files und die ADTF File Library (IFHD)für ADTF 3.x .adtfdat files.
Hier sind auch die Dokus und Informationen zu den beiden Anwendungen hinterlegt.

z.b. Auszug aus der Doku der ADTF Streaming Library:
The ADTF Streaming Library is used for read and write access to files compatible to the
ADTF Harddisk Recorder, so called DAT Files. The Streaming Library allows you loading
DAT Files, selecting a single or all Streams in the DAT File and reading the saved data thereof.
It also allows you to create new DAT Files an to populate them with data.

- Wie und von wem werden die Bibliotheken distributiert (sind diese z.B. Teil der ADTF-Installation)?

Die beiden Anwendungen sind eigenständig und benötigen kein ADTF.
Requirements für die ADTF File Library sind in der Download Übersicht mit aufgeführt.
Beide können dort heruntergeladen werden.

- Welche Lizenzbedingungen gelten für die Bibliotheken und ggf. deren Abhängigkeiten?

Die Lizenz Info der ADTF Streaming Library habe ich als Anhang hinzugefügt.

Die ADTF File Library läuft unter MPL 2.0 Siehe hierzu direkt in der Doku: License Information

- Unterstützt die Bibliothek für DAT-Files aus ADTF-3 auch DAT-Files aus ADTF-2?

Ja, die ADTF File Library kann auch ADTF 2.x DAT files verarbeiten.

2. Sind die benötigten DDL-Informationen zur Extraktion der Signale bzw. Signalelemente aus den Samples in den DAT-Files vorhanden oder müssen diese separat beigestellt werden?

Diese müssen bei der Aufnahme mit dem HD Recoder mit erstellt werden in der Media Description. Dazu musst man bei der Aufnahme im Recorder Create Media Description auf true setzen, dann entsteht neben dem .dat File auch ein .dat.description File.

@Frank: Kannst Du bitte zum zweiten Teil der Anfrage Informationen geben!?

Actions #5

Updated by hidden almost 5 years ago

Hallo Thomas,

zu Deinen Fragen:

1. Kannst du mir zu den Bibliotheken für den DAT-Zugriff ein paar Eckdaten geben:

- Welche Bibliotheken gibt es für den DAT-Zugriff (Ich habe von Streaming Library und ADTF DAT File gelesen. Mir ist aber nicht klar, was sich dahinter verbirgt, was man wann verwenden sollte bzw. ob es noch andere gibt)?
Für die Verarbeitung von ADTF DAT-Files gibt es für ADTF2 die Streaming Library.
Wenn mit ADTF2 eine Datei mit Hilfe des Harddisk-Rekorders aufgezeichnet wird, entsteht eine sog. DAT-Datei. Diese DAT-Datei beinhaltet Datenströme (Streams). Jeder Datenstrom repräsentiert dabei einen Pin am Harddisk-Rekorder. Als Alternative kann hierbei auch der Nachfolger der Streaming Library, die File Library werdet werden. Diese unterstützt neben den DAT-Files vom ADTF3 auch die DAT-Files der ADTF2 Variante.

- Wie und von wem werden die Bibliotheken distributiert (sind diese z.B. Teil der ADTF-Installation)?
Diese Bibliotheken sind nicht Teil der ADTF-Installation, können jedoch von unserer Support-Seite heruntergeladen werden.

- Welche Lizenzbedingungen gelten für die Bibliotheken und ggf. deren Abhängigkeiten?
Für die Bibliotheken gibt es keine besonderen Lizenzbedingungen, da diese "Stand-Alone" sind.

- Unterstützt die Bibliothek für DAT-Files aus ADTF-3 auch DAT-Files aus ADTF-2?
Ja, die ADTF File Library unterstützt beide Formate.

2. Sind die benötigten DDL-Informationen zur Extraktion der Signale bzw. Signalelemente aus den Samples in den DAT-Files vorhanden oder müssen diese separat beigestellt werden?

Bei ADTF2 müssen passende Description-Files mit den DDL-Informationen zum DAT-File separat dazugelegt werden.
Bei ADTF3 ist das nicht mehr notwendig, da die DDL-Beschreibung bereits im DAT-File vorhanden ist.

Als zweiten Ansatz sehe ich das Mithören auf dem Messagebus als externe Applikation (im Handbuch meiner Meinung nach als "ADTF-to-X communication" bezeichnet). Die externe Applikation könnte dann in ein eigenes Format aufzeichnen. Wo kann ich über das Example "dspace_autobox_connection" hinausgehende Informationen zu diesem Ansatz finden?
In der SDK-Dokumentation gibt es noch zwei weitere Anlaufpunkte:

  1. ADTF --> ADTF Tools --> ADTF Launcher Environment (adtf_launcher) --> The ADTF Filtergraph Manager Plugin --> Filtergraph Manager Service --> ADTF FilterGraph Manager uses the Message Bus Service
  2. ADTF --> ADTF Plugin SDK Documentation --> ADTF Examples --> Additional examples --> Demo ADTF external data exchange communication

1. Wie kann ich die Signale und deren Samples mittels Out-Port aus ADTF heraus leiten?
Hierfür sollte der MessageBus verwendet werden.

2. Welches Protokoll ist von der externen Applikation für den Datenempfang zu beachtende?
Um die Datenströme von der externen Applikation richtig zu interpretieren, können Header-Files generiert werden, die die DDL-Beschreibung in Form von Strukturen beinhalten.
Diese Header-Files können dann in die Applikation inkludiert und der Payload des Samples als solche interpretiert werden.

3. Enthalten die empfangenen Samples die gleichen ADTF-Zeitstempel, die auch der Harddisk-Rekorder in die DAT-Files schreiben würde.
Ja, da in den Samples der Zeitstempel der ADTF-Streaming-Zeit, welche durch die ADTF-Clock vorgegeben wird, abgelegt ist.

4. Kann ich das Starten/Stoppen/Pausieren bzw. das Neustarten der ADTF-Konfiguration erkennen?
Die Zustände der Runtime wird leider nicht über das ADTF-to-X Modell übertragen, es erfolgt nur eine reine Datenübertragung.
Die Erkennung von Laufzeitzuständen kann nur von ADTF-Komponenten, die direkt am ADTF "dran" sind, detektiert werden.

Ich hoffe, dass ich Deine Fragen soweit beantworten konnte.

Viele Grüße
Frank

Actions #6

Updated by hidden almost 5 years ago

  • Status changed from In Progress to Customer Feedback Required
Actions #7

Updated by hidden almost 5 years ago

Hallo Matthias und Frank,

vielen Dank für die Informationen zu den DAT-Bibliotheken und dem MB-Zugriff. Diese waren sehr hilfreich. Für den aktuellen Anwendungsfall präferieren wir die Nutzung des HDRecorders und die Verarbeitung der erzeugten DAT-Files in ECU-TEST.

Da die File Library das alte und das neue DAT-Format unterstützt und die Streaming Library vermutlich irgendwann mit ADTF2 „beerdigt“ wird, scheint uns strategisch sinnvoll, auf die File Library zu setzen. Allerdings scheint die File Library (0.4.1) noch Beta-Status zu haben? Deshalb hätte ich ein paar Anschlussfragen, um bzgl. der strategischen Entscheidung für die File Library etwas mehr Sicherheit zu erlangen:

1) Ist der Support für die Library wegen des Beta-Status irgendwie eingeschränkt?

2) Ist absehbar, wann die Bibliothek den Beta-Status verlässt?

3) Welche Stabilität hat die API? Wird bspw. die Abwärtskompatibilität in neuen Versionen bereits sichergestellt?

4) Welche funktionalen Einschränkungen gibt es gegenüber der Streaming Library? (Unter Umständen weder einfach noch umfassend zu beantworten. Aber vielleicht könnt ihr auf wichtige grundsätzliche Einschränkungen hinweisen, falls es denn solche gibt. Beispielsweise, wenn bestimmte Informationen in ADTF-2-Dateien nur mit der Streaming Library ausgelesen werden können. Oder wenn die Streaming Library mit gesplitteten Aufnahmen umgehen kann, aber die File Library nicht.)

Für Antworten auf diese Fragen wäre ich wieder sehr dankbar.

Viele Grüße
Thomas

Actions #8

Updated by hidden almost 5 years ago

  • Status changed from Customer Feedback Required to In Progress
Actions #9

Updated by hidden almost 5 years ago

  • Status changed from In Progress to Customer Feedback Required

Hallo Thomas,

Da die File Library das alte und das neue DAT-Format unterstützt und die Streaming Library vermutlich irgendwann mit ADTF2 „beerdigt“ wird, scheint uns strategisch sinnvoll, auf die File Library zu setzen.

Genau so sollte die Entscheidung ausfallen, langfristig betrachtet.

1) Ist der Support für die Library wegen des Beta-Status irgendwie eingeschränkt?
2) Ist absehbar, wann die Bibliothek den Beta-Status verlässt?

Das BETA hier kannst du ignorieren, das "muss" wegen 0.x.y Version gesetzt werden.
Du erhälst vollen Support dafür, kannst aber aufgrund der Source Code Lieferung auch selbst den Code einsehen und mitarbeiten.

3) Welche Stabilität hat die API? Wird bspw. die Abwärtskompatibilität in neuen Versionen bereits sichergestellt?

Da die Library die Basis für ADTF 3.x bildet, sind wir auch hier Code- und Binärkompatibel.
Seit 0.4.0 sind die Interfaces fix, die API wird sich wenn dann nur noch erweitern.
Es gelten die gleichen Anforderungen wie an ADTF 3.x selbst.
Du wirst also alte adtffileplugins laden können, (adtf)dat files ohnehin.

4) Welche funktionalen Einschränkungen gibt es gegenüber der Streaming Library? (Unter Umständen weder einfach noch umfassend zu beantworten. Aber vielleicht könnt ihr auf wichtige grundsätzliche Einschränkungen hinweisen, falls es denn solche gibt. Beispielsweise, wenn bestimmte Informationen in ADTF-2-Dateien nur mit der Streaming Library ausgelesen werden können. Oder wenn die Streaming Library mit gesplitteten Aufnahmen umgehen kann, aber die File Library nicht.)

Mir sind aktuell keine Einschränkungen bekannt.
Der Vorteil an der ADTF File Library ist auch, dass wir sie Open Source liefern, d.h. nicht nur komplette Einsicht für euch wie die adtfdat Welt funktioniert, sondern ihr könnt sie notfalls auch selbst erweitern, anpassen oder patchen.
Durch das File Format in ADTF 3.x brauchst du auch nicht so viel Erweiterungen, da die Datenbeschreibung nun im adtfdat File bekannt ist.
Eigenimplementierte Deserilaisierungen musst du aber via adtffileplugins bekannt machen, die Basics werden von ADTF und Toolboxen (z.B. ADTF 2.x Flexray) aber geliefert.
Aber das musst du in der Streaming Library auch, wenngleich du dafür die Services aus ADTF nutzen konntest.

Die einzige Einschränkung die mir einfällt:
Sie ist derzeit auf das Lesen von ADTF 2.x und ADTF 3.x Files ausgelegt, aber beim Schreiben fehlt im ADTF 2.x File das .dat.description File, was aber für euren Use nicht relevant ist.

Actions #10

Updated by hidden almost 5 years ago

Kann das Ticket damit geschlossen werden?

Bitte gib uns Feedback bis 21.06.2019

Actions #11

Updated by hidden almost 5 years ago

Hallo Florian und Michael,

vielen Dank für die schnelle Reaktion und die detaillierten Antworten. Das Ticket ist damit erledigt und kann geschlossen werden. Bei eventuell aufkommenden Fragen während der nun anstehende Implementierung erstelle ich ein neues Ticket.

Viele Grüße
Thomas Lohse

Actions #12

Updated by hidden almost 5 years ago

  • Description updated (diff)
  • Status changed from Customer Feedback Required to To Be Closed
  • Resolution set to Solved Issue
  • Platform Windows 7 64bit added
Actions #13

Updated by hidden over 4 years ago

  • Project changed from 28 to Public Support
  • Subject changed from Verarbeitung von ADTF-DAT-Files / Aufzeichnen von ADTF-Signalen to Processing dat files
  • Status changed from To Be Closed to Closed
  • Private changed from Yes to No
Actions

Also available in: Atom PDF