Peak BigODS 导出器将 ASAM ODS 商店连接到大数据中心

在全球范围内，许多测试数据都是根据 ASAM ODS 标准存储的。分析大量这些数据的需求正变得越来越重要。与此同时，大数据世界中也越来越强大的分析工具。但是，ASAM ODS 标准的"经典"存储选项不适合这些工具。为此，ASAM 做出了回应，为 ODS 指定了一个"关联标准"，该标准将现有 ODS 存储与大数据生态系统连接起来。该标准由ASAM于2020年第一季度发布。

Peak Solution 很早就开始实施新标准。从2020年年中开始，第一版的" Peak Big ODS Exporter "已经作为许可产品提供给客户。

Peak Big ODS Exporter将 ODS 信息分为不同的部分："元数据"包括有关测试或计算内容的所有信息。例如，测试对象的确切描述和测试的各设置。"大数据"表示有关测量通道或车辆总线数据的所有信息。"进一步的数据"是指声音、图片、视频或模型信息，在导出时也会考虑这些信息。

"元数据"通过将它们导出到 JSON 和 Avro 文件，可用于大数据分析工具。阅读这些文件格式得到了各种编程语言和大数据分析工具的大力支持。

由于在许多情况下，无需将所有信息从经典 ODS 存储导出到大数据环境，因此相关信息子集可在基于 XML 的"导出定义文件"中指定。此文件还允许认识导出的 JSON/Avro 数据的语义，并正确翻译其内容。

"大数据"的存储格式是 Parquet，可以采用两种不同的计划。它是针对基于列的访问优化的格式。然而，在某些情况下，Avro可能更有益。因此，它被添加为替代格式。基于行的数据访问更有效。

将"大数据"导入Parquet或Avro是在测量级别上进行的。如果测量仅包含少量信息，则其中几个信息可能会合并到相同的 Parquet 或 Avro 文件中。

根据导出到大数据环境和后续分析过程的目的，解决方案中可以定义多个"导出定义文件"。要使用的那个可以通过导出过程的配置设置进行选择。

总之，想要将现有或新的 ODS 数据库与大数据湖连接的公司可以通过使用Peak Big ODS Exporter以标准化的方式轻松做到这一点。