[博客列表中此处显示“继续阅读”链接]

测试与测量数据问题

从问题的角度看，测试与测量数据问题并不新鲜，在大数据时代就已经被认识为 五大 V：多样性、速度、规模、真实性与价值 并可归为三类数据问题：

• 数据格式多样性 
• 数据质量 
• 数据可访问性 

上述数据问题导致了较低的数据分析率，以致 通常只有 5% - 20% 的已采集测试与测量数据会被分析（1） 以及“只有不到 0.5% 的数据曾被分析和使用”（2）。下图展示了这些数据问题在数据分析流程中出现的位置。

解决测试与测量数据挑战

为解决测试与测量数据问题，让我们逐一探讨各个问题类别并提供解决方案示例。

解决数据格式多样性

由测试与测量系统采集的数据大多存储在 不同格式的文件 因为使用了不同的工具供应商。在某些情况下，专有数据格式可以通过编程库访问，而这些库可能与研发团队使用的编程语言不兼容。 

一些最大的 问题因使用 CSV 文件而引入，这是出于国际化（如不同的小数点符号）和本地化（如德语变音符号）方面的原因。

此外， 现有工具链限制了灵活性 并阻碍了数据迁移或转换，因为其 中断会带来额外成本.

取决于数据的规模，仅仅数据量本身就可能使数据副本不可行，因为数据重复会带来 额外的存储成本.

应对数据格式多样性的最有效方式之一是采用 ASAM ODS（外部）数据插件。这些轻量级微服务构建在 Google gRPC 协议，提供简洁高效的 API，可直接从原始文件访问元数据与批量测量数据。

得益于 Protobuf 工具链，这些插件几乎兼容任何编程语言，无论研发团队使用何种技术栈都能轻松上手，从而带来 较低的实施成本.

通过引入这一标准化 API，所有文件格式在 API 的视角下看起来都是相似的。无需数据转换、无需数据搬移，并且 无数据重复 是必要的，从而 现有工具链保持完好。

克服数据质量问题

尽管 ASAM ODS（外部）数据插件已能处理格式不一致的数据，但数据质量问题依然存在，例如：

• 未清洗或不准确的数据
• 数据缺失或拼写错误
• 错误的数据值 

尤其是 缺失的元数据和缺失的数据上下文 限制了组织与搜索功能，而且还 限制了分析功能. 

这正是 ASAM ODS 基础数据模型 发挥关键作用的地方。数据目录有助于 识别并纠正缺失或拼写错误的数据值。借助数据限值，可将错误的数据值标记为 NaN 或 NULL。此外，还能识别出未清洗或不准确的数据。

额外的元数据 改善数据上下文，带来更好的数据导航与数据组织能力，从而 带来更佳的分析与搜索能力.

基础数据模型 还赋予更多数据语义，并与基础实体及其各自的关系相结合，定义了一个测量 数据本体 ，从而 带来更多的机器学习优势.

ℹ️ 注意：可以使用用户和用户组来定义 访问控制列表 (ACL)，从而使 ASAM ODS 有助于 支持您的数据治理策略. 

面向数据科学家的数据可访问性 

在考察数据访问时，重要的是识别出真正执行所需数据分析的角色—— 数据科学家.

数据科学家的工作 除其他内容外，还包括对机器学习算法与技术的理解与实现。为此，数据科学家会使用如下数据可视化工具： Tableau 以及 Microsoft Power BI。他还拥有使用 Apache 等大数据工具的经验 Spark 以及 Apache Hadoop 并对以下技术有良好理解： Python 或 R 并且精通 SQL.

⚠️👉 这意味着， 数据源必须支持与上述工具的连接。

尽管这些需求没有放之四海而皆准的答案，但支持 Python 和一种广为人知的查询语言已能覆盖其中很大一部分，并由以下方案提供支持 ASAM ODSBox. 

ASAM ODSBox 是构建在 ASAM ODS HTTP-API 之上的轻量级 Python 封装。通过以以下形式提供 ASAM ODS 数据 pandas.DataFrames，不仅是诸如以下 Python 分析与机器学习工具： TensorFlow 或 scikit-learn 可以直接使用，而且 Power BI 也能以这种方式访问数据。

所提供的 JAQuel 查询语言是一种简单直观的数据探索方式，它采用了 MongoDB 查询语言 (MQL).

另一个好消息是： Python ASAM ODSBox 是开源的，可作为免费的 Web 下载获取。此外，您还可以找到多个 Jupyter notebooks 的示例，位于 数据管理学习路径 课程。

ASAM ODS：解决方案技术栈

由以下内容组合而成： ASAM ODS DataPlugins，并与 ASAM ODS（基础）数据模型 以及 ASAM ODSBox 提供所需的功能与能力，使 测试与测量数据成为机器学习的一等公民.

典型的 机器学习工具 现在可供以下人员使用： 数据科学家 用于“任何数据”.

此外，所引入的工具链弥合了与 Microsoft 之间的鸿沟 Copilot 或 Google Gemini 或 其他 AI 助手 更快、更高效地创建解决方案——即便对于 非数据科学家.

ASAM ODS 标准 有助于将不同的测量数据文件整合为 一个整体的数据视图.

本文总结了 2025 年 7 月 2 日至 3 日在德国本宁根举行的 Explore-to-Innovate 活动上的演讲。 

👉  下载原始演讲稿 此处