Peak ODS Adapter for Apache Spark
基于 Apache Spark 的可扩展数据访问
为了从您 ASAM ODS 数据管理系统中存储的现有测量数据中获得更多洞察,Peak Solution 开发了 Peak ODS Adapter for Apache Spark。Peak ODS Adapter for Apache Spark 让您能够使用 Apache Spark SQL 和 DataFrame。
使用 Jupyter Notebook
Apache Spark 提供多种高级 API,例如 Python 以及其他可完美应用于以下环境的工具: Apache Zeppelin 或 Jupyter Notebooks 用于测量数据的交互式分析。返回的 DataFrame 可以轻松用于数据的进一步分析与统计。
可扩展性与大数据支持
一个重要优势是 Peak ODS Adapter for Apache Spark 是其可扩展性。以下工具的实现 Peak ODS Adapter for Apache Spark 能够对海量数据高速执行复杂的数据查询与数据分析。根据已授权执行器的数量和您的 Apache Spark 集群性能,您可以从本地(单机)扩展到高性能集群。此外, Peak ODS Adapter for Apache Spark 实现了 ASAM ODS Big Data Connector——一种标准化方式,用于将您 Peak ODS 服务器 以 AVRO 或 Parquet 文件的形式导出。这些导出结果可集成到 Apache Hadoop 等现有大数据生态系统中。这意味着企业可以将 Peak ODS Adapter for Apache Spark 在其现有的 ODS 基础设施内使用,而无需大量 IT 投入,并逐步将其扩展为用于管理和分析海量测试数据的强大大数据集群。
如果您想进一步了解以下内容,请联系我们 Peak ODS Adapter for Apache Spark 能够为您的测试数据管理解决方案提供支持。
互联解决方案
您可以点击这些链接,了解各个组件的更多信息
Peak Test Data Manager
Peak Test Data Manager 是一款面向未来的测试数据管理系统,并使用 Peak ODS Adapter for Apache Spark 用于可扩展的数据分析。
Peak ODS Server
实现 ASAM ODS 数据标准,用于长期数据存储,包含用于标准化、安全数据访问的 API。
相关主题
什么是 ASAM ODS?
ASAM ODS 标准定义了用于存储和检索测试与测量数据的 API 和格式借助数据分析做出明智决策
数据分析方式与可用分析工具的使用概览。
Python ODS 工具集
用于在 Python 中使用 ASAM ODS 数据的开源库与示例。
什么是 Jupyter Notebook?