SingleStore与MySQL客户端软件兼容。它使用与 MySQL 相同的有线 电子邮件营销列表 协议并支持类似的 SQL 语法。我们将使用 SingleStore 托管集群来无缝充当 Integrate.io 管道目标和 Chartio 源。
由于 API 响应包含许多字段,因此我们必须过滤相关字段并丢弃其余字段。由于数据由包含数组作为值的字段(例如,tax_lines字段)组成,因此我们必须对它们应用展平操作,并以规范化的方式将它们存储到单独的 SQL 表中。
公平地说,Chartio 还具有一些JSON 提取功能,但在存储数据之前在数据管道中解析一次 JSON 会更高效,这样数据就可以在其他地方使用而无需任何进一步的预处理。对于本文中讨论的可视化,我们需要提取“订单”资源响应中的顶级字段和嵌套在数组中的税行信息。

我们也可以按照类似的方法提取其他字段。
因此,我们的第一个里程碑是在 Integrate.io 中实现一个管道,它可以从市场 API 获取数据,应用相关转换,并将其保存到 SingleStore 集群。