使用 Python 的 Azure 服务总线

发布时间:2021-03-08 16:20

能否请您提供一些有关使用 Python 使用 Azure 服务总线流消息的建议。

因为我发现 Azure 服务总线没有火花结构化流源,那么在这种情况下,我可以使用提供的 Python 客户端读取 Azure 服务总线消息,并从 Python 客户端读取每条消息并将其写入 Kafka 主题,然后这个 Kafka 主题我将应用 Spark 结构化流编程。

我的用例是使用 Azure 服务总线流消息并通过将其转换为时间流数据库 InfluxDb 或 Pramethoues 来编写每条消息,并在 Grafana 中显示有关业务指标的实时仪表板。

我正在考虑使用 python kafka 生产者之类的程序读取 Azure 服务总线流消息,并将这些数据写入 Kafka 主题,然后将这些数据使用到 Spark 结构中,并使用 Kafka 主题进行流式处理。

请建议我朝正确的方向前进吗?任何建议都会受到赞赏....

回答1

看起来没有现成的连接器,因为与事件中心(provides the Kafka Protocol)不同,服务总线的设计没有考虑到这一点。但是应该可以write your own receiver(比如this one)。

另一种替代方法是使用类似 Azure Functions 之类的简单方法立即将消息从服​​务总线转发到兼容源,例如事件中心(或 Kafka)。

Azure 函数以及 bindingsSerice Bus / Event HubsKafka,您几乎无需代码即可实现此转发服务。但是,如果您愿意,在您自己的客户端中同时使用 Python SDK 也可以实现这一点,它本身也可以是 Azure 函数。

-- 来自我对 Microsoft Q&A

的原始回答