能否请您提供一些有关使用 Python 使用 Azure 服务总线流消息的建议。
因为我发现 Azure 服务总线没有火花结构化流源,那么在这种情况下,我可以使用提供的 Python 客户端读取 Azure 服务总线消息,并从 Python 客户端读取每条消息并将其写入 Kafka 主题,然后这个 Kafka 主题我将应用 Spark 结构化流编程。
我的用例是使用 Azure 服务总线流消息并通过将其转换为时间流数据库 InfluxDb 或 Pramethoues 来编写每条消息,并在 Grafana 中显示有关业务指标的实时仪表板。
我正在考虑使用 python kafka 生产者之类的程序读取 Azure 服务总线流消息,并将这些数据写入 Kafka 主题,然后将这些数据使用到 Spark 结构中,并使用 Kafka 主题进行流式处理。
请建议我朝正确的方向前进吗?任何建议都会受到赞赏....
看起来没有现成的连接器,因为与事件中心(provides the Kafka Protocol)不同,服务总线的设计没有考虑到这一点。但是应该可以write your own receiver(比如this one)。
另一种替代方法是使用类似 Azure Functions 之类的简单方法立即将消息从服务总线转发到兼容源,例如事件中心(或 Kafka)。
Azure 函数以及 bindings 和 Serice Bus / Event Hubs 的 Kafka,您几乎无需代码即可实现此转发服务。但是,如果您愿意,在您自己的客户端中同时使用 Python SDK 也可以实现这一点,它本身也可以是 Azure 函数。
-- 来自我对 Microsoft Q&A
的原始回答