MQTT 프로토콜에서 Publisher로부터 발행되는 메시지의 retained flag가 세팅되어 있으면 해당 메시지는Broker에 Retained 메시지로 저장되고, 새로운 Subscriber가 subscribe를 수행할 때 Broker는 Retained 메시지를바로 전송하게 된다. 이를 통해 새로운 Subscriber는 Publisher의 새로운 메시지 발행을 기다리지 않고 Retained 메시지를 통해 현재 상태에 대한 업데이트를 수행할 수 있다. 하지만 Publisher로부터 새로운 메시지가 자주 발행되는경우에는 retained 메시지를 보내는 것이 트래픽의 오버헤드가 될 수 있고, 해당 상황은 새로운 Subscriber들의subscribe가 자주 수행되는 경우 더욱 큰 오버헤드로 고려될 수 있다. 그러므로 본 연구에서는 이러한 문제를 해결하기위해 발행되는 메시지의 특성을 고려하여 Broker의 Retained 메시지 전송 방법을 제안하고자 한다. 본 연구에서는Broker 입장에서 새로운 Subscriber로의 전송 및 대기 액션을 고려하여 강화학습을 기반으로 모델링하였고, Q learning 알고리즘을 통해 최적의 전송 방법을 결정하였다. 성능 분석을 통해 제안하는 방법이 기존 방법 대비 개선된성능을 보이는 것을 확인하였다.
In the MQTT protocol, if the retained flag of a message published by a publisher is set, the message is stored in the broker as a retained message. When a new subscriber performs a subscribe, the broker immediately sends the retained message. This allows the new subscriber to perform updates on the current state via the retained message without waiting for new messages from the publisher. However, sending retained messages can become a traffic overhead if new messages are frequently published by the publisher. This situation could be considered an overhead when new subscribers frequently subscribe. Therefore, in this paper, we propose a retained message delivery scheme by considering the characteristics of the published messages. We model the delivery and waiting actions to new subscribers from the perspective of the broker using reinforcement learning, and determine the optimal policy through Q learning algorithm. Through performance analysis, we confirm that the proposed method shows improved performance compared to existing methods