Это не велосипед, а слабо документированная особенность. Данные в socket нужно слать каждые 20 ms. Можно попробовать перейти на chan websocket, там этой проблемы нет, но есть другие особенности. Не помню вышел ли уже астер с этой обновой или вот-вот выйдет.
Это в качестве Transport для External Media пытаться websocket использовать?
https://github.com/asterisk/asterisk/blob/master/rest-api/api-docs/channels.json#L1980