diff --git a/libavformat/matroskaenc.c b/libavformat/matroskaenc.c
index 529ab2a2b6..a628c7ab01 100644
--- a/libavformat/matroskaenc.c
+++ b/libavformat/matroskaenc.c
@@ -1659,9 +1659,9 @@ static int mkv_write_packet(AVFormatContext *s, AVPacket *pkt)
             ret = mkv->cur_audio_pkt.buf ? 0 : AVERROR(ENOMEM);
         } else
             ret = av_dup_packet(&mkv->cur_audio_pkt);
-            if (mkv->cur_audio_pkt.side_data_elems > 0) {
-                ret = av_copy_packet_side_data(&mkv->cur_audio_pkt, &mkv->cur_audio_pkt);
-            }
+        if (mkv->cur_audio_pkt.side_data_elems > 0) {
+            ret = av_copy_packet_side_data(&mkv->cur_audio_pkt, &mkv->cur_audio_pkt);
+        }
     } else
         ret = mkv_write_packet_internal(s, pkt);
     return ret;