diff --git a/libavcodec/mpegvideo.c b/libavcodec/mpegvideo.c
index 5c6ec7db55..d82a89566c 100644
--- a/libavcodec/mpegvideo.c
+++ b/libavcodec/mpegvideo.c
@@ -617,12 +617,12 @@ int ff_mpv_init_context_frame(MpegEncContext *s)
         if (s->codec_id == AV_CODEC_ID_MPEG4) {
             ALLOC_POOL(mbskip_table, mb_array_size + 2,
                        FF_REFSTRUCT_POOL_FLAG_ZERO_EVERY_TIME);
-        if (!s->encoding) {
-            /* cbp, pred_dir */
-            if (!(s->cbp_table      = av_mallocz(mb_array_size)) ||
-                !(s->pred_dir_table = av_mallocz(mb_array_size)))
-                return AVERROR(ENOMEM);
-        }
+            if (!s->encoding) {
+                /* cbp, pred_dir */
+                if (!(s->cbp_table      = av_mallocz(mb_array_size)) ||
+                    !(s->pred_dir_table = av_mallocz(mb_array_size)))
+                    return AVERROR(ENOMEM);
+            }
         }
     }