问利用MP4 AutoGen FFmpeg库同步音频/视频
EN

Stack Overflow用户

提问于 2016-07-04 23:54:04

回答 2查看 3K关注 0票数 1

我目前有问题，使我的音频和视频流保持同步。

这些是我正在使用的AVCodecContexts：

视频：

AVCodec* videoCodec = ffmpeg.avcodec_find_encoder(AVCodecID.AV_CODEC_ID_H264)
AVCodecContext* videoCodecContext = ffmpeg.avcodec_alloc_context3(videoCodec);
videoCodecContext->bit_rate = 400000;
videoCodecContext->width = 1280;
videoCodecContext->height = 720;
videoCodecContext->gop_size = 12;
videoCodecContext->max_b_frames = 1;
videoCodecContext->pix_fmt = videoCodec->pix_fmts[0];
videoCodecContext->codec_id = videoCodec->id;
videoCodecContext->codec_type = videoCodec->type;
videoCodecContext->time_base = new AVRational
{
    num = 1,
    den = 30
};

关于音频：

AVCodec* audioCodec = ffmpeg.avcodec_find_encoder(AVCodecID.AV_CODEC_ID_AAC)
AVCodecContext* audioCodecContext = ffmpeg.avcodec_alloc_context3(audioCodec);
audioCodecContext->bit_rate = 1280000;
audioCodecContext->sample_rate = 48000;
audioCodecContext->channels = 2;
audioCodecContext->channel_layout = ffmpeg.AV_CH_LAYOUT_STEREO;
audioCodecContext->frame_size = 1024;
audioCodecContext->sample_fmt = audioCodec->sample_fmts[0];
audioCodecContext->profile = ffmpeg.FF_PROFILE_AAC_LOW;
audioCodecContext->codec_id = audioCodec->id;
audioCodecContext->codec_type = audioCodec->type;

在编写视频帧时，我将PTS的位置设置为：

outputFrame->pts = frameIndex;  // The current index of the image frame being written

然后使用avcodec_encode_video2()对框架进行编码。在此之后，我调用以下代码来设置时间戳：

ffmpeg.av_packet_rescale_ts(&packet, videoCodecContext->time_base, videoStream->time_base);

这个弹奏得很完美。

但是，当我对音频做同样的处理时，视频以慢动作播放，首先播放音频，然后在没有声音的情况下继续播放视频。

我在任何地方都找不到如何在MP4文件中为视频/音频设置pt/dts位置的例子。任何帮助的例子都是很棒的！

另外，我首先要写视频帧，然后(一旦它们都写好了)我就会写音频。我用评论中建议的调整值更新了这个问题。

我上传了一个测试视频，在这里显示我的结果：124

c++

ffmpeg

synchronization

mp4

回答 2

Stack Overflow用户

回答已采纳

发布于 2016-07-12 02:31:35

解决了问题。我增加了一个新的功能来设置视频/音频位置后，设置帧PTS位置。

视频只是通常的增量(每帧加1)，而音频是按以下方式完成的：

outputFrame->pts = ffmpeg.av_rescale_q(m_audioFrameSampleIncrement, new AVRational { num = 1, den = 48000 }, m_audioCodecContext->time_base);

m_audioFrameSampleIncrement += outputFrame->nb_samples;

在帧被编码后，我调用我的新函数：

private static void SetPacketProperties(ref AVPacket packet, AVCodecContext* codecContext, AVStream* stream)
{
    packet.pts = ffmpeg.av_rescale_q_rnd(packet.pts, codecContext->time_base, stream->time_base, AVRounding.AV_ROUND_NEAR_INF | AVRounding.AV_ROUND_PASS_MINMAX);
    packet.dts = ffmpeg.av_rescale_q_rnd(packet.dts, codecContext->time_base, stream->time_base, AVRounding.AV_ROUND_NEAR_INF | AVRounding.AV_ROUND_PASS_MINMAX);
    packet.duration = (int)ffmpeg.av_rescale_q(packet.duration, codecContext->time_base, stream->time_base);
    packet.stream_index = stream->index;
}