FFmpeg菜鸡互啄#第4篇#音频解码

解码过程

音频解码跟上一篇的视频解码过程是一样的:打开输入文件,查找音频流,打开解码器,循环读帧解码帧,关闭解码器,关闭输入文件。

Code

#define _CRT_SECURE_NO_WARNINGS
#include <stdio.h>

/*
#define __STDC_CONSTANT_MACROS
#ifndef INT64_C
#define INT64_C(c) (c ## LL)
#define UINT64_C(c) (c ## ULL)
#endif
*/

extern "C"
{
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libswscale/swscale.h"
#include "libavdevice/avdevice.h"
}

#pragma comment(lib, "avcodec.lib")
#pragma comment(lib, "avdevice.lib")
#pragma comment(lib, "avfilter.lib")
#pragma comment(lib, "avformat.lib")
#pragma comment(lib, "avutil.lib")
#pragma comment(lib, "postproc.lib")
#pragma comment(lib, "swresample.lib")
#pragma comment(lib, "swscale.lib")

#define INPUT "in.mkv"
#define OUTVIDEO "video.yuv"
#define OUTAUDIO "audio.pcm"

int main()
{
    int res = 0;
    int videoStream = -1;//标记视频流的编号
    int audioStream = -1;//标记音频流的编号
    char errBuf[BUFSIZ] = { 0 };
    FILE* fp_video = fopen(OUTVIDEO, "wb+");
    FILE* fp_audio = fopen(OUTAUDIO, "wb+");

    //初始化FFMPEG  调用了这个才能正常适用编码器和解码器
    av_register_all();
    printf("FFmpeg's version is: %d\n", avcodec_version());

    //FFMPEG所有的操作都要通过这个AVFormatContext来进行
    AVFormatContext* pFormatCtx = NULL;

    //打开输入视频文件
    //Open an input stream and read the header. The codecs are not opened.
    if ((res = avformat_open_input(&pFormatCtx, INPUT, NULL, NULL)) < 0)
    {
        av_strerror(res, errBuf, sizeof(errBuf));
        printf("%s\n", errBuf);
        return -1;
    }
    //Read packets of a media file to get stream information. This is useful for file formats with no headers such as MPEG.
    //相当于对输入进行 “预处理”
    avformat_find_stream_info(pFormatCtx, NULL);
    av_dump_format(pFormatCtx, 0, NULL, 0); //输出视频流的信息

    //查找流
    for (int i = 0; i < pFormatCtx->nb_streams; ++i)
    {
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
            videoStream = i;
        else if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO)
            audioStream = i;
    }
    if (videoStream == -1)
    {
        printf("Didn't find a video stream.\n");
        return -1;
    }
    if (audioStream == -1)
    {
        printf("Didn't find a audio stream.\n");
        return -1;
    }

    ///查找解码器    
    AVCodecContext* pVCodecCtx = pFormatCtx->streams[videoStream]->codec;
    AVCodec* pVCodec = avcodec_find_decoder(pVCodecCtx->codec_id);
    if (pVCodec == NULL)
    {
        printf("Video Codec not found.\n");
        return -1;
    }
    AVCodecContext* pACodecCtx = pFormatCtx->streams[audioStream]->codec;
    AVCodec* pACodec = avcodec_find_decoder(pACodecCtx->codec_id);
    if (pACodec == NULL)
    {
        printf("Audio Codec not found.\n");
        return -1;
    }

    ///打开解码器
    if (avcodec_open2(pVCodecCtx, pVCodec, NULL) < 0)
    {
        printf("Could not open Video codec.\n");
        return -1;
    }
    if (avcodec_open2(pACodecCtx, pACodec, NULL) < 0)
    {
        printf("Could not open Audio codec.\n");
        return -1;
    }

    AVFrame Frame = { 0 };//不初始化,avcodec_decode_video2会报错
    AVPacket packet;
    int got_picture;
    while (1)
    {
        //读取视频帧
        //return 0 if OK, < 0 on error or end of file
        if (av_read_frame(pFormatCtx, &packet) < 0)
        {
            break; //这里认为视频读取完了
        }
        if (packet.stream_index == videoStream)
        {
            //解码视频帧
            if (avcodec_decode_video2(pVCodecCtx, &Frame, &got_picture, &packet) < 0)
            {
                printf("decode Video error.\n");
                return -1;
            }
            if (got_picture)
            {
                if (Frame.format == PIX_FMT_YUV420P)
                {
                    //解码后YUV格式的视频像素数据保存在AVFrame的data[0]、data[1]、data[2]中。
                    //但是这些像素值并不是连续存储的,每行有效像素之后存储了一些无效像素。
                    //以亮度Y数据为例,data[0]中一共包含了linesize[0] * height个数据。
                    //但是出于优化等方面的考虑,linesize[0]实际上并不等于宽度width,而是一个比宽度大一些的值。
                    fwrite(Frame.data[0], Frame.linesize[0] * Frame.height, 1, fp_video);
                    fwrite(Frame.data[1], Frame.linesize[1] * Frame.height / 2, 1, fp_video);
                    fwrite(Frame.data[2], Frame.linesize[2] * Frame.height / 2, 1, fp_video);
                }
            }
        }
        else if (packet.stream_index == audioStream)
        {
            //解码音频帧
            if (avcodec_decode_audio4(pACodecCtx, &Frame, &got_picture, &packet) < 0)
            {
                printf("decode Audio error.\n");
                return -1;
            }
            if (got_picture)
            {
                if (Frame.format == AV_SAMPLE_FMT_S16P)//signed 16 bits, planar 16位 平面数据
                {
                    //AV_SAMPLE_FMT_S16P
                    //代表每个data[]的数据是连续的(planar),每个单位是16bits
                    for (int i = 0; i < Frame.linesize[0]; i += 2)
                    {
                        //如果是多通道的话,保存成c1低位、c1高位、c2低位、c2高位...
                        for (int j = 0; j < Frame.channels; ++j)
                            fwrite(Frame.data[j] + i, 2, 1, fp_audio);
                    }
                }
                else if (Frame.format == AV_SAMPLE_FMT_FLTP)
                {
                    for (int i = 0; i < Frame.linesize[0]; i += 4)
                    {
                        for (int j = 0; j < Frame.channels; ++j)
                            fwrite(Frame.data[j] + i, 4, 1, fp_audio);
                    }
                }
            }
        }
        av_free_packet(&packet);//清除packet里面指向的缓冲区
    }

    fclose(fp_video);
    fclose(fp_audio);
    avcodec_close(pVCodecCtx);//关闭解码器
    avcodec_close(pACodecCtx);
    avformat_close_input(&pFormatCtx);//关闭输入视频文件。avformat_free_context(pFormatCtx);就不需要了
    return 0;
}

保存的音频PCM可以用Audacity进行播放。我的例子里AV_SAMPLE_FMT_FLTP出现了播放有很大杂音的情况,一直没找到解决办法。因为大部分都是把AV_SAMPLE_FMT_FLTP转换成(重采样)AV_SAMPLE_FMT_S16P。

Github

https://github.com/gongluck/FFmpegTest.git

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏iOS技术

iOS 无侵入实现段落样式控制(解决富文本单行显示中文问题)

在iOS开发中,文本格式(富文本)处理是一个比较麻烦的问题(我们姑且说它是麻烦的)。这里我提两点比较蛋疼的地方:

2924
来自专栏wOw的Android小站

[iOS] 输入框高度随输入内容变化

对于第一点,有一个方便的计算方法,就是获取UITextView内容的高度比上UITextView的字体的高度,即可得到当前的行数。

2501
来自专栏章鱼的慢慢技术路

通过C#脚本实现旋转的立方体

2404
来自专栏racaljk

2017第八届蓝桥杯决赛(C++ B组)2.磁砖样式

小明家的一面装饰墙原来是 310 的小方格。 现在手头有一批刚好能盖住2个小方格的长方形瓷砖。 瓷砖只有两种颜色:黄色和橙色。 小明想知道,对于这么简陋的...

3294
来自专栏每日一篇技术文章

SceneKit_入门13_骨骼动画

1.创建工程(略) 2.加载场景文件(略) 3.添加框架SceneKit/Scenekit.h 4.创建场景资源对象

2873
来自专栏华章科技

10个非常实用的Excel技巧

Excel可以说是MS Office系列中最神奇也最重要的软件。对于专业的职场人士,工作中经常需要用到Excel来分析数据。亲们别再傻傻地用鼠标点来点去啦,用这...

1618
来自专栏腾讯Bugly的专栏

Android自绘动画实现与优化实战——以Tencent OS录音机波形动画为实例

前言 我们所熟知的,Android 的图形绘制主要是基于 View 这个类实现。 每个 View 的绘制都需要经过 onMeasure、onLayout、onD...

4344
来自专栏慎独

AVPlayer初体验之视频解纹理

6564
来自专栏hbbliyong

Unity3D学习笔记第一课

第一课程: 1.Unity类名必须与文件名保持一致 2.讲属性设置为public可以在Unity中访问 public float speed; // ...

3897
来自专栏walterlv - 吕毅的博客

WPF 中使用附加属性,将任意 UI 元素或控件裁剪成圆形(椭圆)

发布于 2018-06-15 01:22 更新于 2018-09...

1633

扫码关注云+社区

领取腾讯云代金券