前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >使用AudioToolbox播放AAC

使用AudioToolbox播放AAC

作者头像
落影
发布2018-04-27 16:58:24
1.4K0
发布2018-04-27 16:58:24
举报
文章被收录于专栏:落影的专栏落影的专栏

前言

使用VideoToolbox硬编码H.264

使用VideoToolbox硬解码H.264

使用AudioToolbox编码AAC

在上一篇中,介绍了如何从麦克风采集声音并用AudioToolbox编码成AAC码流,这次是使用AudioToolbox来播放之前录制的AAC码流。

介绍

在iOS设备上播放音频,可以使用AVAudioPlayer(AVFoundation框架内),但是不支持流式播放。

Apple recommends that you use this class for audio playback unless you are playing audio captured from a network stream or require very low I/O latency.

本文尝试两种播放方式:

  • 使用AudioServicesPlaySystemSound(音频小于等于30s);
  • 使用Audio Queue Services音频队列; Guide

AAC码流结构图

AAC原始码流(又称为“裸流”)是由一个一个的ADTS frame组成的。他们的结构如下图所示。

了解AAC的码流结构,对Audio Queue Services的参数设置更清晰。

具体实现

1、使用AudioServicesPlaySystemSound

AudioServicesCreateSystemSoundID创建系统声音

AudioServicesAddSystemSoundCompletion设置回调

AudioServicesPlaySystemSound开始播放

代码语言:javascript
复制
- (void)onClick:(UIButton *)button {
    [self.mButton setHidden:YES];
    NSURL *audioURL=[[NSBundle mainBundle] URLForResource:@"abc" withExtension:@"aac"];
    SystemSoundID soundID;
    //Creates a system sound object.
    AudioServicesCreateSystemSoundID((__bridge CFURLRef)(audioURL), &soundID);
    //Registers a callback function that is invoked when a specified system sound finishes playing.
    AudioServicesAddSystemSoundCompletion(soundID, NULL, NULL, &playCallback, (__bridge void * _Nullable)(self));
    //    AudioServicesPlayAlertSound(soundID);
    AudioServicesPlaySystemSound(soundID);
}
- (void)onPlayCallback {
    [self.mButton setHidden:NO];
}

以下是API的限制

  • No longer than 30 seconds in duration
  • In linear PCM or IMA4 (IMA/ADPCM) format
  • Packaged in a .caf, .aif, or .wav file

虽然AAC音频不在支持列表里面,但是经过测试,播放是可以的。

2、使用Audio Queue Services音频队列

Audio Queue Services的播放步骤如下:

  • 1,给buffer填充数据,并把buffer放入就绪的buffer queue;
  • 2,应用通知队列开始播放;
  • 3、队列播放第一个填充的buffer;
  • 4、队列返回已经播放完毕的buffer,并开始播放下面一个填充好的buffer;
  • 5、队列调用之前设置的回调函数,填充播放完毕的buffer;
  • 6、回调函数中把buffer填充完毕,并放入buffer queue中。

在这里有Guide

遇到的问题

问题1:malloc错误

malloc: *** error for object 0x154e58498: incorrect checksum for freed object - object was probably modified after being freed. Set a breakpoint in malloc_error_break to debug.

问题2:selector调用错误

Method cache corrupted. This may be a message to an invalid object, or a memory error somewhere else. objc12730: receiver 0x13fe1d4f0, SEL 0x10004e2d8, isa 0x100051828, cache 0x100051838, buckets 0x13fd86650, mask 0x7, occupied 0x1 objc12730: receiver 112 bytes, buckets 128 bytes objc12730: selector 'fillBuffer:' objc12730: isa 'AACPlayer' objc12730: Method cache corrupted.

这两个问题是出现在AudioQueueAllocateBuffer方法和fillBuffer的调用,而且是时而正常,时而崩溃。

先查看参数是否正确,通过xcode的debug工具,我们可以看到以下的数据:

代码语言:javascript
复制
(AudioStreamBasicDescription) $0 = {
  mSampleRate = 44100
  mFormatID = 1633772320
  mFormatFlags = 0
  mBytesPerPacket = 0
  mFramesPerPacket = 1024
  mBytesPerFrame = 0
  mChannelsPerFrame = 1
  mBitsPerChannel = 0
  mReserved = 0
}
maxSize = 768
packetNums = 85
(mStartOffset = 0, mVariableFramesInPacket = 0, mDataByteSize = 23)

AudioStreamBasicDescription的参数很熟悉,因为就是我们上一篇的编码所设置的参数。

AudioQueueAllocateBuffer的参数audioQueue、buffer_size、audioBuffers都很正常,暂时排除存在问题的可能性。

fillBuffer方法中,有AudioFileReadPacketsAudioQueueEnqueueBuffer两个方法。AudioQueueEnqueueBuffer是把buffer放入到AudioQueue,参数检查没有问题。初步判断是AudioFileReadPackets存在问题。

通过多次调试,发现AudioFileReadPackets在偶然情况下回返回-60的情况,这时会导致崩溃。

通过google查到-60对应的是kAudioFilePositionError,回来检查AudioFileReadPackets的参数,发现参数没有初始化,每次调用的参数都不同。

查API文档知道AudioFileReadPackets的参数除了audioFileID和cache、packet长度,均为传入参数,参数是否初始化并不会影响。至此,fillBuffer方法的线索断了。

回顾了一下整体的流程,决定从malloc错误入手,在so上找到以下解释。

  • you are freeing an object twice,
  • you are freeing a pointer that was never allocated
  • you are writing through an invalid pointer which previously pointed to an object which was already freed

内存访问越界,怎么会和selector调用错误扯上关系?百思不得其解。

最后,几经波折终于找到罪魁祸首。就是以下这行代码:

代码语言:javascript
复制
audioStreamPacketDescrption = malloc(sizeof(audioStreamPacketDescrption) * packetNums);

当我打过一次audioStreamPacketDescrption,再打AudioStreamPacketDescrption的时候,Xcode会自动索引为audioStreamPacketDescrption,导致sizeof会计算出不同的大小。

PS:按理说对一个结构体的类和结构体的实例进行sizeof,应该是一样的大小(不算动态分配)。 这个并没有错,可是为了方便我把audioStreamPacketDescrption定义成指针了!

两个教训:

1、不要起和类名一样的变量;

2、指针和实例的区别要从名字即可分清;

总结

本篇因为一个小失误,导致demo整整弄了6个多小时才完工。

播放比解码容易多,Audio Queue Services的使用就参照demo和上图的6个步骤,可以很清晰看懂,就不赘述。

顺便提一下,之前录制的aac音频和h264可以很方便的打包成mp4!看下图:

只需简单的一行指令:

ffmpeg -i abc.h264 -i abc.aac -vcodec copy -f mp4 abc.mp4

PS:中秋没有赏月(上海暴雨),写写文章也是极好的。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2016.09.16 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 介绍
  • AAC码流结构图
  • 具体实现
    • 1、使用AudioServicesPlaySystemSound
      • 2、使用Audio Queue Services音频队列
      • 遇到的问题
        • 问题1:malloc错误
          • 问题2:selector调用错误
          • 总结
          • PS:中秋没有赏月(上海暴雨),写写文章也是极好的。
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档