随笔-94  评论-133  文章-4  trackbacks-0
 
   最近研究了一下ARMV7-A的NEON和VFP,有以下理解,分享一下,如果有错的话欢迎指正:

   目前的理解,neon和vfp应该还是不一样的东西:
   1、vfp纯粹是个浮点运算单元,支持单精度和双精度浮点数操作,兼容IEEE-754。
   2、neon是所谓的Advance SIMD,支持单指令多数据操作,支持整数和单精度浮点数向量化(并行)操作。

   3、vfp和neon对于ARM核来说都是option,也可以搭配使用,由于共用寄存器,搭配使用时参考下表:

  

   4、至于浮点数操作的时候,用哪个好,我到现在还没很搞明白,了解到的信息是因为neon是SIMD,所以理论上比vfp要快,但是neon只支持单精度,而且不完全兼容IEEE-754,编译器默认生成的汇编代码也主要以vfp为主(生成向量化的neon汇编代码,c代码设计应该也要满足向量化的要求才行),打开自动向量化编译的参数如下(以cortex-a8为例):

   注:
      用"-S"编译出来的汇编代码,可以很容易的区分vfp和neon的指令(vfp为fxx,neon为vxx.xx),可是objdump反汇编出来的程序,则统一用vxx.xx(UAL统一汇编语言)
   5、使用UAL表示的vfp和neon汇编代码还是有区别的,主要体现在对寄存器的操作上(是否有并行的操作),另外vfp和neon有共用的指令和特有的指令,详细没去研究。
   6、编译器自动向量化,往往发挥不了neon的最佳性能,这时候可能需要你借组内联的Neon Intrinsics(arm_neon.h提供),甚至嵌套neon的汇编指令来进行优化。

   还有,NEON和VFP都有众多的版本,版本之间的差异还没去研究。

refer:
http://processors.wiki.ti.com/index.php/Cortex-A8#What_is_Neon.3F
"ARM®Architecture Reference Manual"
posted @ 2015-12-17 12:04 lfc 阅读(264) | 评论 (0)编辑 收藏
http://wenku.baidu.com/link?url=XyI8xteOkNCH5MZsooMWBcdqrb7DqDEuH_r0QtvwF3KHwGW_Ogix_I6Hxy1GfNzSwSfRiLIg3Y4sIlk6xn9E_iHal-duhjw2U9U6yIr35Cm
http://wenku.baidu.com/view/11c81701e87101f69e319591.html 
posted @ 2015-11-28 14:39 lfc 阅读(141) | 评论 (0)编辑 收藏
posted @ 2015-11-27 09:35 lfc 阅读(198) | 评论 (0)编辑 收藏
     摘要: Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->     vlc的stream是介于demux和access的中间层,demux通过它间接访问access。stream把access抽象成data stream以...  阅读全文
posted @ 2015-11-11 16:25 lfc 阅读(130) | 评论 (0)编辑 收藏
     摘要: 一、背景1、当播放网络视频流时(比如udp视频流),发送方(编码)和接收方(解码)是并行操作的,如果发送太慢(或因为网络原因出现延迟)的话,接收方将不能及时得到数据,导致解码出错,所以需要对接收buffer进行管理。2、编码器会把自身的参考时钟(PCR)保存到视频流中,供解码器同步用。对于网络视频流,VLC也通过接收的PCR信息与自身系统时钟比较,以计算网络延迟并相应的调节接收buffer。二、b...  阅读全文
posted @ 2015-10-27 10:56 lfc 阅读(519) | 评论 (0)编辑 收藏
【MFC】
1、resize
http://blog.csdn.net/huangxy10/article/details/7598675

2、模态对话框与非模态对话框
http://blog.csdn.net/lanzily99/article/details/8053278

3、
fullscreen
http://blog.csdn.net/sea310/article/details/7676867

4、Profile
http://blog.csdn.net/shuaiby/article/details/8650113

5、国际化(多语言)
http://www.cnblogs.com/xianyunhe/archive/2011/09/02/2163842.html
http://blog.csdn.net/akof1314/article/details/6321628

【libvlc】
1、
播放器
http://blog.csdn.net/leixiaohua1020/article/details/42363079

2、
Log
http://www.videolan.org/developers/vlc/doc/doxygen/html/group__libvlc__log.html

3、
OSD
http://m.blog.csdn.net/blog/yuanjiajunzm/8262502

5、
Event
http://m.blog.csdn.net/blog/wsooth2008/6787780
http://www.cnblogs.com/qq78292959/archive/2010/11/04/2077000.html
posted @ 2015-10-21 17:03 lfc 阅读(102) | 评论 (0)编辑 收藏
posted @ 2015-10-21 13:24 lfc 阅读(62) | 评论 (0)编辑 收藏
     摘要: 【AWB】参考:http://m.blog.csdn.net/blog/wzwxiaozheng/38434391关键步骤:1、通过静态白平衡校正,算出sensor针对白点的色温曲线(RG,BG,色温的关系)。2、通过分block的带权重的白点检测,找到图像中的白点(block),从而定位出图像的色温。注:   权重高低一是看块中白色点数量,二是看rg/bg到色温曲线的距离。 ...  阅读全文
posted @ 2015-09-14 11:45 lfc 阅读(275) | 评论 (0)编辑 收藏

0x00 前置信息

VLC是一个非常庞大的工程,我从它的架构及流程入手进行分析,涉及到一些很细的概念先搁置一边,日后详细分析。

0x01 源码结构(Android Java相关的暂未分析)

# build-android-arm-linux-androideabi/:第三方库。 # modules/:模块代码。 # modules/demux:      解复用模块代码。 # modules/codec:       解码模块相关代码。 # modules/access:    访问模块相关代码。 # 其他:未详细分析。 # src/: VLC架构核心代码。 # src/config/:           从命令行和配置文件加载配置,提供功能模块的读取和写入配置。 # src/control/:            提供动作控制功能,如播放/暂停,音量管理,全屏,日志等。 # src/extras/:             平台特殊性相关代码。 # src/modules/:          模块管理。 # src/network/:           提供网络接口。 # src/posix/:               多线程相关。 # src/osd/:                 显示屏幕上的操作。 # src/interface/ :         提供代码中可以调用的接口中,如按键后硬件作出反应。 # src/playlist/:            管理播放功能,如停止,播放,下一首,随机播放等。 # src/text/:                 字符集。 # src/input/:               输入流相关代码。 # src/video_output/ :   初始化视频播放器,把从解码器获得的数据处理后播放。 # src/audio_output/ :   初始化音频混合器,把从解码器获得的数据处理后播放。 # src/stream_output/:  输出音频流和视频流到网络。 # src/test/:                  libvlc测试模块。 # src/misc/:                libvlc使用的其他部分功能,如线程系统,消息队列,CPU的检测,对象查找系统,或平台的特定代码。 # 其他:未详细分析。 

0x02 基础概念

对于一个视频的播放,播放器的执行步骤大致如下:

  1. 读取原始数据
  2. 解复用
  3. 解码
  4. 显示

VLC在包含以上概念的基础上,又抽象出几个其他概念,先列出VLC中抽象出来的重要概念:

  1. playlist: playlist表示播放列表,VLC在启动后,即创建一个playlist thread,用户输入后,动态创建input。
  2. input: input表示输入,当用户通过界面输入一个文件或者流地址时,input thread 被动态创建,该线程的生命周期直到本次播放结束。
  3. access: access表示访问,是VLC抽象的一个层,该层向下直接使用文件或网络IO接口,向上为stream层服务,提供IO接口。
  4. stream: stream表示流,是VLC抽象的一个层,该层向下直接使用access层提供的IO接口,向上为demux层服务,提供IO接口。
  5. demux: demux表示解复用,是视频技术中的概念,该层向下直接使用stream层提供的IO接口,数据出来后送es_out。
  6. es_out: es_out表示输出,是VLC抽象的一个层,该层获取demux后的数据,送decode解码。
  7. decode: decode表示解码,是视频技术中的概念,获取es_out出来的数据(通过一个fifo交互),解码后送output。
  8. output: output表示输出,获取从decode出来的数据,送readerer。
  9. readerer: readerer表示显示,获取从output出来的数据(通过一个fifo交互),然后显示。

下图显示了这些抽象的概念的关系,其中蓝色表示VLC抽象的概念。
vlc_flowpath_analysis2.png

0x04 架构综述

VLC的整体框架是设计成一套module的管理机制,将功能分类并抽象成modules。

VLC main: player的main。初始化libVLC 并加载用户界面。
libVLCcore:libvlc的核心,抽象出了一个libvlc_instance_t 对象,提供modules的装载/卸载机制。
modules: modules提供具体的功能,比如上面的access,demux,decode就是以一个模块的形式存在。
External libraries:外部开源库。

模块的加载方式:
首先模块先将自身注册到VLC中,代码片段如:

vlc_module_begin() ... vlc_module_end() 

然后在需要加载模块的时候,调用module_need接口,去找到合适的模块。找到合适的模块后,会执行注册中设置的回调方法,诸如Open*名字的方法。
同样自己可以实现模块,只需要按照VLC模块的标准即可。VLC中很多模块就是通过外部的开源库实现的。

vlc中模块大致分类:
1364359619_6154.jpg

0x05 流程分析

首先,给出流程图,参照该图,再继续下面的流程分析,绿色线表示打开VLC后的执行操作;黑色线表示用户输入一个视频后的执行操作;蓝色线从红色圈开始,表示开始播放输入流后的数据流向。
vlc_flowpath_analysis.png

(1) main函数(vlc/bin/vlc.c)
  1. 参数信号处理相关,不详分析。
  2. 调用libvlc_new()初始化一个libvlc_instance_t实例。(libvlc_instance_t is opaque. It represents a libvlc instance)
    2.1 调用libvlc_InternalCreate创建一个libvlc_int_t。(This structure is a LibVLC instance, for use by libvlc core and plugins.)
    2.2 调用libvlc_InternalInit初始化libvlc_int_t实例。
    2.3 初始化libvlc_instance_t其他成员。
  3. 调用libvlc_set_exit_handler设置VLC退出时的回调函数。
  4. 调用libvlc_add_intf添加模块。
    4.1 获取playlist,如果为空,则调用playlist_Create创建一个playlist结构,并调用playlist_Activate创建新的playlist线程Thread(src/playlist/thread.c)。
    4.2 调用intf_Create创建一个默认的interface。
    4.2.1 调用vlc_custom_create创建一个vlc object(intf_thread_t)。
    4.2.2 注册一个添加interface的回调方法。
    4.2.3 调用module_need加载一个interface模块。
  5. 调用libvlc_playlist_play,如果播放列表不为空,并且被设置为自动播放,则播放播放列表内容。
  6. 信号处理相关,不详分析。
(2) 创建一个输入
  1. 初始化成功后,程序运行在playlist的线程Thread(src/playlist/thread.c)中,循环接收界面输入的请求。
  2. 当输入一个新的文件或者流地址,在PlaylistVAControl获得信号,并发送该信号。
  3. Thread接收到播放请求后,在LoopRequest中调用PlayItem方法。
    3.1 调用input_Create创建一个input结构,并初始化各种成员,其中包括调用input_EsOutNew创建p_es_out_display(es_out)。
    3.2 调用input_Start创建一个input线程Run(src/input/input.c)。
(3) 初始化输入

调用Run(src/input/input.c)中的Init方法,开始初始化。

  1. 调用input_EsOutTimeshiftNew新建一个50M的Timeshift(暂停缓存),包括创建并初始化p_es_out(es_out),与后续步骤9相关。
  2. 设置input的状态为OPENING_S。
  3. 调用InputSourceInit。
    3.1 调用input_SplitMRL分解输入uri。
    3.2 以stream形参为NULL调用demux_New加载"access_demux"模块。
    3.3 如果没有合适的"access_demux"模块,则调用access_New创建一个实际的access。
    3.3.1 调用vlc_custom_create创建access_t结构体。
    3.3.2 调用module_need加载合适的access模块。
    3.3.3 调用access模块的Open方法,以avio模块为例。
    3.3.3.1 调用vlc_init_avformat初始化VLC即avformat环境。
    3.3.3.2 调用avio_open2打开该uri。
    3.3.3.3 设置access的IO方法指针。
    3.4 调用stream_AccessNew创建一个stream。
    3.4.1 根据模式(stream/block)设置steam层的IO方法指针。stream层的IO方法实际指向access层对应的IO方法指针。
    3.4.2 为stream层的缓冲申请并初始化内存。
    3.4.3 调用AStreamPrebufferStream执行一次读操作。
    3.5 调用stream_FilterChainNew,Add stream filters(源码描述)。
    3.6 调用demux_New创建一个demux。
    3.6.1 调用vlc_custom_create创建demux_t结构体。
    3.6.2 调用module_need加载合适的demux模块。
    3.6.3 调用demux模块的Open
    方法,以avformat/demux模块为例。
    3.6.3.1 调用stream_Peek从stream层获取数据,用于分析输入的文件格式。
    3.6.3.2 调用av_probe_input_format分析输入的文件格式。
    3.6.3.3 设置demux_sys_t结构体部分变量的值。
    3.6.3.4 调用avformat_alloc_context分配AVFormatContext结构体。
    3.6.3.5 调用avio_alloc_context设置AVFormatContext结构体的AVIOContext类型成员pb,并设置read和seek方法指针。
    3.6.3.6 调用avformat_open_input打开一个输入,这里的input与VLC中的input不是一个概念,关于avformat_open_input的分析详见我的另一篇文章《avformat_open_input详细分析》链接地址
    3.6.3.7 调用avformat_find_stream_info分析流信息,该方法通过读取数据初始化流以及流解码信息。
    3.6.3.8 根据分析的流信息,设置fmt变量,并调用es_out_Add。
    3.6.3.9 实际调用EsOutAdd(src/input/es_out.c),添加一个es_out,有几个流就做几次es_out_Add操作,比如该输入中有一个视频流和一个音频流,则作两次es_out_Add操作。
    3.6.3.10 nb_chapters相关未详细分析。
    3.7 设置record相关。
    3.8 调用demux_Control设置demux pts delay。
    3.9 调用demux_Control设置fps。
  4. 调用demux_Control获取输入的长度。
  5. 调用StartTitle显示标题。
  6. 调用LoadSubtitles加载字幕。
  7. 调用LoadSlaves,含义不详。
  8. 调用InitPrograms,设置es_out和decoder相关。
    8.1 调用UpdatePtsDelay计算正确的pts_delay值。
    8.2 sout相关可选,暂不分析。
    8.3 调用es_out_SetMode,设置es_out的mode为ES_OUT_MODE_AUTO。
    8.4 以DEMUX_SET_GROUP指令调用demux_Control,DEMUX_SET_GROUP/SET_ES only a hint for demuxer (mainly DVB) to allow not reading everything。
  9. 续8.3,实际调用EsOutControlLocked进入case ES_OUT_SET_MODE分支。
    9.1 设置es_out_sys_t 的b_active和i_mode。
    9.2 调用EsOutSelect方法,根据指定模块选择一个es_out。
    9.3 在EsOutSelect方法中进入ES_OUT_MODE_AUTO分支,进一步调用EsSelect方法,再进一步调用EsCreateDecoder方法创建decoder。
    9.3.1 调用input_DecoderNew创建一个新的decoder。
    9.3.2 如果需要缓存,调用input_DecoderStartWait发送信号,开始线程等待。
    9.3.3 调用EsOutDecoderChangeDelay设置decode delay。
  10. 续9.3.1进入decoder_New方法。
    10.1 调用CreateDecoder创建decoder配置结构体。
    10.1.1 调用vlc_custom_create创建一个vlc object(decoder_t)。
    10.1.2 新建decode fifo。
    10.1.3 调用module_need加载适配的解码模块。
    10.1.3.1 调用decode模块的OpenDecoder方法,以codec/avcodec模块为例。
    10.1.3.2 调用GetFfmpegCodec方法 determine codec type(源码描述)。
    10.1.3.3 调用vlc_init_avcodec方法初始化解码环境。
    10.1.3.4 调用avcodec_find_decoder设置AVCodec。
    10.1.3.5 调用avcodec_alloc_context3分配一个AVCodecContext。
    10.1.3.6 调用Init*Dec系列初始化解码环境。
    10.1.4 初始化decoder_t结构体其他成员。
    10.2 调用vlc_clone创建解码线程DecoderThread。
  11. 续10.1.3.5,以InitVideoDec为例。
    12.1 为decoder_sys_t结构分配内存。
    12.2 设置相关回调方法。
    12.3 设置解码线程类型。
    12.4 调用ffmpeg_InitCodec初始化extradata相关数据。
    12.5 调用OpenVideoCodec方法,设置解码的长宽及采用率,进一步调用avcodec_open2打开codec。
  12. 根据需要,设置线程优先级。
  13. 设置meta相关。
  14. 初始化完成,设置该input的状态为PLAYING_S。
(4) 播放输入

MainLoop(src/input/input.c)

  1. 调用MainLoopDemux访问demuxer去demux数据。
  2. 进一步调用在加载demux模块时设置的demux方法,同样以avformat/demux模块为例,实际调用Demux方法(module/demux/avformat/demux.c)。
    2.1 调用av_read_frame读取一帧数据。
    2.2 判断读取无误时,则为block_t结构分配内存,并将这一帧从AVPacket中拷贝至block_t结构中。
    2.3 如果该帧是I帧,则设置I帧标致位。
    2.4 时间戳处理相关,未深入分析。
    2.5 根据需要调用es_out_Control设置PCR,未深入分析。
    2.6 调用es_out_Send将这一帧数据发送给es_out。
    2.7 调用av_free_packet释放这一帧数据。
  3. 调用es_out_Send后,实际调用EsOutSend(src/input/es_out.c)方法。
    3.1 调用stats_Update更新相关状态,具体未详分析。
    3.2 设置预读相关,如果需要预读,并且到的数据的pts小于预读需要的时间,则设置BLOCK_FLAG_PREROLL标志位。
    3.3 检查sout mode,具体有sync 和async mode,异同未详细分析。
    3.4 如果设置record,将数据dup后送decoder。
    3.5 调用input_DecoderDecode将block_t的数据送至decode fifo中。
    3.5.1 判断控制速度线程等待相关信息,具体未详细分析。
    3.5.2 如果decode fifo超过最大长度,则清空重置decode fifo。
    3.5.3 调用block_FifoPut将该block_t的数据压入decode fifo,并通知读取线程。
    3.6 格式变化判断处理相关,未详细分析。
    3.7 字幕处理相关,未详细分析。
  4. 续3.5进入decode read thread,即DecoderThread(src/input/decoder.c)。
    4.1 调用block_FifoGet方法,从decode fifo中获取数据。
    4.2 基于某些条件,发送停止等待消息给其他线程,未详细分析。
    4.3 调用DecoderProcess方法开始decode a block。
    4.4 判断输入流的格式,调用不同的方法,这里以视频流为例,调用DecoderProcessVideo方法。
    4.5 packetizer相关为深入分析,在DecoderProcessVideo方法中进一步调用DecoderDecodeVideo方法。
  5. 续4.5调用pf_decode_video,这里以avcodec模块的decoder为例,即DecodeVideo(modules/codec/avcodec/video.c)方法,在该方法中,开始真正的解码。
    5.1 如果在Demux中获取的流信息中包含新的extradata,并且原来的extradata数据为空,则调用ffmpeg_InitCodec初始化 codec,如果b_delayed_open为true,则调用OpenVideoCodec重新打开codec。
    5.2 调用av_init_packet初始化解码数据包。
    5.3 调用avcodec_decode_video2解码数据。
    5.4 调用av_free_packet释放内存。
    5.5 计算pts值,返回解码后的数据。
    5.6 如果opaque为空,则调用ffmpeg_NewPictBuf方法创建一个新的picture buffer。具体调用回调指针pf_vout_buffer_new指向的vout_new_buffer,进一步调用 input_resource_RequestVout最终调用VoutCreate。
    5.6.1 调用vlc_custom_create创建一个vlc object(vout_thread_t)。
    5.6.2 调用spu_Create初始化sub picture unit。
    5.6.3 调用vlc_clone创建一个output线程Thread(src/video_output/video_output.c)。
    5.6.4 output线程循环调用vout_control_Pop,首次进入ThreadControl方法中,执行ThreadStart方向,创建picture fifo(p->decoder_fifo)。
  6. pf_decode_video返回后,解码后的数据保存在p_pic中,进一步调用DecoderPlayVideo方法,在该方法中调用vout_PutPicture将解码后的数据压入picture fifo中。
  7. 当picture fifo中有数据后,vout线程调用ThreadDisplayPicture中的ThreadDisplayPreparePicture方法。
    7.1 调用picture_fifo_Pop从picture fifo中获取解码后的数据。
    7.2 如果延迟太大,并且设置延迟丢帧,则丢掉该帧数据。
  8. 调用ThreadDisplayRenderPicture显示图像。
0x06 总结

对VLC的流程分析,主要通过跟踪数据流向的方式展开。对于最后显示部分的分析还不足,另外很多细节尚未深入。

参考:

  1. http://blog.csdn.net/tx3344/article/details/8517062
  2. http://my.oschina.net/xiaot99/blog/197555
posted @ 2015-08-13 16:02 lfc 阅读(419) | 评论 (0)编辑 收藏
posted @ 2015-08-12 20:21 lfc 阅读(88) | 评论 (0)编辑 收藏
仅列出标题
共10页: 1 2 3 4 5 6 7 8 9 Last