Android MediaCodec 解码H264/H265码流视频_android h265 mediacodec-程序员宅基地
技术标签： Android音视频相关专栏 h.264 MediaCodec android H265
音视频学习H264系列：H264简介
音视频学习H264系列：H264视频编码原理基础分析
音视频学习H264系列：H264视频编码原理进阶分析
音视频学习H264系列：MediaCodec H264/H265解码
音视频学习H264系列：终结篇实战
序言
本篇是有关音视频学习系列中的H264 / H265的解码视频部分，文章大部分记录直接上干货，编码原理基础部分【音视频学习H264系列：H264视频编码原理】后续再补上。欢迎留言讨论。
使用MediaCodec 解码H264/H265码流视频，那必须谈下MediaCodec这个神器。附官网数据流程图如下：
input：ByteBuffer输入方；
output：ByteBuffer输出方；
- 使用者从MediaCodec请求一个空的输入buffer（ByteBuffer），填充满数据后将它传递给MediaCodec处理。
- MediaCodec处理完这些数据并将处理结果输出至一个空的输出buffer（ByteBuffer）中。
- 使用者从MediaCodec获取输出buffer的数据，消耗掉里面的数据，使用完输出buffer的数据之后，将其释放回编解码。
H264码流解码示例代码如下（基本都做了注释）
package com.zqfdev.h264decodedemo;
import android.media.MediaCodec;
import android.media.MediaFormat;
import android.util.Log;
import android.view.Surface;
import java.io.ByteArrayOutputStream;
import java.io.DataInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.nio.ByteBuffer;
/**
* @author zhangqingfa
* @createDate 2020/12/10 11:39
* @description 解码H264播放
*/
public class H264DeCodePlay {
private static final String TAG = "zqf-dev";
//视频路径
private String videoPath;
//使用android MediaCodec解码
private MediaCodec mediaCodec;
private Surface surface;
H264DeCodePlay(String videoPath, Surface surface) {
this.videoPath = videoPath;
this.surface = surface;
initMediaCodec();
}
private void initMediaCodec() {
try {
Log.e(TAG, "videoPath " + videoPath);
//创建解码器 H264的Type为 AAC
mediaCodec = MediaCodec.createDecoderByType("video/avc");
//创建配置
MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", 540, 960);
//设置解码预期的帧速率【以帧/秒为单位的视频格式的帧速率的键】
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
//配置绑定mediaFormat和surface
mediaCodec.configure(mediaFormat, surface, null, 0);
} catch (IOException e) {
e.printStackTrace();
//创建解码失败
Log.e(TAG, "创建解码失败");
}
}
/**
* 解码播放
*/
void decodePlay() {
mediaCodec.start();
new Thread(new MyRun()).start();
}
private class MyRun implements Runnable {
@Override
public void run() {
try {
//1、IO流方式读取h264文件【太大的视频分批加载】
byte[] bytes = null;
bytes = getBytes(videoPath);
Log.e(TAG, "bytes size " + bytes.length);
//2、拿到 mediaCodec 所有队列buffer[]
ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();
//开始位置
int startIndex = 0;
//h264总字节数
int totalSize = bytes.length;
//3、解析
while (true) {
//判断是否符合
if (totalSize == 0 || startIndex >= totalSize) {
break;
}
//寻找索引
int nextFrameStart = findByFrame(bytes, startIndex + 1, totalSize);
if (nextFrameStart == -1) break;
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
// 查询10000毫秒后，如果dSP芯片的buffer全部被占用，返回-1；存在则大于0
int inIndex = mediaCodec.dequeueInputBuffer(10000);
if (inIndex >= 0) {
//根据返回的index拿到可以用的buffer
ByteBuffer byteBuffer = inputBuffers[inIndex];
//清空缓存
byteBuffer.clear();
//开始为buffer填充数据
byteBuffer.put(bytes, startIndex, nextFrameStart - startIndex);
//填充数据后通知mediacodec查询inIndex索引的这个buffer,
mediaCodec.queueInputBuffer(inIndex, 0, nextFrameStart - startIndex, 0, 0);
//为下一帧做准备，下一帧首就是前一帧的尾。
startIndex = nextFrameStart;
} else {
//等待查询空的buffer
continue;
}
//mediaCodec 查询 "mediaCodec的输出方队列"得到索引
int outIndex = mediaCodec.dequeueOutputBuffer(info, 10000);
Log.e(TAG, "outIndex " + outIndex);
if (outIndex >= 0) {
try {
//暂时以休眠线程方式放慢播放速度
Thread.sleep(33);
} catch (InterruptedException e) {
e.printStackTrace();
}
//如果surface绑定了，则直接输入到surface渲染并释放
mediaCodec.releaseOutputBuffer(outIndex, true);
} else {
Log.e(TAG, "没有解码成功");
}
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
//读取一帧数据
private int findByFrame(byte[] bytes, int start, int totalSize) {
for (int i = start; i < totalSize - 4; i++) {
//对output.h264文件分析 可通过分隔符 0x00000001 读取真正的数据
if (bytes[i] == 0x00 && bytes[i + 1] == 0x00 && bytes[i + 2] == 0x00 && bytes[i + 3] == 0x01) {
return i;
}
}
return -1;
}
private byte[] getBytes(String videoPath) throws IOException {
InputStream is = new DataInputStream(new FileInputStream(new File(videoPath)));
int len;
int size = 1024;
byte[] buf;
ByteArrayOutputStream bos = new ByteArrayOutputStream();
buf = new byte[size];
while ((len = is.read(buf, 0, size)) != -1)
bos.write(buf, 0, len);
buf = bos.toByteArray();
return buf;
}
}
H265示例代码如下
package com.zqfdev.h264decodedemo;
import android.media.MediaCodec;
import android.media.MediaFormat;
import android.util.Log;
import android.view.Surface;
import java.io.ByteArrayOutputStream;
import java.io.DataInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.nio.ByteBuffer;
/**
* @author zhangqingfa
* @createDate 2020/12/10 11:39
* @description 解码H264播放
*/
public class H265DeCodePlay {
private static final String TAG = "zqf-dev";
//视频路径
private String videoPath;
//使用android MediaCodec解码
private MediaCodec mediaCodec;
private Surface surface;
H265DeCodePlay(String videoPath, Surface surface) {
this.videoPath = videoPath;
this.surface = surface;
initMediaCodec();
}
private void initMediaCodec() {
try {
Log.e(TAG, "videoPath " + videoPath);
//创建解码器 H264的Type为 AAC
mediaCodec = MediaCodec.createDecoderByType("video/hevc");
//创建配置
MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/hevc", 368, 384);
//设置解码预期的帧速率【以帧/秒为单位的视频格式的帧速率的键】
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
//配置绑定mediaFormat和surface
mediaCodec.configure(mediaFormat, surface, null, 0);
} catch (IOException e) {
e.printStackTrace();
//创建解码失败
Log.e(TAG, "创建解码失败");
}
}
/**
* 解码播放
*/
void decodePlay() {
mediaCodec.start();
new Thread(new MyRun()).start();
}
private class MyRun implements Runnable {
@Override
public void run() {
try {
//1、IO流方式读取h264文件【太大的视频分批加载】
byte[] bytes = null;
bytes = getBytes(videoPath);
Log.e(TAG, "bytes size " + bytes.length);
//2、拿到 mediaCodec 所有队列buffer[]
ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();
//开始位置
int startIndex = 0;
//h264总字节数
int totalSize = bytes.length;
//3、解析
while (true) {
//判断是否符合
if (totalSize == 0 || startIndex >= totalSize) {
break;
}
//寻找索引
int nextFrameStart = findByFrame(bytes, startIndex + 1, totalSize);
if (nextFrameStart == -1) break;
Log.e(TAG, "nextFrameStart " + nextFrameStart);
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
// 查询10000毫秒后，如果dSP芯片的buffer全部被占用，返回-1；存在则大于0
int inIndex = mediaCodec.dequeueInputBuffer(10000);
if (inIndex >= 0) {
//根据返回的index拿到可以用的buffer
ByteBuffer byteBuffer = inputBuffers[inIndex];
//清空byteBuffer缓存
byteBuffer.clear();
//开始为buffer填充数据
byteBuffer.put(bytes, startIndex, nextFrameStart - startIndex);
//填充数据后通知mediacodec查询inIndex索引的这个buffer,
mediaCodec.queueInputBuffer(inIndex, 0, nextFrameStart - startIndex, 0, 0);
//为下一帧做准备，下一帧首就是前一帧的尾。
startIndex = nextFrameStart;
} else {
//等待查询空的buffer
continue;
}
//mediaCodec 查询 "mediaCodec的输出方队列"得到索引
int outIndex = mediaCodec.dequeueOutputBuffer(info, 10000);
Log.e(TAG, "outIndex " + outIndex);
if (outIndex >= 0) {
try {
//暂时以休眠线程方式放慢播放速度
Thread.sleep(33);
} catch (InterruptedException e) {
e.printStackTrace();
}
//如果surface绑定了，则直接输入到surface渲染并释放
mediaCodec.releaseOutputBuffer(outIndex, true);
} else {
Log.e(TAG, "没有解码成功");
}
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
//读取一帧数据
private int findByFrame(byte[] bytes, int start, int totalSize) {
for (int i = start; i < totalSize - 4; i++) {
//对output.h264文件分析 可通过分隔符 0x00000001 读取真正的数据
if (bytes[i] == 0x00 && bytes[i + 1] == 0x00 && bytes[i + 2] == 0x00 && bytes[i + 3] == 0x01) {
return i;
}
}
return -1;
}
private byte[] getBytes(String videoPath) throws IOException {
InputStream is = new DataInputStream(new FileInputStream(new File(videoPath)));
int len;
int size = 1024;
byte[] buf;
ByteArrayOutputStream bos = new ByteArrayOutputStream();
buf = new byte[size];
while ((len = is.read(buf, 0, size)) != -1)
bos.write(buf, 0, len);
buf = bos.toByteArray();
return buf;
}
}
MainActivity代码如下
package com.zqfdev.h264decodedemo;
import android.content.pm.PackageManager;
import android.os.Bundle;
import android.os.Environment;
import android.util.Log;
import android.view.SurfaceHolder;
import android.view.SurfaceView;
import java.io.File;
import androidx.annotation.NonNull;
import androidx.appcompat.app.AppCompatActivity;
import androidx.core.app.ActivityCompat;
public class MainActivity extends AppCompatActivity {
private String[] permiss = {"android.permission.WRITE_EXTERNAL_STORAGE", "android.permission.READ_EXTERNAL_STORAGE"};
private H264DeCodePlay h264DeCodePlay;
// private H265DeCodePlay h265DeCodePlay;
private String videoPath;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
checkPermiss();
initView();
}
private void checkPermiss() {
int code = ActivityCompat.checkSelfPermission(this, permiss[0]);
if (code != PackageManager.PERMISSION_GRANTED) {
// 没有写的权限，去申请写的权限
ActivityCompat.requestPermissions(this, permiss, 11);
}
}
private void initView() {
File dir = getExternalFilesDir(Environment.DIRECTORY_DOWNLOADS);
if (!dir.exists()) dir.mkdirs();
final File file = new File(dir, "output.h264");
// final File file = new File(dir, "output.h265");
if (!file.exists()) {
Log.e("Tag", "文件不存在");
return;
}
videoPath = file.getAbsolutePath();
final SurfaceView surface = findViewById(R.id.surface);
final SurfaceHolder holder = surface.getHolder();
holder.addCallback(new SurfaceHolder.Callback() {
@Override
public void surfaceCreated(@NonNull SurfaceHolder surfaceHolder) {
h264DeCodePlay = new H264DeCodePlay(videoPath, holder.getSurface());
h264DeCodePlay.decodePlay();
// h265DeCodePlay = new H265DeCodePlay(videoPath, holder.getSurface());
// h265DeCodePlay.decodePlay();
}
@Override
public void surfaceChanged(@NonNull SurfaceHolder surfaceHolder, int i, int i1, int i2) {
}
@Override
public void surfaceDestroyed(@NonNull SurfaceHolder surfaceHolder) {
}
});
}
}
测试的H264 / H265码流视频通过FFmpeg抽取可得到。
命令行：
ffmpeg -i 源视频.mp4 -codec copy -bsf: h264_mp4toannexb -f h264 输出视频.h264附上测试视频下载地址：
H264资源：output.h264-Android文档类资源-CSDN下载
H265资源：https://download.csdn.net/download/Ae_fring/13624500
效果如下：
智能推荐
hive使用适用场景_大数据入门：Hive应用场景-程序员宅基地
文章浏览阅读5.8k次。在大数据的发展当中，大数据技术生态的组件，也在不断地拓展开来，而其中的Hive组件，作为Hadoop的数据仓库工具，可以实现对Hadoop集群当中的大规模数据进行相应的数据处理。今天我们的大数据入门分享，就主要来讲讲，Hive应用场景。关于Hive，首先需要明确的一点就是，Hive并非数据库，Hive所提供的数据存储、查询和分析功能，本质上来说，并非传统数据库所提供的存储、查询、分析功能。Hive..._hive应用场景
zblog采集-织梦全自动采集插件-织梦免费采集插件_zblog 网页采集插件-程序员宅基地
文章浏览阅读496次。Zblog是由Zblog开发团队开发的一款小巧而强大的基于Asp和PHP平台的开源程序，但是插件市场上的Zblog采集插件，没有一款能打的，要么就是没有SEO文章内容处理，要么就是功能单一。很少有适合SEO站长的Zblog采集。人们都知道Zblog采集接口都是对Zblog采集不熟悉的人做的，很多人采取模拟登陆的方法进行发布文章，也有很多人直接操作数据库发布文章，然而这些都或多或少的产生各种问题，发布速度慢、文章内容未经严格过滤，导致安全性问题、不能发Tag、不能自动创建分类等。但是使用Zblog采._zblog 网页采集插件
Flink学习四：提交Flink运行job_flink定时运行job-程序员宅基地
文章浏览阅读2.4k次，点赞2次，收藏2次。restUI页面提交1.1 添加上传jar包1.2 提交任务job1.3 查看提交的任务2. 命令行提交./flink-1.9.3/bin/flink run -c com.qu.wc.StreamWordCount -p 2 FlinkTutorial-1.0-SNAPSHOT.jar3. 命令行查看正在运行的job./flink-1.9.3/bin/flink list4. 命令行查看所有job./flink-1.9.3/bin/flink list --all._flink定时运行job
STM32-LED闪烁项目总结_嵌入式stm32闪烁led实验总结-程序员宅基地
文章浏览阅读1k次，点赞2次，收藏6次。这个项目是基于STM32的LED闪烁项目，主要目的是让学习者熟悉STM32的基本操作和编程方法。在这个项目中，我们将使用STM32作为控制器，通过对GPIO口的控制实现LED灯的闪烁。这个STM32 LED闪烁的项目是一个非常简单的入门项目，但它可以帮助学习者熟悉STM32的编程方法和GPIO口的使用。在这个项目中，我们通过对GPIO口的控制实现了LED灯的闪烁。LED闪烁是STM32入门课程的基础操作之一，它旨在教学生如何使用STM32开发板控制LED灯的闪烁。_嵌入式stm32闪烁led实验总结
Debezium安装部署和将服务托管到systemctl-程序员宅基地
文章浏览阅读63次。本文介绍了安装和部署Debezium的详细步骤，并演示了如何将Debezium服务托管到systemctl以进行方便的管理。本文将详细介绍如何安装和部署Debezium，并将其服务托管到systemctl。解压缩后，将得到一个名为"debezium"的目录，其中包含Debezium的二进制文件和其他必要的资源。注意替换"ExecStart"中的"/path/to/debezium"为实际的Debezium目录路径。接下来，需要下载Debezium的压缩包，并将其解压到所需的目录。
Android 控制屏幕唤醒常亮或熄灭_android实现拿起手机亮屏-程序员宅基地
文章浏览阅读4.4k次。需求：在诗词曲文项目中，诗词整篇朗读的时候，文章没有读完会因为屏幕熄灭停止朗读。要求：在文章没有朗读完毕之前屏幕常亮，读完以后屏幕常亮关闭；1.权限配置：设置电源管理的权限。
随便推点
目标检测简介-程序员宅基地
文章浏览阅读2.3k次。目标检测简介、评估标准、经典算法_目标检测
记SQL server安装后无法连接127.0.0.1解决方法_sqlserver 127 0 01 无法连接-程序员宅基地
文章浏览阅读6.3k次，点赞4次，收藏9次。实训时需要安装SQL server2008 R所以我上网上找了一个.exe 的安装包链接：https://pan.baidu.com/s/1_FkhB8XJy3Js_rFADhdtmA提取码：ztki注：解压后1.04G安装时Microsoft需下载.NET，更新安装后会自动安装如下：点击第一个傻瓜式安装，唯一注意的是在修改路径的时候如下不可修改：到安装实例的时候就可以修改啦数据..._sqlserver 127 0 01 无法连接
js 获取对象的所有key值，用来遍历_js 遍历对象的key-程序员宅基地
文章浏览阅读7.4k次。1. Object.keys(item); 获取到了key之后就可以遍历的时候直接使用这个进行遍历所有的key跟valuevar infoItem={ name:'xiaowu', age:'18',}//的出来的keys就是[name,age]var keys=Object.keys(infoItem);2. 通常用于以下实力中 <div *ngFor="let item of keys"> <div>{{item}}.._js 遍历对象的key
粒子群算法（PSO）求解路径规划_粒子群算法路径规划-程序员宅基地
文章浏览阅读2.2w次，点赞51次，收藏310次。粒子群算法求解路径规划路径规划问题描述 给定环境信息，如果该环境内有障碍物，寻求起始点到目标点的最短路径， 并且路径不能与障碍物相交，如图 1.1.1 所示。1.2 粒子群算法求解1.2.1 求解思路 粒子群优化算法（PSO），粒子群中的每一个粒子都代表一个问题的可能解， 通过粒子个体的简单行为，群体内的信息交互实现问题求解的智能性。 在路径规划中，我们将每一条路径规划为一个粒子，每个粒子群群有 n 个粒 子，即有 n 条路径，同时，每个粒子又有 m 个染色体，即中间过渡点的_粒子群算法路径规划
量化评价：稳健的业绩评价指标_rar 海龟-程序员宅基地
文章浏览阅读353次。所谓稳健的评估指标，是指在评估的过程中数据的轻微变化并不会显著的影响一个统计指标。而不稳健的评估指标则相反，在对交易系统进行回测时，参数值的轻微变化会带来不稳健指标的大幅变化。对于不稳健的评估指标，任何对数据有影响的因素都会对测试结果产生过大的影响，这很容易导致数据过拟合。_rar 海龟
IAP在ARM Cortex-M3微控制器实现原理_value line devices connectivity line devices-程序员宅基地
文章浏览阅读607次，点赞2次，收藏7次。–基于STM32F103ZET6的UART通讯实现一、什么是IAP，为什么要IAPIAP即为In Application Programming(在应用中编程)，一般情况下，以STM32F10x系列芯片为主控制器的设备在出厂时就已经使用J-Link仿真器将应用代码烧录了，如果在设备使用过程中需要进行应用代码的更换、升级等操作的话，则可能需要将设备返回原厂并拆解出来再使用J-Link重新烧录代码，这就增加了很多不必要的麻烦。站在用户的角度来说，就是能让用户自己来更换设备里边的代码程序而厂家这边只需要提供给_value line devices connectivity line devices