一、相机相关参数
1.相机id
根据指定的相机id打开相机。
//Camera.CameraInfo.CAMERA_FACING_BACK,Camera.CameraInfo.CAMERA_FACING_FRONT
int mCameraId = Camera.CameraInfo.*CAMERA_FACING_FRONT*;
mCamera = Camera.*open*(mCameraId);
相机id对应着Camera.CameraInfo的facing字段。
Camera.CameraInfo cameraInfo = new Camera.CameraInfo();
for (int i = 0; i < Camera.*getNumberOfCameras*(); i++) {
Camera.*getCameraInfo*(i, cameraInfo);
Log.*d*(*TAG*, "getCameraInstance: camera facing=" + cameraInfo.facing + ",camera orientation=" + cameraInfo.orientation);
}
2.图像格式
可以通过Camera.Parameters.getSupportedPreviewFormats()获取支持的图像格式列表，通过Camera.Parameters.setPreviewFormat(pixel_format)来设置图像格式。
List<Integer> supportedPreviewFormats = parameters.getSupportedPreviewFormats();
parameters.setPreviewFormat(ImageFormat.NV21);
默认格式为NV21，建议选择的颜色格式为NV21和YV12，这两个是所有机型均支持的。
NV21: YYYYYYYY VU VU => YUV420SP
YV12: YYYYYYYY VV UU => YUV420P
二者均为 YUV 4:2:0采样，即每四个Y共用一组UV分量。其大小为 width * heigh * 3/2 byte。
3.大小（宽度、高度）
大小包括预览尺寸（PreviewSize）和图像尺寸（PictureSize），最好选择一致。
可以通过Camera.Parameters.getSupportedPreviewSizes()获取手机支持的Size列表，选择所需要的大小。通过Camera.Parameters.setPreviewSize和setPictureSize设置大小。
List<Camera.Size> mapSizes = parameters.getSupportedPreviewSizes();
parameters.setPreviewSize(mImageSize.width, mImageSize.height);
parameters.setPictureSize(mImageSize.width, mImageSize.height);
一般是根据期望的范围，选择一个合适的大小。
private Camera.Size getPreferredPreviewSize(Camera.Parameters parameters, int width, int height) {
List<Camera.Size> mapSizes = parameters.getSupportedPreviewSizes();
List<Camera.Size> collectorSizes = new ArrayList<>();
for (Camera.Size option : mapSizes) {
Log.i(TAG, " option.width=" + option.width + " option.height=" + option.height);
if (width > height) {
if (option.width >= width && option.height >= height) {
collectorSizes.add(option);
}
} else {
if (option.width >= height && option.height >= width) {
collectorSizes.add(option);
}
}
}
if (collectorSizes.size() > 0) {
return Collections.min(collectorSizes, new Comparator<Camera.Size>() {
@Override
public int compare(Camera.Size lhs, Camera.Size rhs) {
return Long.signum(lhs.width * lhs.height - rhs.width * rhs.height);
}
});
}
return mapSizes.get(0);
}
4.角度
相机录制的图像数据，需要经过旋转甚至翻转后才会正常显示。
旋转的角度，可以通过Camera.CameraInfo.orientation获取。
此外，还要考虑两个因素，一是屏幕的角度，可以通过WindowManager.getDefaultDisplay().getRotation()获取；二是对于前摄，还要再水平翻转下，不过，底层相机输送到Surface中的数据，已经是水平翻转过的。
所以，对于预览显示，只需要Camera.Parameters.setDisplayOrientation(degrees)设置需要旋转的角度即可。
mCamera.setDisplayOrientation(degrees); //顺时针旋转角度
如何计算需要旋转的角度呢？
public int getCameraDisplayOrientation(Activity activity, int cameraId) {
int rotation = activity.getWindowManager().getDefaultDisplay().getRotation();
int degrees = 0; //屏幕角度
switch (rotation) {
case Surface.ROTATION_0:
degrees = 0;
break;
case Surface.ROTATION_90:
degrees = 90;
break;
case Surface.ROTATION_180:
degrees = 180;
break;
case Surface.ROTATION_270:
degrees = 270;
break;
}
Camera.CameraInfo info = new Camera.CameraInfo();
Camera.getCameraInfo(cameraId, info); //info.orientation 在正常屏幕上需要旋转的相机角度
int result; //最终需要的相机旋转角度
if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {
// 前置摄像头作镜像翻转
result = (info.orientation + degrees) % 360;
result = (360 - result) % 360; // compensate the mirror
} else { // back-facing
result = (info.orientation - degrees + 360) % 360;
}
Log.i(TAG, " initCamera: rotationDegrees=" + result + " CameraOrientation=" + info.orientation + " DisplayDegrees=" + degrees);
return result;
}
5. 帧率
设置的帧率，只是一个目标帧率值，具体的帧率取决于驱动。
parameters.setPreviewFrameRate(20);
不过，Android不推荐set固定帧率，而是推荐设置一个帧率范围。需要留意的是，调用setPreviewFpsRange设置的最大值和最小值，除以1000后才是帧率值。
parameters.setPreviewFpsRange(7000, 30000);
帧率范围的最大值和最小值，不是自己随便写的，而是通过Camera.Parameters.getSupportedPreviewFpsRange() 来获取。
二、视频流采集
1.初始化好呈现视频流的控件（如果不需要呈现，就不必走该步骤）
SurfaceView、TextureView。推荐后者。
通过surfaceTextureListener来拿到回调结果。
TextureView.setSurfaceTextureListener(surfaceTextureListener);
SurfaceTextureListener surfaceTextureListener = new SurfaceTextureListener() {
@Override
public void onSurfaceTextureAvailable(SurfaceTexture surface, int width, int height) {
Log.i(TAG, " onSurfaceTextureAvailable width=" + width + " height=" + height);
VideoCapture.this.surface = surface;
mCameraId = Camera.CameraInfo.CAMERA_FACING_FRONT;
initCamera(surface, mCameraId);
}
@Override
public void onSurfaceTextureSizeChanged(SurfaceTexture surface, int width, int height) {
Log.i(TAG, " onSurfaceTextureSizeChanged width=" + width + " height=" + height);
autoFocusCamera();
}
@Override
public boolean onSurfaceTextureDestroyed(SurfaceTexture surface) {
Log.i(TAG, " onSurfaceTextureDestroyed");
destroyCamera();
return false;
}
@Override
public void onSurfaceTextureUpdated(SurfaceTexture surface) {
Log.i(TAG, " onSurfaceTextureUpdated");
}
};
2.初始化相机
根据相机id打开相机。
设置预览尺寸、图像尺寸、预览格式、自动对焦等。
设置预览Surface、旋转角度、相机回调。
int width = Constant.DEFAULT_VIDEO_WIDTH, height = Constant.DEFAULT_VIDEO_HEIGHT; //1920*1080 640*360 720*480
mCameraId = Camera.CameraInfo.CAMERA_FACING_BACK;
mCamera = Camera.open(mCameraId);
Camera.Parameters parameters = mCamera.getParameters();
mImageSize = getPreferredPreviewSize(parameters, width, height);
Log.i(TAG, " initCamera: surface width==" + mImageSize.width + ",height==" + mImageSize.height);
parameters.setPreviewFpsRange(7000, 30000);
parameters.setPreviewSize(mImageSize.width, mImageSize.height); //设置预览尺寸onPreviewFrame的尺寸
parameters.setPictureSize(mImageSize.width, mImageSize.height); //设置拍照输出图片尺寸
parameters.setPreviewFormat(ImageFormat.NV21);
parameters.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE);//设置自动对焦
mCamera.setParameters(parameters);
mCamera.setPreviewCallback(cameraPreviewCallback);
mCamera.setPreviewTexture(surface); //设置显示图像的TextureView
mCamera.setDisplayOrientation(getCameraDisplayOrientation((Activity) mContext, mCameraId)); //设置展示图像的旋转角度
3.开始扫描
调用startPreview开始扫描。
mCamera.startPreview();
4.在相机预览回调中拿到数据
初始化相机的时候，已经设置了相机预览回调cameraPreviewCallback。
private Camera.PreviewCallback cameraPreviewCallback =new Camera.PreviewCallback() {
@Override
public void onPreviewFrame(byte[] data, Camera camera) {
// data数组即为视频流数据
}
};
三、视频流数据的处理
前文已经提到，视频流数据需要旋转甚至翻转才能够正常显示。通过调用setDisplayOrientation就可以直接输送到Surface上显示了。如果我们自己处理呢？
1.后摄，旋转
以我的小米5s为例，竖屏放置。可以得出：
rotationDegrees=90 CameraOrientation=90 DisplayDegrees=0
即最终需要旋转的角度为90度。
/**
* 顺时针旋转90度
* Y数据：yuv[i] = data[y * imageWidth + x]
* UV数据：
* 需求：后置镜头，数据需要顺时针旋转90度才显示正常。
* 备注：这里的宽和高，都是原始影像中的宽和高。
*/
private byte[] rotateYUV420Degree90(byte[] data, int imageWidth, int imageHeight) {
byte[] yuv = new byte[imageWidth * imageHeight * 3 / 2];
// Rotate the Y luma
int i = 0;
for (int x = 0; x < imageWidth; x++) {
for (int y = imageHeight - 1; y >= 0; y--) {
yuv[i] = data[y * imageWidth + x];
i++;
}
}
// Rotate the U and V color components
i = imageWidth * imageHeight * 3 / 2 - 1;
for (int x = imageWidth - 1; x > 0; x = x - 2) {
for (int y = 0; y < imageHeight / 2; y++) {
yuv[i] = data[(imageWidth * imageHeight) + (y * imageWidth) + x];
i--;
yuv[i] = data[(imageWidth * imageHeight) + (y * imageWidth) + (x - 1)];
i--;
}
}
return yuv;
}
2.前摄，旋转+水平翻转
在Surface上显示时，是旋转底层系统已经水平翻转过的数据。旋转角度即为前文计算的角度。
我们自己处理，是按照正规的顺序，先旋转，再水平翻转。这两个旋转角度是不一样的，我的小米5s手机，竖屏显示，自己旋转的角度是270度，即CameraOrientation给出的角度。
/**
* 顺时针旋转270度 + 水平镜像翻转
* Y数据：
* UV数据：
* 需求：前置镜头，数据需要顺时针旋转270度，再水平镜像翻转才显示正常。
* 备注：这里的宽和高，都是原始影像中的宽和高。
*/
private byte[] rotateYUVDegree270AndMirror(byte[] data, int imageWidth, int imageHeight) {
byte[] yuv = new byte[imageWidth * imageHeight * 3 / 2];
// Rotate and mirror the Y luma
int i = 0;
int maxY = 0;
for (int x = imageWidth - 1; x >= 0; x--) {
maxY = imageWidth * (imageHeight - 1) + x * 2;
for (int y = 0; y < imageHeight; y++) {
yuv[i] = data[maxY - (y * imageWidth + x)];
i++;
}
}
// Rotate and mirror the U and V color components
int uvSize = imageWidth * imageHeight;
i = uvSize;
int maxUV = 0;
for (int x = imageWidth - 1; x > 0; x = x - 2) {
maxUV = imageWidth * (imageHeight / 2 - 1) + x * 2 + uvSize;
for (int y = 0; y < imageHeight / 2; y++) {
yuv[i] = data[maxUV - 2 - (y * imageWidth + x - 1)];
i++;
yuv[i] = data[maxUV - (y * imageWidth + x)];
i++;
}
}
return yuv;
}
3.格式转换
预览数据格式为NV21，如果用于编码的话，编码格式指定MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible，需要先将数据转换为NV12。
转换方法如下：
/**
* 将NV21格式数据转换为NV12格式数据
* NV12与NV21类似，U 和 V 交错排列,不同在于UV顺序。
* NV12: YYYYYYYY UVUV =>YUV420SP
* NV21: YYYYYYYY VUVU =>YUV420SP
*/
private void NV21ToNV12(byte[] nv21, byte[] nv12, int width, int height) {
if (nv21 == null || nv12 == null) return;
int framesize = width * height;
int i = 0, j = 0;
System.arraycopy(nv21, 0, nv12, 0, framesize);
for (i = 0; i < framesize; i++) {
nv12[i] = nv21[i];
}
for (j = 0; j < framesize / 2; j += 2) {
nv12[framesize + j - 1] = nv21[j + framesize];
}
for (j = 0; j < framesize / 2; j += 2) {
nv12[framesize + j] = nv21[j + framesize - 1];
}
}
四、图解视频流数据的旋转与翻转
前文讲到了视频流数据的旋转与翻转，为便于理解，画图说明。
我用的手机为小米5s，将Activity写死为竖屏。
先亮图：
对于后摄，前文已经提到：
rotationDegrees=90 CameraOrientation=90 DisplayDegrees=0
坐标系1就是呈现给用户的坐标，坐标系2是Camera录制视频流的坐标。
看图就容易明白了，旋转90度才是正常的显示。不做旋转的话，呈现出来的图像就如坐标系2所示，可以调试看看效果。
再看前摄，前文也提到：
rotationDegrees=270 CameraOrientation=90 DisplayDegrees=0
坐标系1同样是呈现给用户的坐标，而坐标系3是Camera录制视频流的坐标。
看图，容易明白，先将坐标系2旋转270度到坐标系4，而后再水平翻转到坐标系1。
顺便说一下，为什么前摄，setDisplayOrientation的角度也是90度，因为底层相机输送到Surface中的数据，已经是水平翻转过的，也就是已经水平翻转到坐标系2了，解下来只需再旋转90度即可。
