devbox
笔触狂放9
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

H.264 序列参数集（SPS）_h264 sps

作者：笔触狂放9 | 2024-06-15 12:34:32

赞

踩

h264 sps

基本结构（SPS）

H.264 中的 SPS（Sequence Parameter Set）是一种参数集，用于描述视频序列的特征和配置信息。SPS 是在 H.264 视频流中的一个元数据单元，它包含了视频编码器的设置和视频序列的特性。

SPS 包含了以下重要的信息：

  • Profile 和 Level：指定视频编码的配置和兼容性级别。
  • 图像尺寸和宽高比：描述视频图像的尺寸和宽高比。
  • 帧率和比特率：指定视频的帧率和比特率，影响视频的流畅度和压缩效率。
  • 帧间预测和帧内预测设置：描述视频编码中的预测模式和帧类型。
  • 量化参数：控制视频质量和压缩比例的参数。
  • 熵编码模式：指定熵编码的方式，影响编码的复杂度和压缩效率。
  • 参考帧设置：指定参考帧的配置和使用方式，用于帧间预测。

seq_parameter_set_rbsp()

封装结构

  1. // SPS
  2. typedef struct {
  3. 	uint32_t profile_idc; //!< 当前H.264的编码配置, baseline(66) | main(77) | extended(88)
  4. 	uint32_t constraint_set0_flag;
  5. 	uint32_t constraint_set1_flag;
  6. 	uint32_t constraint_set2_flag;
  7. 	uint32_t constraint_set3_flag;
  8. 	uint32_t constraint_set4_flag;
  9. 	uint32_t constraint_set5_flag;
  10. 	uint32_t reserved_zero_2bits;
  11. 	uint32_t level_idc; //!< 编码等级 0~51
  12. 	uint32_t seq_parameter_set_id;
  13. 	//	if(profile_idc == 100 || profile_idc == 110 || profile_idc == 122 || profile_idc == 144) {
  14. 	uint32_t chroma_format_idc;
  15. 	//		if( chroma_format_idc = = 3 )
  16. 	uint32_t residual_colour_transform_flag;
  17. 	//		}
  18. 	uint32_t bit_depth_luma_minus8;
  19. 	uint32_t bit_depth_chroma_minus8;
  20. 	uint32_t qpprime_y_zero_transform_bypass_flag;
  21. 	uint32_t seq_scaling_matrix_present_flag;
  22. 	//		if (seq_scaling_matrix_present_flag)
  23. 	//			for(i = 0; i < 8; i++) {
  24. 	uint32_t seq_scaling_list_present_flag[12];
  25. 	//			}
  26. 	//		}
  27. 	//	}
  28. 	uint32_t log2_max_frame_num_minus4;
  29. 	uint32_t pic_order_cnt_type;
  30. 	//	if(pic_order_cnt_type == 0) {
  31. 	uint32_t log2_max_pic_order_cnt_lsb_minus4;
  32. 	//	}
  33. 	//	else if(pic_order_cnt_type == 1) {
  34. 	uint32_t delta_pic_order_always_zero_flag;
  35. 	int offset_for_non_ref_pic;
  36. 	int offset_for_top_to_bottom_field;
  37. 	uint32_t num_ref_frames_in_pic_order_cnt_cycle;
  38. 	int offset_for_ref_frame[256];
  39. 	//	}
  40. 	uint32_t max_num_ref_frames; //!< 参考帧的最大数目
  41. 	uint32_t gaps_in_frame_num_value_allowed_flag;
  42. 	uint32_t pic_width_in_mbs_minus1;        //!< 用于计算图像的宽度,单位为宏块个数
  43. 	uint32_t pic_height_in_map_units_minus1; //!< 度量视频中一帧图像的高度
  44. 	uint32_t frame_mbs_only_flag;
  45. 	//	if (!frame_mbs_only_flag) {
  46. 	uint32_t mb_adaptive_frame_field_flag;
  47. 	//	}
  48. 	uint32_t direct_8x8_inference_flag;
  49. 	uint32_t frame_cropping_flag;
  50. 	//	if (frame_cropping_flag) {
  51. 	uint32_t frame_crop_left_offset;
  52. 	uint32_t frame_crop_right_offset;
  53. 	uint32_t frame_crop_top_offset;
  54. 	uint32_t frame_crop_bottom_offset;
  55. 	//	}
  56. 	uint32_t vui_parameters_present_flag;
  57. 	//	if (vui_parameters_present_flag) {
  58. 	NaluSpsVuiParameters vui_parameters;
  59. 	//	}
  60. } NaluSPS;

解析过程

  1. /// 解析SPS头信息
  2. bool parse_nalu_sps(uint8_t *sps_data, uint32_t sps_size, NaluSPS &sps) {
  3. 	if (sps_size < 4)
  4. 		return false;
  5.  
  6. 	/// 找到 SPS NAL 单元的起始位置
  7. 	int start_code_length = 0;
  8. 	if (sps_data[0] == 0 && sps_data[1] == 0 && sps_data[2] == 1) { // TODO: 00 00 01
  9. 		start_code_length = 3;
  10. 	} else if (sps_data[0] == 0 && sps_data[1] == 0 && sps_data[2] == 0 && sps_data[3] == 1) { // TODO: 00 00 00 01
  11. 		start_code_length = 4;
  12. 	} else if ((sps_data[0] & 0x1f) == 7) { // TODO: 继StartCode后第一个字节以 0x67 开头
  13. 		start_code_length = 0;
  14. 	} else {
  15. 		return false;
  16. 	}
  17. 	sps_data += start_code_length;
  18. 	sps_size -= start_code_length;
  19.  
  20. 	/// 标准文档里注明: SPS、PPS、SEI的解析，基于RBSP语法
  21. 	/// ITU-T Advanced Video Coding For Generic Audiovisual Services
  22. 	std::vector<uint8_t> rbsp = EBSP2RBSP(sps_data, (int)sps_size);
  23. 	bs_t *b = bs_new(rbsp.data(), rbsp.size());
  24.  
  25. 	/// Nalu Header
  26. 	uint32_t forbidden_zero_bit = bs_read_u(b, 1);
  27. 	uint32_t nal_ref_idc = bs_read_u(b, 2);
  28. 	uint32_t nal_unit_type = bs_read_u(b, 5);
  29.  
  30. 	NaluHeader nalu_header;
  31. 	nalu_header.nal_ref_idc = nal_ref_idc;
  32. 	nalu_header.nal_unit_type = nal_unit_type;
  33.  
  34. 	/// 序列参数集(SPS)-RBSP语法
  35. 	if (H264_NAL_SPS == (NAL_TYPE)nal_unit_type) {
  36. 		memset(&sps, 0, sizeof(NaluSPS));
  37. 		sps.profile_idc = bs_read_u8(b); // TODO: 当前H.264的编码配置, baseline(66) | main(77) | extended(88)
  38.         
  39. 		sps.constraint_set0_flag = bs_read_u(b, 1);
  40. 		sps.constraint_set1_flag = bs_read_u(b, 1);
  41. 		sps.constraint_set2_flag = bs_read_u(b, 1);
  42. 		sps.constraint_set3_flag = bs_read_u(b, 1);
  43. 		sps.constraint_set4_flag = bs_read_u(b, 1);
  44. 		sps.constraint_set5_flag = bs_read_u(b, 1);
  45. 		
  46. 		sps.reserved_zero_2bits = bs_read_u(b, 2);
  47. 		sps.level_idc = bs_read_u8(b);
  48. 		sps.seq_parameter_set_id = bs_read_ue(b);
  49. 		
  50. 		if (sps.profile_idc == 100 || sps.profile_idc == 110 || sps.profile_idc == 122 || sps.profile_idc == 244 || sps.profile_idc == 44 ||
  51. 		    sps.profile_idc == 83 || sps.profile_idc == 86 || sps.profile_idc == 118 || sps.profile_idc == 128 || sps.profile_idc == 138) {
  52.  
  53. 			sps.chroma_format_idc = bs_read_ue(b); 
  54. 			if (sps.chroma_format_idc == 3) {
  55. 				sps.residual_colour_transform_flag = bs_read_u(b, 1);
  56. 			}
  57.  
  58. 			sps.bit_depth_luma_minus8 = bs_read_ue(b);
  59. 			sps.bit_depth_chroma_minus8 = bs_read_ue(b);
  60. 			sps.qpprime_y_zero_transform_bypass_flag = bs_read_u(b, 1);
  61. 			sps.seq_scaling_matrix_present_flag = bs_read_u(b, 1);
  62.  
  63. 			if (sps.seq_scaling_matrix_present_flag) {
  64. 				uint32_t *ScalingList4x4[12];
  65. 				uint32_t UseDefaultScalingMatrix4x4Flag[12];
  66. 				uint32_t *ScalingList8x8[12];
  67. 				uint32_t UseDefaultScalingMatrix8x8Flag[12];
  68. 				for (int i = 0; i < ((sps.chroma_format_idc != 3) ? 8 : 12); i++) {
  69. 					sps.seq_scaling_list_present_flag[i] = bs_read_u(b, 1);
  70. 					if (sps.seq_scaling_list_present_flag[i]) {
  71. 						if (i < 6) {
  72. 							scaling_list(b, ScalingList4x4[i], 16, UseDefaultScalingMatrix4x4Flag[i]);
  73. 						} else {
  74. 							scaling_list(b, ScalingList8x8[i - 6], 64, UseDefaultScalingMatrix8x8Flag[i - 6]);
  75. 						}
  76. 					}
  77. 				}
  78. 			}
  79. 		}
  80.  
  81. 		sps.log2_max_frame_num_minus4 = bs_read_ue(b);
  82. 		sps.pic_order_cnt_type = bs_read_ue(b);
  83.  
  84. 		if (sps.pic_order_cnt_type == 0) {
  85. 			sps.log2_max_pic_order_cnt_lsb_minus4 = bs_read_ue(b);
  86. 		} else if (sps.pic_order_cnt_type == 1) {
  87. 			sps.delta_pic_order_always_zero_flag = bs_read_u(b, 1);
  88. 			sps.offset_for_non_ref_pic = bs_read_se(b);
  89. 			sps.offset_for_top_to_bottom_field = bs_read_se(b);
  90. 			sps.num_ref_frames_in_pic_order_cnt_cycle = bs_read_ue(b);
  91. 			for (int i = 0; i < sps.num_ref_frames_in_pic_order_cnt_cycle; i++) {
  92. 				sps.offset_for_ref_frame[i] = bs_read_se(b);
  93. 			}
  94. 		}
  95.  
  96. 		sps.max_num_ref_frames = bs_read_ue(b); // TODO: 参考帧的最大数目
  97. 		sps.gaps_in_frame_num_value_allowed_flag = bs_read_u(b, 1);
  98. 		sps.pic_width_in_mbs_minus1 = bs_read_ue(b);        // TODO: 用于计算图像的宽度,单位为宏块个数
  99. 		sps.pic_height_in_map_units_minus1 = bs_read_ue(b); // TODO: 度量视频中一帧图像的高度
  100. 		uint32_t width = (sps.pic_width_in_mbs_minus1 + 1) * 16;
  101. 		uint32_t height = (sps.pic_height_in_map_units_minus1 + 1) * 16;
  102. 		sps.frame_mbs_only_flag = bs_read_u(b, 1); // TODO: 宏块的编码方式
  103.  
  104. 		if (!sps.frame_mbs_only_flag) {
  105. 			sps.mb_adaptive_frame_field_flag = bs_read_u(b, 1);
  106. 		}
  107.  
  108. 		sps.direct_8x8_inference_flag = bs_read_u(b, 1);
  109. 		sps.frame_cropping_flag = bs_read_u(b, 1);
  110.  
  111. 		if (sps.frame_cropping_flag) {
  112. 			sps.frame_crop_left_offset = bs_read_ue(b);
  113. 			sps.frame_crop_right_offset = bs_read_ue(b);
  114. 			sps.frame_crop_top_offset = bs_read_ue(b);
  115. 			sps.frame_crop_bottom_offset = bs_read_ue(b);
  116. 		}
  117.  
  118. 		sps.vui_parameters_present_flag = bs_read_u(b, 1); // TODO: SPS中是否存在VUI信息?
  119. 		if (sps.vui_parameters_present_flag) {
  120. 			vui_parameters(b, sps);
  121. 		}
  122.  
  123. 		rbsp_trailing_bits(b);
  124. 	}
  125.  
  126. 	bs_free(b);
  127. 	return true;
  128. }

视频使用者信息（VUI）

vui_parameters 是视频编码中的一种参数，用于描述视频序列的附加信息，即视频使用者信息 (Video Usability Information)。vui_parameters 包含了与视频序列的使用和显示相关的配置信息，以提供更好的用户体验和兼容性。

vui_parameters 主要包括以下信息：

  • 宽高比 (aspect_ratio_info)：视频的显示宽高比，用于正确显示视频的宽高比例。
  • 颜色参数 (color_primaries、transfer_characteristics、matrix_coefficients)：视频的颜色空间信息，用于正确解释和显示视频的颜色。
  • 时间相关信息 (timing_info)：视频的时间参数，包括帧率和时间码等，用于正确解码和播放视频。
  • 视频信号范围 (video_signal_type_present_flag)：视频信号的范围，例如全范围或标准范围，用于正确显示视频的亮度和对比度。
  • 音频同步信息 (nal_hrd_parameters、vcl_hrd_parameters)：视频和音频之间的同步信息，确保音视频同步播放。

vui_parameters()

封装结构

  1. // Vui Parameters
  2. typedef struct {
  3. 	uint32_t aspect_ratio_info_present_flag;
  4. 	//	if(aspect_ratio_info_present_flag) {
  5. 	uint32_t aspect_ratio_idc;
  6. 	//		if (aspect_ratio_idc == Extended_SAR) {
  7. 	uint32_t sar_width;
  8. 	uint32_t sar_height;
  9. 	//		}
  10. 	//	}
  11. 	uint32_t overscan_info_present_flag;
  12. 	//	if (overscan_info_present_flag) {
  13. 	uint32_t overscan_appropriate_flag;
  14. 	//	}
  15. 	uint32_t video_signal_type_present_flag;
  16. 	//	if (video_signal_type_present_flag) {
  17. 	uint32_t video_format;
  18. 	uint32_t video_full_range_flag;
  19. 	uint32_t colour_description_present_flag;
  20. 	//		if (colour_description_present_flag) {
  21. 	uint32_t colour_primaries;
  22. 	uint32_t transfer_characteristics;
  23. 	uint32_t matrix_coefficients;
  24. 	//		}
  25. 	//	}
  26. 	uint32_t chroma_loc_info_present_flag;
  27. 	//	if (chroma_loc_info_present_flag) {
  28. 	uint32_t chroma_sample_loc_type_top_field;
  29. 	uint32_t chroma_sample_loc_type_bottom_field;
  30. 	//	}
  31. 	uint32_t timing_info_present_flag;
  32. 	//	if (timing_info_present_flag) {
  33. 	uint32_t num_units_in_tick;
  34. 	uint32_t time_scale;
  35. 	uint32_t fixed_frame_rate_flag;
  36. 	//	}
  37. 	uint32_t nal_hrd_parameters_present_flag;
  38. 	//	if (nal_hrd_parameters_present_flag) {
  39. 	NaluSpsHrdParameters nal_hrd_parameters_present;
  40. 	//	}
  41. 	uint32_t vcl_hrd_parameters_present_flag;
  42. 	//	if (vcl_hrd_parameters_present_flag) {
  43. 	NaluSpsHrdParameters vcl_hrd_parameters_present;
  44. 	//	}
  45. 	//	if (nal_hrd_parameters_present_flag || vcl_hrd_parameters_present_flag) {
  46. 	uint32_t low_delay_hrd_flag;
  47. 	//	}
  48. 	uint32_t pic_struct_present_flag;
  49. 	uint32_t bitstream_restriction_flag;
  50. 	//	if (bitstream_restriction_flag) {
  51. 	uint32_t motion_vectors_over_pic_boundaries_flag;
  52. 	uint32_t max_bytes_per_pic_denom;
  53. 	uint32_t max_bits_per_mb_denom;
  54. 	uint32_t log2_max_mv_length_horizontal;
  55. 	uint32_t log2_max_mv_length_vertical;
  56. 	uint32_t num_reorder_frames;
  57. 	uint32_t max_dec_frame_buffering;
  58. 	//	}
  59. } NaluSpsVuiParameters;

解析过程

  1. void vui_parameters(bs_t *b, NaluSPS &sps) {
  2. 	NaluSpsVuiParameters vui;
  3. 	memset(&vui, 0, sizeof(NaluSpsVuiParameters));
  4.  
  5. 	vui.aspect_ratio_info_present_flag = bs_read_u1(b);
  6. 	if (vui.aspect_ratio_info_present_flag) {
  7. 		vui.aspect_ratio_idc = bs_read_u8(b);
  8. 		if (vui.aspect_ratio_idc == 255) {
  9. 			vui.sar_width = bs_read_u(b, 16);
  10. 			vui.sar_height = bs_read_u(b, 16);
  11. 		}
  12. 	}
  13.  
  14. 	vui.overscan_info_present_flag = bs_read_u1(b);
  15. 	if (vui.overscan_info_present_flag) {
  16. 		vui.overscan_appropriate_flag = bs_read_u1(b);
  17. 	}
  18.  
  19. 	vui.video_signal_type_present_flag = bs_read_u1(b);
  20. 	if (vui.video_signal_type_present_flag) {
  21. 		vui.video_format = bs_read_u(b, 3);
  22. 		vui.video_full_range_flag = bs_read_u1(b);
  23.         
  24. 		vui.colour_description_present_flag = bs_read_u1(b);
  25. 		if (vui.colour_description_present_flag) {
  26. 			vui.colour_primaries = bs_read_u8(b);
  27. 			vui.transfer_characteristics = bs_read_u8(b);
  28. 			vui.matrix_coefficients = bs_read_u8(b);
  29. 		}
  30. 	}
  31.  
  32. 	vui.chroma_loc_info_present_flag = bs_read_u1(b);
  33. 	if (vui.chroma_loc_info_present_flag) {
  34. 		vui.chroma_sample_loc_type_top_field = bs_read_ue(b);
  35. 		vui.chroma_sample_loc_type_bottom_field = bs_read_ue(b);
  36. 	}
  37.  
  38. 	vui.timing_info_present_flag = bs_read_u1(b);
  39. 	if (vui.timing_info_present_flag) {
  40. 		vui.num_units_in_tick = bs_read_u(b, 32);
  41. 		vui.time_scale = bs_read_u(b, 32);
  42. 		vui.fixed_frame_rate_flag = bs_read_u1(b);
  43. 	}
  44.  
  45. 	vui.nal_hrd_parameters_present_flag = bs_read_u1(b);
  46. 	if (vui.nal_hrd_parameters_present_flag) {
  47. 		hrd_parameters(b);
  48. 	}
  49.  
  50. 	vui.vcl_hrd_parameters_present_flag = bs_read_u1(b);
  51. 	if (vui.vcl_hrd_parameters_present_flag) {
  52. 		hrd_parameters(b);
  53. 	}
  54.  
  55. 	if (vui.nal_hrd_parameters_present_flag || vui.vcl_hrd_parameters_present_flag) {
  56. 		vui.low_delay_hrd_flag = bs_read_u1(b);
  57. 	}
  58.  
  59. 	vui.pic_struct_present_flag = bs_read_u1(b);
  60.     
  61. 	vui.bitstream_restriction_flag = bs_read_u1(b);
  62. 	if (vui.bitstream_restriction_flag) {
  63. 		vui.motion_vectors_over_pic_boundaries_flag = bs_read_u1(b);
  64. 		vui.max_bytes_per_pic_denom = bs_read_ue(b);
  65. 		vui.max_bits_per_mb_denom = bs_read_ue(b);
  66. 		vui.log2_max_mv_length_horizontal = bs_read_ue(b);
  67. 		vui.log2_max_mv_length_vertical = bs_read_ue(b);
  68. 		vui.num_reorder_frames = bs_read_ue(b);
  69. 		vui.max_dec_frame_buffering = bs_read_ue(b);
  70. 	}
  71.  
  72. 	sps.vui_parameters = vui;
  73. }

假定参考解码器（HRD）

hrd_parameters 是视频编码中的一种参数，用于描述视频编码的恢复点检测相关的信息。HRD 是 Hypothetical Reference Decoder（假设参考解码器）的缩写，它定义了视频编码的比特率、缓冲区大小和相关的时间参数。

hrd_parameters 包含了视频编码过程中的控制和管理参数，用于确保编码后的视频流在解码时能够正确恢复，并保持一定的稳定性和适应性。

hrd_parameters 主要包括以下信息：

  • 比特率 (bit_rate)：视频编码的平均比特率。
  • 缓冲区大小 (cpb_size)：解码器的缓冲区大小，用于存储已解码和待解码的视频数据。
  • 初始缓冲区满度 (initial_cpb_fullness)：初始时解码器缓冲区的填充级别，通常以百分比表示。
  • 约束参数 (cpb_cnt_minus1、bit_rate_scale、cpb_size_scale)：用于计算实际的缓冲区大小和填充级别。

hrd_parameters()

封装结构

  1. typedef struct {
  2. 	uint32_t cpb_cnt_minus1;
  3. 	uint32_t bit_rate_scale;
  4. 	uint32_t cpb_size_scale;
  5. 	//	for( SchedSelIdx = 0; SchedSelIdx <= cpb_cnt_minus1; SchedSelIdx++ ) {
  6. 	uint32_t bit_rate_value_minus1[5];
  7. 	uint32_t cpb_size_value_minus1[5];
  8. 	uint32_t cbr_flag[5];
  9. 	//	}
  10. 	uint32_t initial_cpb_removal_delay_length_minus1;
  11. 	uint32_t cpb_removal_delay_length_minus1;
  12. 	uint32_t dpb_output_delay_length_minus1;
  13. 	uint32_t time_offset_length;
  14. } NaluSpsHrdParameters;

解析过程

  1. void hrd_parameters(bs_t *b, NaluSpsHrdParameters &out_hrd) {
  2. 	NaluSpsHrdParameters hrd;
  3. 	memset(&hrd, 0, sizeof(NaluSpsHrdParameters));
  4.  
  5. 	hrd.cpb_cnt_minus1 = bs_read_ue(b);
  6. 	hrd.bit_rate_scale = bs_read_u(b, 4);
  7. 	hrd.cpb_size_scale = bs_read_u(b, 4);
  8.     
  9. 	for (int SchedSelIdx = 0; SchedSelIdx <= hrd.cpb_cnt_minus1; SchedSelIdx++) {
  10. 		hrd.bit_rate_value_minus1[SchedSelIdx] = bs_read_ue(b);
  11. 		hrd.cpb_size_value_minus1[SchedSelIdx] = bs_read_ue(b);
  12. 		hrd.cbr_flag[SchedSelIdx] = bs_read_u1(b);
  13. 	}
  14. 	hrd.initial_cpb_removal_delay_length_minus1 = bs_read_u(b, 5);
  15. 	hrd.cpb_removal_delay_length_minus1 = bs_read_u(b, 5);
  16. 	hrd.dpb_output_delay_length_minus1 = bs_read_u(b, 5);
  17. 	hrd.time_offset_length = bs_read_u(b, 5);
  18. }

其他附录

scaling_list()

  1. /// 缩放比例列表
  2. void scaling_list(bs_t *b, uint32_t *scalingList, int sizeOfScalingList, uint32_t useDefaultScalingMatrixFlag) {
  3. 	int lastScale = 8;
  4. 	int nextScale = 8;
  5. 	for (int j = 0; j < sizeOfScalingList; j++) {
  6. 		if (nextScale != 0) {
  7. 			//!< delta_scale
  8. 			int32_t delta_scale = bs_read_se(b);
  9. 			nextScale = (lastScale + delta_scale + 256) % 256;
  10. 			useDefaultScalingMatrixFlag = (j == 0 && nextScale == 0);
  11. 		}
  12. 		scalingList[j] = (nextScale == 0) ? lastScale : nextScale;
  13. 		lastScale = (int)scalingList[j];
  14. 	}
  15. }

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/722328
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号