devbox
人工智能uu
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Python酷库之旅-第三方库Pandas(018)_pandas.qcut()后得到的categorical如何输出区间数组

作者：人工智能uu | 2024-07-29 11:04:15

赞

踩

pandas.qcut()后得到的categorical如何输出区间数组

目录

一、用法精讲

44、pandas.crosstab函数

44-1、语法

44-2、参数

44-3、功能

44-4、返回值

44-5、说明

44-6、用法

44-6-1、数据准备

44-6-2、代码示例

44-6-3、结果输出

45、pandas.cut函数

45-1、语法

45-2、参数

45-3、功能

45-4、返回值

45-5、说明

45-6、用法

45-6-1、数据准备

45-6-2、代码示例

45-6-3、结果输出 

46、pandas.qcut函数

46-1、语法

46-2、参数

46-3、功能

46-4、返回值

46-5、说明

46-6、用法

46-6-1、数据准备

46-6-2、代码示例

46-6-3、结果输出

二、推荐阅读

1、Python筑基之旅

2、Python函数之旅

3、Python算法之旅

4、Python魔法之旅

5、博客个人主页

一、用法精讲

44、pandas.crosstab函数
44-1、语法
  1. # 44、pandas.crosstab函数
  2. pandas.crosstab(index, columns, values=None, rownames=None, colnames=None, aggfunc=None, margins=False, margins_name='All', dropna=True, normalize=False)
  3. Compute a simple cross tabulation of two (or more) factors.
  4.  
  5. By default, computes a frequency table of the factors unless an array of values and an aggregation function are passed.
  6.  
  7. Parameters:
  8. index
  9. array-like, Series, or list of arrays/Series
  10. Values to group by in the rows.
  11.  
  12. columns
  13. array-like, Series, or list of arrays/Series
  14. Values to group by in the columns.
  15.  
  16. values
  17. array-like, optional
  18. Array of values to aggregate according to the factors. Requires aggfunc be specified.
  19.  
  20. rownames
  21. sequence, default None
  22. If passed, must match number of row arrays passed.
  23.  
  24. colnames
  25. sequence, default None
  26. If passed, must match number of column arrays passed.
  27.  
  28. aggfunc
  29. function, optional
  30. If specified, requires values be specified as well.
  31.  
  32. margins
  33. bool, default False
  34. Add row/column margins (subtotals).
  35.  
  36. margins_name
  37. str, default ‘All’
  38. Name of the row/column that will contain the totals when margins is True.
  39.  
  40. dropna
  41. bool, default True
  42. Do not include columns whose entries are all NaN.
  43.  
  44. normalize
  45. bool, {‘all’, ‘index’, ‘columns’}, or {0,1}, default False
  46. Normalize by dividing all values by the sum of values.
  47.  
  48. If passed ‘all’ or True, will normalize over all values.
  49.  
  50. If passed ‘index’ will normalize over each row.
  51.  
  52. If passed ‘columns’ will normalize over each column.
  53.  
  54. If margins is True, will also normalize margin values.
  55.  
  56. Returns:
  57. DataFrame
  58. Cross tabulation of the data.
44-2、参数

44-2-1、index(必须)：用于交叉表的行索引的数组或序列，这通常是DataFrame中的一列或多列，用于确定交叉表的行。

44-2-2、columns(必须)：用于交叉表的列索引的数组或序列，这同样是DataFrame中的一列或多列，用于确定交叉表的列。

44-2-3、values(可选，默认值为None)：如果提供，它应该是DataFrame中的一列，其值将根据aggfunc参数指定的函数进行聚合，以填充交叉表的单元格；如果不提供，则默认计算每个组合中的观测数(即计数)。

44-2-4、rownames/colnames(可选，默认值为None)：在较新版本的pandas中，这两个参数可能已被弃用或不再使用，它们原本用于为行和列索引提供自定义名称，但现在通常建议直接使用index和columns参数的列名作为行和列索引的名称。

44-2-5、aggfunc(可选，默认值为None)：用于聚合values参数指定的值的函数，如果values为None，则默认为'count'，即计算每个组合的观测数，其他函数有'sum'、'mean'、'max'、'min'等。

44-2-6、margins(可选，默认值为False)：布尔值，如果为True，则会在交叉表的末尾添加一个全行/全列，包含所有值的聚合(基于aggfunc)。

44-2-7、margins_name(可选，默认值为'All')：字符串，当margins=True时，用于命名全行/全列的标签。

44-2-8、dropna(可选，默认值为True)：布尔值，如果为True，则会从结果中删除包含缺失值的行或列(取决于index和columns中的缺失值)；如果为False，则包含缺失值的组合也会出现在交叉表中，但它们的值将取决于aggfunc和values的设置。

44-2-9、normalize(可选，默认值为False)：布尔值或字符串('index'或'columns')，如果为True，则会对值进行归一化处理，使得每个行(或列，取决于归一化方式)的总和等于1；如果为'index'，则对每行进行归一化；如果为'columns'，则对每列进行归一化。

44-3、功能

        用于创建交叉表(也称为列联表或频数表)。

44-4、返回值

        返回值是一个新的DataFrame，该DataFrame展示了基于index和columns参数指定的行和列索引的交叉表。

44-5、说明

44-5-1、如果未指定values和aggfunc参数，则交叉表中的值默认为每个组合的观测数量。

44-5-2、如果指定了values和aggfunc参数，则交叉表中的值是根据aggfunc指定的聚合函数对values中的值进行聚合得到的结果。

44-5-3、如果margins参数为True，则返回的DataFrame还会包含一个额外的全行和/或全列(取决于margins的具体设置)，用于显示所有行和/或列的总和。

44-5-4、如果normalize参数为True或'all'，则交叉表中的值会被归一化，使得每行或每列(或整个交叉表)的总和等于 1；如果normalize为'index'或'columns'，则分别对每行或每列进行归一化。

44-6、用法
44-6-1、数据准备
无
44-6-2、代码示例
  1. # 44、pandas.crosstab函数
  2. import pandas as pd
  3. import numpy as np
  4. # 创建一个示例数据集
  5. data = {
  6.     'Date': pd.date_range('2023-01-01', periods=6, freq='D'),
  7.     'City': ['New York', 'Los Angeles', 'New York', 'Los Angeles', 'New York', 'Los Angeles'],
  8.     'Category': ['A', 'A', 'B', 'B', 'A', 'B'],
  9.     'Values': [100, 200, 150, 250, np.nan, 300]
  10. }
  11. df = pd.DataFrame(data)
  12. print("原始数据集:")
  13. print(df)
  14. # 使用crosstab函数创建交叉表
  15. crosstab_result = pd.crosstab(
  16.     index=[df['Date'], df['City']],
  17.     columns=df['Category'],
  18.     values=df['Values'],
  19.     rownames=['Date', 'City'],
  20.     colnames=['Category'],
  21.     aggfunc='sum',
  22.     margins=True,
  23.     margins_name='All',
  24.     dropna=True,
  25.     normalize=False
  26. )
  27. print("\ncrosstab结果:")
  28. print(crosstab_result)
44-6-3、结果输出
  1. # 44、pandas.crosstab函数
  2. # 原始数据集:
  3. #         Date         City Category  Values
  4. # 0 2023-01-01     New York        A   100.0
  5. # 1 2023-01-02  Los Angeles        A   200.0
  6. # 2 2023-01-03     New York        B   150.0
  7. # 3 2023-01-04  Los Angeles        B   250.0
  8. # 4 2023-01-05     New York        A     NaN
  9. # 5 2023-01-06  Los Angeles        B   300.0
  10.  
  11. # crosstab结果:
  12. # Category                             A      B     All
  13. # Date                City                             
  14. # 2023-01-01 00:00:00 New York     100.0    NaN   100.0
  15. # 2023-01-02 00:00:00 Los Angeles  200.0    NaN   200.0
  16. # 2023-01-03 00:00:00 New York       NaN  150.0   150.0
  17. # 2023-01-04 00:00:00 Los Angeles    NaN  250.0   250.0
  18. # 2023-01-05 00:00:00 New York       0.0    NaN     NaN
  19. # 2023-01-06 00:00:00 Los Angeles    NaN  300.0   300.0
  20. # All                              300.0  700.0  1000.0
45、pandas.cut函数
45-1、语法
  1. # 45、pandas.cut函数
  2. pandas.cut(x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False, duplicates='raise', ordered=True)
  3. Bin values into discrete intervals.
  4.  
  5. Use cut when you need to segment and sort data values into bins. This function is also useful for going from a continuous variable to a categorical variable. For example, cut could convert ages to groups of age ranges. Supports binning into an equal number of bins, or a pre-specified array of bins.
  6.  
  7. Parameters:
  8. x
  9. array-like
  10. The input array to be binned. Must be 1-dimensional.
  11.  
  12. bins
  13. int, sequence of scalars, or IntervalIndex
  14. The criteria to bin by.
  15.  
  16. int : Defines the number of equal-width bins in the range of x. The range of x is extended by .1% on each side to include the minimum and maximum values of x.
  17.  
  18. sequence of scalars : Defines the bin edges allowing for non-uniform width. No extension of the range of x is done.
  19.  
  20. IntervalIndex : Defines the exact bins to be used. Note that IntervalIndex for bins must be non-overlapping.
  21.  
  22. right
  23. bool, default True
  24. Indicates whether bins includes the rightmost edge or not. If right == True (the default), then the bins [1, 2, 3, 4] indicate (1,2], (2,3], (3,4]. This argument is ignored when bins is an IntervalIndex.
  25.  
  26. labels
  27. array or False, default None
  28. Specifies the labels for the returned bins. Must be the same length as the resulting bins. If False, returns only integer indicators of the bins. This affects the type of the output container (see below). This argument is ignored when bins is an IntervalIndex. If True, raises an error. When ordered=False, labels must be provided.
  29.  
  30. retbins
  31. bool, default False
  32. Whether to return the bins or not. Useful when bins is provided as a scalar.
  33.  
  34. precision
  35. int, default 3
  36. The precision at which to store and display the bins labels.
  37.  
  38. include_lowest
  39. bool, default False
  40. Whether the first interval should be left-inclusive or not.
  41.  
  42. duplicates
  43. {default ‘raise’, ‘drop’}, optional
  44. If bin edges are not unique, raise ValueError or drop non-uniques.
  45.  
  46. ordered
  47. bool, default True
  48. Whether the labels are ordered or not. Applies to returned types Categorical and Series (with Categorical dtype). If True, the resulting categorical will be ordered. If False, the resulting categorical will be unordered (labels must be provided).
  49.  
  50. Returns:
  51. out
  52. Categorical, Series, or ndarray
  53. An array-like object representing the respective bin for each value of x. The type depends on the value of labels.
  54.  
  55. None (default) : returns a Series for Series x or a Categorical for all other inputs. The values stored within are Interval dtype.
  56.  
  57. sequence of scalars : returns a Series for Series x or a Categorical for all other inputs. The values stored within are whatever the type in the sequence is.
  58.  
  59. False : returns an ndarray of integers.
  60.  
  61. bins
  62. numpy.ndarray or IntervalIndex.
  63. The computed or specified bins. Only returned when retbins=True. For scalar or sequence bins, this is an ndarray with the computed bins. If set duplicates=drop, bins will drop non-unique bin. For an IntervalIndex bins, this is equal to bins.
45-2、参数

45-2-1、x(必须)：输入的数组或序列，包含要分组的连续数据。

45-2-2、bins(必须)：区间边界的数组或序列，如果bins是一个整数，函数会自动生成从x.min()到x.max()的等宽区间，区间数量为bins(注意，这会导致bins-1个区间)；如果bins是一个序列，它将被解释为区间的边界，并定义每个区间的开放或闭合。

45-2-3、right(可选，默认值为True)：布尔值，如果为True，则区间是右闭的(即每个区间包括右端点)；如果为False，则区间是左闭的(即每个区间包括左端点)。

45-2-4、labels(可选，默认值为None)：用于标记输出类别的数组或序列，如果给定，它必须与生成的区间数量相同；如果未提供，则使用默认标签，如[(0, 1], (1, 2], ...。

45-2-5、retbins(可选，默认值为False)：布尔值，如果为True，则返回区间边界数组和分类数组。

45-2-6、precision(可选，默认值为3)：整数，用于设置返回区间标签的浮点数精度。只有当bins是整数且labels未指定时，此参数才有效。

45-2-7、include_lowest(可选，默认值为False)：布尔值，如果为True，则第一个区间将包括其左边界，这对于不均匀的bins或当bins的第一个值大于x的最小值时特别有用。

45-2-8、duplicates(可选，默认值为'raise')：{'raise', 'drop'}，如果bins包含重复值，则：

45-2-8-1、'raise'：引发ValueError。
45-2-8-2、'drop'：删除重复值，但仅保留第一个出现的值。

45-2-9、ordered(可选，默认值为True)：布尔值，如果为True，则返回的Categorical对象是有序的，这对于后续的数据分析(如排序)很重要。

45-3、功能

        将连续的数值型数据按照指定的区间(或称为“桶”)进行分割，从而将连续的数值变量转换为离散的类别变量，这在数据分析和机器学习的特征工程中尤其有用，因为它可以帮助揭示不同区间内的数据分布特征，或者简化模型的输入。

45-4、返回值

45-4-1、当不设置retbins=True时，pandas.cut函数返回一个Categorical对象，该对象包含了输入数据 x 中每个值所属的区间标签，Categorical对象是一种特殊的pandas数据类型，用于表示固定数量的类别，且这些类别是有序的(如果ordered=True)。

45-4-2、当设置retbins=True时，pandas.cut函数除了返回上述的Categorical对象外，还会额外返回一个数组，该数组包含了用于划分区间的边界值，这允许用户同时获取区间标签和区间边界，便于后续的数据处理和分析。

45-5、说明

        无

45-6、用法
45-6-1、数据准备
无
45-6-2、代码示例
  1. # 45、pandas.cut函数
  2. import pandas as pd
  3. # 创建一个示例数据集
  4. data = {
  5.     'Age': [22, 25, 45, 33, 50, 41, 23, 37, 29, 31, 35, 48, 52, 44, 27]
  6. }
  7. df = pd.DataFrame(data)
  8. print("原始数据集:")
  9. print(df)
  10. # 定义区间
  11. bins = [20, 30, 40, 50, 60]
  12. # 使用cut函数将年龄分割成不同的区间
  13. df['Age Group'] = pd.cut(
  14.     x=df['Age'],
  15.     bins=bins,
  16.     right=True,
  17.     labels=['20-30', '30-40', '40-50', '50-60'],
  18.     retbins=False,
  19.     precision=0,
  20.     include_lowest=True,
  21.     duplicates='raise',
  22.     ordered=True
  23. )
  24. print("\n分割后的数据集:")
  25. print(df)
45-6-3、结果输出 
  1. # 45、pandas.cut函数
  2. # 原始数据集:
  3. #     Age
  4. # 0    22
  5. # 1    25
  6. # 2    45
  7. # 3    33
  8. # 4    50
  9. # 5    41
  10. # 6    23
  11. # 7    37
  12. # 8    29
  13. # 9    31
  14. # 10   35
  15. # 11   48
  16. # 12   52
  17. # 13   44
  18. # 14   27
  19.  
  20. # 分割后的数据集:
  21. #     Age Age Group
  22. # 0    22     20-30
  23. # 1    25     20-30
  24. # 2    45     40-50
  25. # 3    33     30-40
  26. # 4    50     40-50
  27. # 5    41     40-50
  28. # 6    23     20-30
  29. # 7    37     30-40
  30. # 8    29     20-30
  31. # 9    31     30-40
  32. # 10   35     30-40
  33. # 11   48     40-50
  34. # 12   52     50-60
  35. # 13   44     40-50
  36. # 14   27     20-30
46、pandas.qcut函数
46-1、语法
  1. # 46、pandas.qcut函数
  2. pandas.qcut(x, q, labels=None, retbins=False, precision=3, duplicates='raise')
  3. Quantile-based discretization function.
  4.  
  5. Discretize variable into equal-sized buckets based on rank or based on sample quantiles. For example 1000 values for 10 quantiles would produce a Categorical object indicating quantile membership for each data point.
  6.  
  7. Parameters:
  8. x
  9. 1d ndarray or Series
  10. q
  11. int or list-like of float
  12. Number of quantiles. 10 for deciles, 4 for quartiles, etc. Alternately array of quantiles, e.g. [0, .25, .5, .75, 1.] for quartiles.
  13.  
  14. labels
  15. array or False, default None
  16. Used as labels for the resulting bins. Must be of the same length as the resulting bins. If False, return only integer indicators of the bins. If True, raises an error.
  17.  
  18. retbins
  19. bool, optional
  20. Whether to return the (bins, labels) or not. Can be useful if bins is given as a scalar.
  21.  
  22. precision
  23. int, optional
  24. The precision at which to store and display the bins labels.
  25.  
  26. duplicates
  27. {default ‘raise’, ‘drop’}, optional
  28. If bin edges are not unique, raise ValueError or drop non-uniques.
  29.  
  30. Returns:
  31. out
  32. Categorical or Series or array of integers if labels is False
  33. The return type (Categorical or Series) depends on the input: a Series of type category if input is a Series else Categorical. Bins are represented as categories when categorical data is returned.
  34.  
  35. bins
  36. ndarray of floats
  37. Returned only if retbins is True.
  38.  
  39. Notes
  40.  
  41. Out of bounds values will be NA in the resulting Categorical object
46-2、参数

46-2-1、x(必须)：要分箱(或分桶)的一维数组或类似数组的对象。

46-2-2、q(必须)：int或array-like of quantiles，如果是一个整数，它表示要分成的箱(或桶)的数量；如果是一个数组，则必须包含从0到1的浮点数，表示分位数。例如[0, 0.25, 0.5, 0.75, 1.]会将数据分成四个等宽的区间(或尽量等宽)。

46-2-3、labels(可选，默认值为None)：用于指定每个箱(或桶)的标签，如果为None(默认值)，则会自动生成标签(通常是基于整数索引的)；如果为False，则不返回标签；如果提供了数组，其长度必须与生成的箱数相同。

46-2-4、retbins(可选，默认值为False)：如果为True，则返回用于分箱的边界数组(即每个箱的最小值和下一个箱的最小值之间的值，除了最后一个箱，其边界是无穷大)。

46-2-5、precision(可选，默认值为3)：控制内部计算的精度，更高的精度可以减少由浮点数舍入引起的误差，但可能会增加计算时间。

46-2-6、duplicates(可选，默认值为'raise')：如果q参数中有重复的分位数，并且duplicates='raise'(默认值)，则会抛出错误；如果duplicates='drop'，则忽略重复的分位数。

46-3、功能

        用于将连续数据根据分位数划分成等频(或近似等频)区间的重要工具，其功能和返回值可以归纳如下：

46-3-1、等频分箱：pandas.qcut函数基于数据的分位数进行分箱，确保每个箱(或桶)中的样本数量大致相等(在可能的情况下)，这对于需要平衡各个类别中样本数量的场景特别有用。

46-3-2、自定义分位数：除了将数据等频分箱外，用户还可以通过指定q参数中的分位数数组来自定义分箱方式，从而实现更精细的数据划分。

46-3-3、数据离散化：在数据预处理和特征工程中，pandas.qcut函数常用于将连续变量离散化，以便进行后续的分析、建模或可视化。

46-4、返回值

46-4-1、如果retbins=False(默认值)，则返回两个对象：

46-4-1-1、bins：一个与x形状相同的分类数组(Categorical dtype)，表示每个元素所属的箱(或桶)。

46-4-1-2、labels(如果指定了)：一个数组，包含每个箱(或桶)的标签。

46-4-2、如果retbins=True，则返回三个对象：

46-4-2-1、bins ：与x形状相同的分类数组。

46-4-2-2、labels(如果指定了)：一个数组，包含每个箱(或桶)的标签。

46-4-2-3、bin_edges：一个数组，表示箱(或桶)的边界。

46-5、说明

        无

46-6、用法
46-6-1、数据准备
无
46-6-2、代码示例
  1. # 46、pandas.qcut函数
  2. import pandas as pd
  3. # 创建一个示例数据集
  4. data = {
  5.     'Age': [22, 25, 45, 33, 50, 41, 23, 37, 29, 31, 35, 48, 52, 44, 27]
  6. }
  7. df = pd.DataFrame(data)
  8. print("原始数据集:")
  9. print(df)
  10. # 使用qcut函数将年龄按分位数分割成四个区间
  11. df['Age Group'] = pd.qcut(
  12.     x=df['Age'],
  13.     q=4,
  14.     labels=['Q1', 'Q2', 'Q3', 'Q4'],
  15.     retbins=False,
  16.     precision=3,
  17.     duplicates='raise'
  18. )
  19. print("\n按分位数分割后的数据集:")
  20. print(df)
46-6-3、结果输出
  1. # 46、pandas.qcut函数
  2. # 原始数据集:
  3. #     Age
  4. # 0    22
  5. # 1    25
  6. # 2    45
  7. # 3    33
  8. # 4    50
  9. # 5    41
  10. # 6    23
  11. # 7    37
  12. # 8    29
  13. # 9    31
  14. # 10   35
  15. # 11   48
  16. # 12   52
  17. # 13   44
  18. # 14   27
  19.  
  20. # 按分位数分割后的数据集:
  21. #     Age Age Group
  22. # 0    22        Q1
  23. # 1    25        Q1
  24. # 2    45        Q4
  25. # 3    33        Q2
  26. # 4    50        Q4
  27. # 5    41        Q3
  28. # 6    23        Q1
  29. # 7    37        Q3
  30. # 8    29        Q2
  31. # 9    31        Q2
  32. # 10   35        Q2
  33. # 11   48        Q4
  34. # 12   52        Q4
  35. # 13   44        Q3
  36. # 14   27        Q1

二、推荐阅读

1、Python筑基之旅
2、Python函数之旅
3、Python算法之旅
4、Python魔法之旅
5、博客个人主页
本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/人工智能uu/article/detail/898465
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号