pandas数据分析-2012美国大选献金项目数据分析

python pandas

Posted by MetaNetworks on September 8, 2020
本页面总访问量

需求

  • 加载数据
  • 查看数据的基本信息
  • 指定数据截取,将如下字段的数据进行提取,其他数据舍弃
    • cand_nm :候选人姓名
    • contbr_nm : 捐赠人姓名
    • contbr_st :捐赠人所在州
    • contbr_employer : 捐赠人所在公司
    • contbr_occupation : 捐赠人职业
    • contb_receipt_amt :捐赠数额(美元)
    • contb_receipt_dt : 捐款的日期
  • 对新数据进行总览,查看是否存在缺失数据
  • 用统计学指标快速描述数值型属性的概要。
  • 空值处理。可能因为忘记填写或者保密等等原因,相关字段出现了空值,将其填充为NOT PROVIDE
  • 异常值处理。将捐款金额<=0的数据删除
  • 新建一列为各个候选人所在党派party
  • 查看party这一列中有哪些不同的元素
  • 统计party列中各个元素出现次数
  • 查看各个党派收到的政治献金总数contb_receipt_amt
  • 查看具体每天各个党派收到的政治献金总数contb_receipt_amt
  • 将表中日期格式转换为’yyyy-mm-dd’。
  • 查看老兵(捐献者职业)DISABLED VETERAN主要支持谁

预设项

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#方便大家操作,将月份和参选人以及所在政党进行定义:
months = {'JAN' : 1, 'FEB' : 2, 'MAR' : 3, 'APR' : 4, 'MAY' : 5, 'JUN' : 6,
          'JUL' : 7, 'AUG' : 8, 'SEP' : 9, 'OCT': 10, 'NOV': 11, 'DEC' : 12}

parties = {
  'Bachmann, Michelle': 'Republican',
  'Romney, Mitt': 'Republican',
  'Obama, Barack': 'Democrat',
  "Roemer, Charles E. 'Buddy' III": 'Reform',
  'Pawlenty, Timothy': 'Republican',
  'Johnson, Gary Earl': 'Libertarian',
  'Paul, Ron': 'Republican',
  'Santorum, Rick': 'Republican',
  'Cain, Herman': 'Republican',
  'Gingrich, Newt': 'Republican',
  'McCotter, Thaddeus G': 'Republican',
  'Huntsman, Jon': 'Republican',
  'Perry, Rick': 'Republican'           
 }

加载数据、查看数据

  • read_csv
1
2
df = pd.read_csv('./data/usa_election.txt')
df.info()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 536041 entries, 0 to 536040
Data columns (total 16 columns):
 #   Column             Non-Null Count   Dtype  
---  ------             --------------   -----  
 0   cmte_id            536041 non-null  object 
 1   cand_id            536041 non-null  object 
 2   cand_nm            536041 non-null  object 
 3   contbr_nm          536041 non-null  object 
 4   contbr_city        536026 non-null  object 
 5   contbr_st          536040 non-null  object 
 6   contbr_zip         535973 non-null  object 
 7   contbr_employer    525088 non-null  object 
 8   contbr_occupation  530520 non-null  object 
 9   contb_receipt_amt  536041 non-null  float64
 10  contb_receipt_dt   536041 non-null  object 
 11  receipt_desc       8479 non-null    object 
 12  memo_cd            49718 non-null   object 
 13  memo_text          52740 non-null   object 
 14  form_tp            536041 non-null  object 
 15  file_num           536041 non-null  int64  
dtypes: float64(1), int64(1), object(14)
memory usage: 65.4+ MB

指定数据截取,将如下字段的数据进行提取,其他数据舍弃

1
trimmed_data = df[['cand_nm','contbr_nm','contbr_st','contbr_employer','contbr_occupation','contb_receipt_amt','contb_receipt_dt']]

对新数据进行总览,查看是否存在缺失数据

1
trimmed_data.isnull().any(axis=0)
1
2
3
4
5
6
7
8
cand_nm              False
contbr_nm            False
contbr_st             True
contbr_employer       True
contbr_occupation     True
contb_receipt_amt    False
contb_receipt_dt     False
dtype: bool

用统计学指标快速描述数值型属性的概要

1
trimmed_data.describe()

空值处理。可能因为忘记填写或者保密等等原因,相关字段出现了空值,将其填充为NOT PROVIDE

1
2
trimmed_data.fillna(value='NOT PROVIDE',inplace=True)
trimmed_data.isnull().any(axis=0)
1
2
3
4
5
6
7
8
9
# 结果
cand_nm              False
contbr_nm            False
contbr_st            False
contbr_employer      False
contbr_occupation    False
contb_receipt_amt    False
contb_receipt_dt     False
dtype: bool

异常值处理。将捐款金额<=0的数据删除

1
trimmed_data = trimmed_data.loc[~(trimmed_data['contb_receipt_amt'] <= 0)]

或者drop

1
2
dropped_index = trimmed_data.loc[trimmed_data["contb_receipt_amt"] <= 0].index
trimmed_data.drop(labels=dropped_index,axis=0,inplace=True) 

统计party列中各个元素出现次数

  • 使用value_counts()
1
trimmed_data['party'].value_counts()
1
2
3
4
5
Democrat       289999
Republican     234300
Reform           5313
Libertarian       702
Name: party, dtype: int64

查看各个党派收到的政治献金总数contb_receipt_amt

1
trimmed_data.groupby(by='party')['contb_receipt_amt'].sum()
1
2
3
4
5
6
party
Democrat       8.259441e+07
Libertarian    4.132769e+05
Reform         3.429658e+05
Republican     1.251181e+08
Name: contb_receipt_amt, dtype: float64

查看具体每天各个党派收到的政治献金总数contb_receipt_amt

1
trimmed_data.groupby(by=['contb_receipt_dt','party'])['contb_receipt_amt'].sum()

将表中日期格式转换为’yyyy-mm-dd’

  • 使用map,自定义处理函数即可
  • 使用预设项保存的值
1
2
3
4
5
6
7
# 将表中日期格式转换为'yyyy-mm-dd'。
# 20-JUN-11
def translate(s):
    d = s.split("-")
    d[1] = months[d[1]]
    return "20"+str(d[2])+"-"+str(d[1])+"-"+str(d[0])
trimmed_data["contb_receipt_dt"] = trimmed_data["contb_receipt_dt"].map(translate)

查看老兵(捐献者职业)DISABLED VETERAN主要支持谁

  • 谁💰越多就支持谁(太真实了)
  1. 选出老兵
1
retired_soidier = trimmed_data.loc[trimmed_data['contbr_occupation'] == 'DISABLED VETERAN']
  1. 分组聚合捐钱数
1
retired_soidier.groupby(by='cand_nm')['contb_receipt_amt'].sum()
1
2
3
4
5
6
cand_nm
Cain, Herman       300.00
Obama, Barack     4205.00
Paul, Ron         2425.49
Santorum, Rick     250.00
Name: contb_receipt_amt, dtype: float64

统计老兵捐赠不同候选人的捐赠次数

1
retired_soidier['cand_nm'].value_counts()
1
2
3
4
5
Obama, Barack     32
Paul, Ron         22
Cain, Herman       3
Santorum, Rick     3
Name: cand_nm, dtype: int64