数据清洗之数据转换

数据清洗之数据转换

### 1.日期格式数据处理

import numpy as np

import pandas as pd

import os

os.chdir(r'F:CSDN课程内容代码和数据')

df = pd.read_csv('baby_trade_history.csv', encoding='utf-8',dtype={'user_id':str})

df.head(10)

# 对购买日期进行转换

df['buy_date'] = pd.to_datetime(df['day'],format='%Y%m%d',errors = 'coerce')#加errors防止报错

df.dtypes

# 可以提取对应年月日,必须为timestamp才可以，具体的时间点

df['buy_date'].dt.year

时间差

# 对时间进行计算

df['diff_day'] = pd.datetime.now() - df2['birthday']

df['diff_day'].head(5)

# 时间差由天数，小时和毫秒构成

# timedelta可以理解为时间差类型

df['diff_day'].dt.days# 提取天数

df['diff_day'].dt.seconds# 提取秒数

df['diff_day'].dt.microseconds# 提取毫秒数

# 可以使用pd.Timedelta进行转换

df['时间差'] = df['diff_day']/pd.Timedelta('1 D') #转换为天数

df['时间差'] = df['diff_day']/pd.Timedelta('1 M') #转换为分钟

df['时间差'].head(5)

df['时间差'].round(decimals=3)# 显示为3小数

df['diff_day'].astype('timedelta64[D]')# 这种方式也可以，M 代表月份数,D代表天数,Y代表年份

2. 字符串数据处理

df1 = pd.read_csv('MotorcycleData.csv',encoding='gbk')#摩托车信息

df1.head(5)

df1['Price'].str[0:4]# 字符串切片

将价格转换为float

df1['Price'].astype(float)

# 之间转换直接报错，需要进行字符串处理

df1['价格'] = df1['Price'].str.strip('$')#字符串相关方法

df1['价格'] = df1['价格'].str.replace(',','')

df1['价格'] = df1['价格'].astype(float)# 转换为float数据

df1.Model.head(5)

df1['Location'].str.split(',') # 使用字符串分割,用于对文本的处理

df1['Mileage'].str.len() #计算字符串长度

### 3. 高阶函数数据处理

df2 = pd.read_csv('sam_tianchi_mum_baby.csv',encoding = 'utf-8',dtype =str)#婴儿信息

def f(x):

if '0' in x:

return '女'

elif '1' in x :

return '男'

else:

return '未知'

# 0代表女，1代表男，2代表未知

df2['性别'] = df2['gender'].apply(f)

df2.head(4)

#使用map函数

df2['性别'] = df2['gender'].map({'0':'女','1':'男','2':'未知'})

df2['user_id'].apply(lambda x: x.replace(x[1:3],'**')) #结合lambda替换

df2['birthday'].apply(lambda x: str(x)[0:4]) #提取年份