python数据导入之导入各类文件方法
python数据导入之导入各类文件方法
01、csv的导入方法
1、如果数据是很规范的那种的话，而且文件不算太大的话，可以用以下代码导入即可：
import pandas as pd
csv_data = pd.read_csv(filename)
df = pd.read_csv(filename,';')
df = pd.read_csv(filename,';',encoding='GBK')
2、适合数据量大，且你需要在导入的每行中再批量处理每一行的数据
import csv
filename='/Users/Betty/Desktop/data_output.csv'
data = []
with open(filename,'r') as csvfile:
csv_reader = csv.reader(csvfile)
data_name = next(csv_reader)
for row in csv_reader:
data.append(row)
df = pd.DataFrame(data[1:], columns=data_name)
3、如果你的数据量特别大，一启动就怕卡机，那可以先用代码看下每一行长什么样子，测试下数据处理的步骤，
可以用以下代码，只读一行：
import csv
with open('data.csv', 'r') as f:
reader = csv.reader(f)
result = list(reader)
print(result[1])
4、如果你的数据纬度很多，不想读那么多列，可以用以下方式读其中一列或者多列
import csv
with open('A.csv','rb') as csvfile:
reader = csv.reader(csvfile)
column = [row[2] for row in reader]
5、那么假设你拿到的数据是那种json格式放在csv里面的怎么办
import csv
filename='/Users/Betty/Desktop/data_output.csv'
data = []
with open(filename,'r') as csvfile:
csv_reader = csv.reader(csvfile)
data_name = next(csv_reader)
for row in csv_reader:
row=json.loads(row)
data.append(row)
02、txt导入方法
1、txt也可以一句话读，但是读进来的数据会变成一个str格式的数据，假设你的数据是一段话，那么可以用这个方法要是是一行一行的文本数据，你就乖乖上面用哪个中一行一行读的，你的数据是数值数据可以用loadtxt读
with open("/Users/Betty/Downloads/train.txt", "r") as f:
data=f.read()
你的数据是数值数据可以用loadtxt读，直接是一个dataframe
import numpy as np
data=np.loadtxt("/Users/Betty/Downloads/train.txt")
2、但是你还是觉得上面的方法很麻烦，那就可以用pandas导入，这个方法的导入直接就是dataframe(),适合不需要怎么特殊处理，毕竟规整的数据。
import pandas as pd
data=pd.read_table("/Users/Betty/Downloads/train.txt")
3、如果你的数据量特别大，那么就需要用open了，因为上面哪种方法，数据量大一点就会很卡，很卡，很卡，那么这里要注意readline和readlines的区别，readline是读一行，在with open 下面第一句，意味着，txt数据第一行为变量名，可以用这个语句保留变量名，等下你转dataframe的时候可以用。readlines则读的是多行，所以需要for循环出数据
with open("test.txt", "r") as f:
title_name = f.readline()
for line in f.readlines():
line = line.strip('n')
print(line)
03、xls导入方法
1、这种方法适合你只有一个sheet，读进去直接就是dataframe。
import pandas as pd
data=pd.read_excel('/Users/Betty/Downloads/excel2 (1).xls')
2、这个适合多个sheet,这里就基本语句，要循环，要变成函数，你就自己再加工哈。xls格式的表格，因为会涉及多个sheet,所以导入数据时，会麻烦一点点。
import xlrd
data = xlrd.open_workbook('/Users/Betty/Downloads/excel2 (1).xls')
data.sheet_names()
table = data.sheet_by_name('选择题')
data_total=[]
for k in range(table.nrows):
data_total.append(table.col_values(k))
往期推荐阅读：
自然语言处理之拼写纠错 一
谁说一定要开发帮你上线模型，你也可以
你绝对不知道的，nlp可以做用户行为分析
这是一份白嫖的文本分类代码
春节只能宅在家学习系列之NLP的那些场景
B站上那个不用钱的学习python的资源
相关知识
python数据导入之导入各类文件方法
Python之函数
如何训练自己的数据集之——电力设备缺陷检测数据集
机器学习之数据预处理（Python 实现）
以《线条的艺术表现力》一课为例，列举三种课堂导入方法，并说明美术教学中课堂导入的意义。
宠物数据分析图怎么做
python运行run在哪
太原理工大学python考试题总结
Python基于大数据技术的宠物商品信息比价及推荐系统
Python实现桌面挂件，做一只可爱的桌面宠物~
网址: python数据导入之导入各类文件方法 https://m.mcbbbk.com/newsview525777.html
| 上一篇: 行为类型分类 |
下一篇: 生物动物行为的主要类型介绍.pd |
