使用python处理csv数据的常规做法

数据分析：Python的Pandas库数据处理 #生活知识# #编程教程#

1. 导入数据

2. 处理数据

3. 分析数据

1. 导入数据

在程序开始的地方，导入所有需要的包，这里是专门用来处理csv文件的包。如果是excel表格，可以把它的后缀改为.csv，后面处理方法则相同。

import csv

file_path = 'C:/Users/Mytest/test.csv'

file = open(file_path)

data = []

for i in file.readlines():

data.append(i)

file.close()

上面的file.readlines()就是把csv文件中的每一行都读出来。如果是file.readline(),则只会读首行出来。

另外，最后记得file.close()，养成良好的习惯。当然，也可以用with * open as*的方法。

2. 处理数据

现在我们把csv的数据一行行地读到了data这个列表里了。csv里数据有多少行，data的length就是多么大。

然后，先来清洗一下数据。

现在data[0]是一个尾端带'\n'的字符串。我们想把data的每一行都处理成像表格里一样，可以在上面读数据的程序中加入这么几行。

如下

new_data = []

for row in data:

tmp = row.strip('\n')

tmp = tmp.split(',')

new_data.append(tmp)

3. 分析数据

我们 拿到new_data后，可以初步分析数据了。比如，可以看它的长度，每一行的数据个数等等。还可以进一步清洗数据。

len_data = len(new_data)

len_element = len(len_data[0])

如果csv的第3列是数字类型的数据，我们想把new_data中对应的数据转换类型，可以如下操作：

for i in new_data:

tmp = i[2]

new_tmp = int(tmp)

i[2] = new_tmp

如果我们想把第3列中数值大于100的那一行数据提出来，可以再做如下操作：

select_data = []

for i in new_data:

if i[2]>100:

select_data.append(i) #这是复制了符合条件的整个行的数据到新的list里

后记：

为了更方便地处理数据，我们可以把select_data转换成numpy array格式。

import numpy as np

select_data1 = np.array(select_data)

select_data1.shape

更多学习资料，请关注下面的公众号：不定期分享

深度学习网络总结机器学习算法及其应用场景算法与数据结构（leetcode 题解）cuda编程与并行优化其他读书分享如：《战国策》，《智囊全集》宇宙常识科普与星座辨别等等

来自 <https://mp.csdn.net/mdeditor/102913743>

网址：使用python处理csv数据的常规做法 https://www.yuejiaxmz.com/news/view/242104

相关内容

大数据清洗随手记（一）
【源码】10 个用于日常自动化的 Python 脚本！
机器学习之数据预处理（Python 实现）
分享10个你可能会用到 Python 自动化项目，提升你的工作效率
十个Python脚本，轻松实现日常任务自动化
10个Python脚本，轻松实现日常任务自动化！
Python办公自动化：解锁高效工作流程，掌握文档处理的艺术
轻松实现日常任务自动化的6个Python脚本
数据挖掘：数据清洗——数据噪声处理
Python数据分析：对饮食与健康数据的分析与可视化

随便看看