在pandas里,DataFrame是最经常用的数据结构,这里总结生成和添加数据的方法:
①、把其他格式的数据整理到DataFrame中;
②在已有的DataFrame中插入N列或者N行。
1. 字典类型读取到DataFrame(dict to DataFrame)
假如我们在做实验的时候得到的数据是dict类型,为了方便之后的数据统计和计算,我们想把它转换为DataFrame,存在很多写法,这里简单介绍常用的几种:
方法一:直接使用pd.DataFrame(data=test_dict)
即可,括号中的data=
写不写都可以,具体如下:
1
2
3
4
5
|
test_dict = { 'id' :[ 1 , 2 , 3 , 4 , 5 , 6 ], 'name' :[ 'Alice' , 'Bob' , 'Cindy' , 'Eric' , 'Helen' , 'Grace ' ], 'math' :[ 90 , 89 , 99 , 78 , 97 , 93 ], 'english' :[ 89 , 94 , 80 , 94 , 94 , 90 ]} #[1].直接写入参数test_dict test_dict_df = pd.DataFrame(test_dict) #[2].字典型赋值 test_dict_df = pd.DataFrame(data = test_dict) |
那么,我们就得到了一个DataFrame,如下:
应该就是这个样子了。
方法二:使用from_dict
方法:
1
|
test_dict_df = pd.DataFrame.from_dict(test_dict) |
结果是一样的,不再重复贴图。
其他方法:如果你的dict变量很小,例如{'id':1,'name':'Alice'}
,你想直接写到括号里:
1
|
test_dict_df = pd.DataFrame({ 'id' : 1 , 'name' : 'Alice' }) # wrong style |
这样是不行的,会报错ValueError: If using all scalar values, you must pass an index
,是因为如果你提供的是一个标量,必须还得提供一个索引Index,所以你可以这么写:
1
|
test_dict_df = pd.DataFrame({ 'id' : 1 , 'name' : 'Alice' },pd.Index( range ( 1 ))) |
后面的可以写多个pd.Index(range(3)
,就会生成三行一样的,是因为前面的dict型变量只有一组值,如果有多个,后面的Index必须跟前面的数据组数一致,否则会报错:
1
|
pd.DataFrame({ 'id' :[ 1 , 2 ], 'name' :[ 'Alice' , 'Bob' ]},pd.Index( range ( 2 ))) #must be 2 in range function. |
关于选择列,有些时候我们只需要选择dict中部分的键当做DataFrame的列,那么我们可以使用columns参数,例如我们只选择'id','name'列:
1
|
test_dict_df = pd.DataFrame(data = test_dict,columns = [ 'id' , 'name' ]) #only choose 'id' and 'name' columns |
这里就不在多写了,后续变更颜色添加内容。
2. csv文件构建DataFrame(csv to DataFrame)
我们实验的时候数据一般比较大,而csv文件是文本格式的数据,占用更少的存储,所以一般数据来源是csv文件,从csv文件中如何构建DataFrame呢? txt文件一般也能用这种方法。
方法一:最常用的应该就是pd.read_csv('filename.csv')
了,用 sep
指定数据的分割方式,默认的是','
1
|
df = pd.read_csv( './xxx.csv' ) |
如果csv中没有表头,就要加入head
参数
3. 在已有的DataFrame中,增加N列或者N行
加入我们已经有了一个DataFrame,如下图:
3.1 添加列
此时我们又有一门新的课physics,我们需要为每个人添加这门课的分数,按照Index的顺序,我们可以使用insert方法,如下:
1
2
3
|
new_columns = [ 92 , 94 , 89 , 77 , 87 , 91 ] test_dict_df.insert( 2 , 'pyhsics' ,new_columns) #test_dict_df.insert(2,'pyhsics',new_columns,allow_duplicates=True) |
此时,就得到了添加好的DataFrame,需要注意的是DataFrame默认不允许添加重复的列,但是在insert函数中有参数allow_duplicates=True
,设置为True后,就可以添加重复的列了,列名也是重复的:
3.2 添加行
此时我们又来了一位新的同学Iric,需要在DataFrame中添加这个同学的信息,我们可以使用loc
方法:
1
2
|
new_line = [ 7 , 'Iric' , 99 ] test_dict_df.loc[ 6 ] = new_line |
但是十分注意的是,这样实际是改的操作,如果loc[index]中的index已经存在,则新的值会覆盖之前的值。
当然也可以把这些新的数据构建为一个新的DataFrame,然后两个DataFrame拼起来。可以用append方法,不过不太会用,提供一种方法:
1
|
test_dict_df.append(pd.DataFrame([new_line],columns = [ 'id' , 'name' , 'physics' ])) |
本想一口气把CURD全写完,没想到写到这里就好累。。。其他后续新开篇章在写吧。
相关代码:(https://github.com/dataSnail/blogCode/blob/master/python_curd/python_curd_create.ipynb)(在DataFrame中删除N列或者N行)(在DataFrame中查询某N列或者某N行)(在DataFrame中修改数据)
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持服务器之家。
原文链接:https://www.cnblogs.com/datasnail/p/9675410.html