检查重复数据行:

duplicated()方法

删除重复数据行:

指定某一列进行判断重复然后删除:

在默认情况下删除的时候是保留第一个出现的行,如果想要保留最后出现的那个数据,可以新增参数keep=’last’,如果都不要保留,keep=False