Board logo

标题: [技术讨论] Python脚本删除文件中的重复行 [打印本页]

作者: Python    时间: 2012-3-31 21:11     标题: Python脚本删除文件中的重复行

本帖最后由 Python 于 2012-4-3 19:59 编辑

删除文件中的重复行:
  1. rFile = open('a.txt', 'r')
  2. wFile = open('b.txt', 'w')
  3. allLine = rFile.readlines()
  4. rFile.close()
  5. s = set()
  6. for i in allLine:
  7.     s.add(i)
  8. for i in s:
  9.     wFile.write(i)
复制代码
  1. open('b.txt', 'w').write(''.join(set(open('a.txt').readlines())))
复制代码
删除文件中的重复行并保持原来的顺序:
  1. rFile = open("a.txt", "r")
  2. wFile = open("b.txt", "w")
  3. allLine = rFile.readlines()
  4. rFile.close()
  5. h = {}
  6. for i in allLine:
  7.     if not h.has_key(i):
  8.         h[i]=1
  9.         wFile.write(i)
  10. wFile.close()
复制代码
  1. lines, sorted = open('a.txt', 'r').readlines(), lambda a, cmp: a.sort(cmp=cmp) or a
  2. open('b.txt', 'w').write(''.join([i[0] for i in sorted([(j, lines.index(j)) for j in set(lines)], lambda a,b: a[1]-b[1] )]))
复制代码
  1. h,r,w ={}, file('a.txt'), file('b.txt','w')
  2. w.write(reduce(lambda x,y:x+y, [i for i in r if h.get(i)==None and h.setdefault(i, True)]))
复制代码
  1. s = []
  2. [ s.append(k) for k in open('a.txt') if k not in s ]
  3. open('b.txt', 'w').write(''.join(s))
复制代码
看看各位大湿还有没有其它方法
作者: ivor    时间: 2012-4-3 16:32

本帖最后由 ivor 于 2012-4-3 17:02 编辑

办法都让你写出来了

第一个例子,python3.2版本运行需更改为
  1. rFile.close()
复制代码

作者: Python    时间: 2012-4-3 20:00

回复 2# ivor


嗯,更新了一下顶楼的代码,省的后面再有人提这茬




欢迎光临 批处理之家 (http://bathome.net./) Powered by Discuz! 7.2