[文本处理] 【已解决】批处理如何批量删除一个文件夹内所有文本的重复行？

ysrr2011

请问如何批量删除一个文件夹内所有文本的重复行，可以覆盖原文件名。

34205

@echo off
Mode con: cols=42 lines=9

:GO
echo =======说明区========
Echo 根据2.txt  里的内容行    删除1.txt里的 行内容
echo =======代码区========
Md temp\
cd /d temp\
echo 192.168.1.1 admin1 passwd1 >>测试A.txt
echo 192.168.2.1 admin2 passwd2 >>测试A.txt
echo 192.168.3.1 admin3 passwd3 >>测试A.txt
echo 192.168.4.1 admin4 passwd4 >>测试A.txt
echo 192.168.5.1 admin5 passwd5 >>测试A.txt

echo 192.168.4.1 admin4 passwd4 >>测试B.txt
echo 192.168.2.1 admin2 passwd2 >>测试B.txt

:Set
findstr  /v /x /l /g:测试B.txt 测试A.txt >A多减B少得C.TXT

echo =======退出区=======
:Out
echo.
echo 退出.......
Ping -n 20 127.1>nul
exit /b

CrLf

@echo off
for %%a in (*.txt) do (
   gawk -F# "!a[$1]++" "%%a">tmp.$
   move /y tmp.$ "%%~nxa"
)
复制代码

ysrr2011

回复 2# DAIC


单个的有

gawk -F# "!a[$1]++" MLLC.txt>>MLLC0.txt
复制代码

而这个代码好像只有第一个文本结果正确

@echo off
for /f "delims=" %%a in ('dir /a-d /b *.txt') do (
  (for /f "usebackq delims=" %%b in ("%%a") do (
    if not defined .%%b echo,%%b&set ".%%b=1"
  ))>$
  move $ "%%a"
)
pause
复制代码

DAIC

删除一个文件的重复行你会吗？
我可以帮你改成处理一个文件夹的