[文本处理] [已解决]求助BAT批量合并同一目录下的所有txt文本，去除重复，去除空行

gater

求助批量合并同一目录下的所有txt文本，去除重复，去除空行！

比如：
a.txt内容
aaa

bbb

33333.txt内容
bbb
ccc

求一批处理，使运行后生成c.txt
c.txt内容
aaa
bbb
ccc
主要是去掉重复的内容，去掉空行，

pcl_test

回复 1# gater

@echo off
for /f "delims=" %%a in ('dir /a-d /b /on *.txt') do (
for /f "delims=" %%b in ('type "%%a"') do (
if not defined %%b set %%b=Def & >>$ echo,%%b
)
)
move $ "合并.txt"
pause
复制代码

DAIC

@echo off
(for /f "delims=" %%a in ('dir /b /a-d *.txt') do (
    for /f "delims=" %%b in ('type "%%a"') do (
        if not defined %%b (
            set %%b=1
            echo,%%b
        )
    )
))>合并.txt
复制代码

CrLf

@echo off
(for /f "delims=" %%a in ('type *.txt' 2^>nul) do (
	if not defined %%b (
		set %%b=1
		echo,%%b
	)
))>合并.txt
复制代码

慕夜蓝化

@echo off
setlocal enabledelayedexpansion
(for %%i in (*.txt) do (
    for /f "usebackq delims=" %%a in ("%%i") do (
	    echo,%%a
    )
)) >%temp%\$
for /f "delims=" %%i in (%temp%\$) do (
	call :find "%%i"
)
pause

:find
find "%~1" "$1" >nul 2>nul||echo,%~1>>$1.txt&&goto :eof
goto :eof
复制代码

慕夜蓝化

@echo off
setlocal enabledelayedexpansion
(for %%i in (*.txt) do (
    for /f "usebackq delims=" %%a in ("%%i") do (
	    if not defined %%a set "%%a=."&echo,%%a
	)
)) >$
move /y $ result.txt >nul
pause 
复制代码

pcl_test

回复 1# gater
问题得到解决后请在标题最前面注明[已解决]
http://www.bathome.net/thread-3473-1-1.html

gater

回复 2# pcl_test


@echo off
for /f "delims=" %%a in ('dir /a-d /b /on *.txt') do >>"合并.txt" type "%%a"
for /f "delims=" %%b in ('type "合并.txt"') do (
if not defined %%b set %%b=Def & >>$ echo,%%b
)
move $ "合并.txt"
pause
提示系统找不到指定文件！！有重复  代码需要优化，可以用!!

gater

回复 3# DAIC


和二楼一样的测试文本， 大量数据出现丢失~~

gater

回复 4# CrLf


和 2、3楼一样的测试数据，合并文本没有数据~~

gater

回复 6# 慕夜蓝化


出现了和3楼一样的情况，数据丢失！

gater

采纳2楼的代码！！

DAIC

回复 9# gater


    能否把你的数据发出来，我想看看哪些会丢掉。

yiwuyun

if ($true){}# == ($true){}# goto ___yiwuyun
<# 
:___yiwuyun
@echo off&setlocal&cls
(echo $strPath="%~dp0"&type "%~f0")|powershell -command -
pause
exit/b 0
#>

gc -path ($strPath+"*.txt")|sort  -unique

<#end#>
复制代码

gater

回复 13# DAIC

源数据有点大，附件不能上传，下载地址：http://43.252.160.140:8009/广东坐标.zip