命令行编解码工具coder.exe 3.0

went

对写的字符串处理函数进行了封装,提供以下功能:
    1.编码转换
    2.文件编码查看
    3.URL编解码
    4.base64编解码
    5.md5,sha1,sha256,sha512,crc32计算
    6.进制编解码 [2-36]进制,支持[文件|字符串|数字]
    7.二维码生成
    以上功能均支持处理字符串和文件,可能会增加新功能
1.10添加功能,查看文件编码
1.11添加功能,支持管道
2.1修复对大文件进行编码转换时数据丢失问题
2.1添加功能:获取文件和字符串MD5值
10.13支持以下编码任意互转,智能转换 [ ANSI | UTF-8 | UTF-8_BOM | UTF-16_BE | UTF-16_LE | DOS | UNIX | MAC]
10.20加入SHA1和CRC32值
2022.1.26 添加功能,数据进制编解码(2进制,10进制,16进制)
2022.11.17 进制工具扩展到 [2-36],'0'-'Z'
2022.2.22 URL编码支持选择全编码(eca)和仅编码非ansi字符(ec)
2024.4.29 添加二维码生成功能(qrencode库)

使用方法:

编码解码工具 (Written By went.)
  V3.0.1 2024/06/13
  http://www.bathome.net/thread-57518-1-1.html

coder.exe 用法:

  显示帮助   /?

  转换工具   -c       <auto|cp1> <cp2> -<s|f>         [ ... ]
             -convert <auto|cp1> <cp2> -<string|file> [ ... ]

  查看编码   -s       -a        <gc|gh>            -<s|f>             [ ... ]
             -show    -action   <getcoder|gethash> -<string|file>     [ ... ]

  进制工具   -r       <2...36>  <dc|ec>            -<s|f|n>           [ ... ]
             -radix   <2...36>  <decode|encode>    -<string|file|num> [ ... ]

  url工具    -u       -a        <dc|ec|eca>        -<s|f>             [ ... ]
             -url     -action   <decode|encode>    -<string|file>     [ ... ]

  base64工具 -bs64    -a        <dc|ec>            -<s|f>             [ ... ]
             -base64  -action   <decode|encode>    -<string|file>     [ ... ]


  二维码工具 -qr      -a        <ec>               -<s>               [ ... ]
             -qrcode  -action   <encode>           -<string>          [ ... ]

  备注:
        1. [ ... ] 可选值 [<字符串|文件路径>|管道]
        2. cp1,cp2 可选值 参见例子1
        3. 大多数情况下,unicode编码即UTF-16_LE编码

  例子:

  coder -s -a gc -f "0.txt" 
         查看文件编码
         [ DOS | UNIX | MAC | ANSI | UTF-8 | UTF-8_BOM | UTF-16_BE | UTF-16_LE ]

  coder -s -a gh -f "coder.exe"
         获取文件哈希值(MD5,SHA1,SHA256,SHA512,CRC32)

  coder -c ansi utf-8 -s "你好,世界!" 
         字符串编码转换 ansi -> utf8 [浣犲ソ,涓栫晫!]

  coder -c utf-8 ansi -f "utf8.txt"
         文件编码转换 utf8 -> ansi
         要生成文件请使用重定向符号 ">" ,参见16进制编解码的例子

  coder -c auto ansi -f "1.txt"
         文件编码转换,源编码自动识别 -> ansi

  coder -r 16 ec -n 36:51uoct
         36进制数字转16进制 51uoct -> 1234abcd

  coder -r 10 ec -n 16:1234abcd
         16进制数字转10进制 1234abcd -> 305441741

  coder -r 2 ec -n 305441741
         10进制数字转2进制 305441741 -> 10010001101001010101111001101

  coder -r 16 ec -f "1.exe">"0.hex"
         文件16进制编码

  coder -r 16 dc -f "0.hex">"1.exe"
         文件16进制解码

  coder -u -a dc -s "%73%64%2F%E4%BD%A0%E5%A5%BD%21%2F%31%32%33"
         字符串URL解码 [sd/你好!/123]

  coder -bs64 -a ec -f "3.png" >"base64.txt"
          文件base64编码,保存到base64.txt

  coder -bs64 -a dc -f "base64.txt" >"4.png"
          文件base64解码,生成4.png

  coder -qr ec out-con -s "https://www.baidu.com"
          字符串生成文本二维码,显示在控制台

  coder -qr ec out-str -s "https://www.baidu.com"
          字符串生成文本二维码

  coder -qr ec out-img -s "https://www.baidu.com"
          字符串生成图片二维码

  使用管道输入,例子:

  for %i in (*.png) do ( echo %i| coder -bs64 -a ec -f >"%i.txt" )
       对当前路径下所有png文件base64进行编码,生成txt
复制代码

exe和源代码
coder_V3.0.rar

went

回复 83# 娜美


    先用或程序预处理 删掉空行

娜美

Hi, @went
base64编码转化成文件  当base64文本编码,如果行首有空一行情况不行

娜美

回复  


    需要两步一次只能转换编码与格式其中一种,2选1,不能同时转换
went 发表于 2024-6-13 23:18

   哦哦 thanks

went

回复 80# 娜美


    需要两步

coder -c auto utf-8 -f "%%a">u8.txt
coder -c auto dos -f "u8.txt">u8_dos.txt
复制代码

一次只能转换编码与格式其中一种,2选1,不能同时转换

娜美

我再深入测试将78层连接文件全部统一为UTF-8/DOS,   有一些MAC Unix格式文件似乎没有转为DOS,  这可能是UltraEdit的问题

for /r %%a in (*.txt) do ( 
   echo,
   coder -c auto utf-8 -f "%%a"
)>%%a.tmp
复制代码

went

回复 78# 娜美


    已修复

娜美

回复 77# went


今天才看到楼主更新了,    测了一下,  如果是DOS/UTF-16_BE文件,  会被判断为MAC/UTF-16_BE, 其它的没有问题

这有一些简单测试文件, 请看看
https://wwm.lanzoul.com/iKgZ421plawh

另建议将获得编码值样式 DOS/UTF-16_BE 改为  UTF-16_BE/DOS 样式,  将格式放在后面。让大家灵活取分隔"_"  或 "/" 即可 ( 因为有些直接取UTF-16或UTF-8值就行 不需要获取整个字段 "UTF-16_BE" )    可以让其它获取该值脚本写得更简单, 行数更少,
之前旧脚本代码也不需要添加行数或更改, 起到承上启下作用
再加快读取文件速度
更新后的coder越来越比uchardet好用了

went

dos/unix/mac格式转换功能已添加,修复大文件编码bug

went

回复 74# 娜美

开发时未考虑大文本文件，为提高效率使用了内存映射文件方式，因此不支持较大文件获取编码，今后有时间会完善

went

回复 73# 娜美

有文件头的文件是直接判断文件头的

娜美

楼主,  报告一个问题, 不能检测大于2GB文件吗 ?    相同文件试用uchardet是可以,  楼主要重现此问题,  请偿试制造1个 或 多个 大于2GB大文件 或 更大的任何内容文件用于实验

coder -s -a gc -f "0.txt" 

文件打开失败! Error:8

文件打开失败! Error:1006

请按任意键继续. . .
复制代码

娜美

楼主有一些优化建议, 楼主开发命令行工具非常优秀

例如: 在判断编码的过程.

coder.exe -s -a gc -f
复制代码

是不是还能做一些优化, 现在是需要从头到尾读一遍才能判断出是那一种编码,  
if 文件很多,  又很大情况下, 从头到尾读一遍可能需要很多时间和资源哦

if 它可以只读文本头标识的前几行, 就能马上判断出属于那一种编码吗, 这是不是一种更好优化方案? 更好,更快,更强 更省时间

但这是想法,  要实现它又是另一回事了

娜美

非常感谢@went
希望在转换编码过程中,顺便把unix  mac  dos格式也并统一解决了
例如将不同文本unix  mac  dos格式, 统一变成DOS/ASNI编码格式

变成dos/utf-8
coder -c auto dos/unix/mac==dos/utf-8 -f a.txt >b.txt

小白龙

回复 1# went


  楼主好, 能请教一个问题吗? 我用下面的代码, 判断文件编码, 但是编码的显示和Powershell有点不同, Powershell的是UTF8而code.exe输出的是UTF-8, 其它的编码显示也不一样, 能统一成powershell的叫法吗? 或者麻烦大佬, 告知一下怎样修改源代码, 我自己编译一下也可以, 多谢

$enc = & "coder.exe" -s -a gc -f "0.txt"
$textContent = Get-Content -Path "$home\desktop\a.txt" -enc $enc

powershell中的编码叫法有这些