AI 文本批量净化 - 免费一次清掉多余空行、Markdown 符号和乱标点（AI工具）

这个工具解决什么问题

从 AI 对话框里复制出来的文本，几乎没有一次是能直接用的。标题前面挂着两个井号，重点被一对星号包着，列表项前面一排横杠，段落之间塞着两三个空行，偶尔还夹着一两个 emoji。粘进 Word 或公众号后台，这些符号原样跟过去，得一行一行手动删。一份两千字的稿子清下来要十几分钟，而且清到后面人必然走神，漏掉一两个星号是常事。更麻烦的是批量场景：一次生成了二十条商品描述、一周攒了十几篇草稿，挨个打开清理，清到最后已经分不清哪个清过、哪个没清。这些活儿不需要动脑子，但很磨人，而且完全不出活。

• 原来的做法：从 AI 对话框复制出来后逐个文件打开，手工删标题井号、删加粗星号、删列表横杠，再把三四个空行按成一个；清完还得另存一份，原文件不敢覆盖，生怕改坏
• 用这个工具：把要处理的文件（或整个文件夹）加进窗口，勾好要清哪些东西，点一次「开始净化」。程序逐个文件去掉 Markdown 标记、收敛多余空行、压缩行内空格、必要时删掉 emoji，结果统一输出到每个文件旁的 _cleaned 子目录，原文件一个字节都不动；结果表里能直接看到每个文件减少了多少字符、减少了百分之几
• 省下来的：一次点击替代二十次「打开—删符号—按回车—另存为」；而且比人做得稳——空行收敛、标点判断这类事人做久了必然走神，程序每次的结果都一样

技术实现

整个工具只用 Python 标准库，运行期零依赖，打包后是单个 exe，双击就能用，不需要安装 Python 环境。核心设计有四处取舍。第一，清洗规则全部写成「字符串进、字符串出」的纯函数，一行界面代码都不掺——这样它可以脱离窗口跑 182 项全自动断言，每改一条规则都立刻能验证。第二，先用代码围栏把代码块整段摘出来隔离，再对正文跑规则，避免 Markdown 清理把代码里的星号、缩进和连续空格改坏。第三，界面与处理逻辑用工作线程加消息队列隔开，处理几百个文件时窗口照常响应，随时能点「停止」。第四，原文件默认不动，结果统一落到每个源文件旁的 _cleaned 子目录；即使选择覆盖模式，也会先写一份 .bak 备份再用临时文件原子替换。

• 先切代码块，再跑规则：围栏分段隔离：AI 输出里最不该被改动的就是代码。所以规则引擎的第一步不是清理，而是**分段**：按 ``` 或 ~~~ 围栏把全文切成「正文段 / 代码段」交替的序列，只有正文段会走 Markdown 与空格规则，代码段连同围栏行一字不动。围栏没有闭合（文件被截断）时，剩下的内容按它当前的归属收尾，保证一行都不丢——这一点有专门的断言覆盖。相关正则：_RE_FENCE 认围栏行，_RE_HR 认分割线，_RE_MD_HEAD 认行首的结构标记。
• 两处顺序陷阱：行内标记的替换顺序、空行规则的位置：清洗是流水线，顺序错了结果就错，有两处最容易被后人改坏。第一，双星号必须在单星号之前替换：如果先跑「斜体」规则，被一对双星号包住的加粗内容会被拆成两个残片，清理结果里就会剩下孤零零的星号。固定顺序是 双星号 → 双下划线 → 行内反引号 → 单星号 → 兜底扫孤立符号。第二，空行处理必须排在逐行清理之后：一行如果只含几个空格和制表符，在去掉首尾空白之前它不算空行，先删空行就会把它漏掉。所以实际流程是 逐行清理 → 删分割线 → 空行收敛 → 段落合并，每一层的输入都依赖上一层的结果。这两条各有对应断言（D 组、E5）钉住，开发文档里也单独标了「别改」。
• 标点全角化只在汉字后面动手：把半角标点转成全角（把英文逗号换成中文逗号、英文句号换成中文句号）看着简单，做错了却很难用：把英文的 Hello, world 和小数 3.14 一起转了，代码和数字就毁了。实现上是逐字符扫描，只有当前标点的**前一个非空白字符是汉字**时才替换（用汉字码位范围判断，含扩展区），其余一律不动。这个功能默认关闭——它终究是个需要人判断的事，建议配合「预览对比」使用。
• 编码嗅探、换行保真与安全写回：批量处理最容易踩的隐坑都在「写回」这一步。编码上按 BOM → UTF-8 → GB18030 → Big5 依次尝试，全失败则用 UTF-8 容错解码并把「utf-8(容错)」标在结果表里提醒用户；写回时沿用原编码，原本带 BOM 的继续带 BOM，原本不带的绝不硬加。换行上先探测原文件用 CRLF 还是 LF，内部统一处理，写回前再还原风格——否则在 Windows 上每处理一个文件都会把 CRLF 改成 LF，用户看到的是一整篇「每行都变了」的假改动。覆盖模式下先备份 .bak，再写临时文件并用 os.replace 原子替换，中途断电不会留下半个文件。
• tkinter 的线程铁律与界面反馈：tkinter 不是线程安全的，工作线程直接碰控件轻则花屏、重则整个进程崩掉。所以后台线程只往 queue.Queue 里塞消息，界面线程用 after(80, ...) 定时搬运，并且每轮最多消费 200 条，防止几千个文件把界面刷爆。进度条按已处理数推进，处理期间按钮仍可点击；「停止」置位后剩余文件直接跳过，已经跑完的结果保留，并如实汇总成「已停止，共完成 N 个」而不是假装跑完。文件级与全局两处异常都被兜住，出错会弹中文提示而不是静默闪退。
• 跳过自己的产出目录，避免「越洗越洗」：工具默认把结果写到每个源文件旁的 _cleaned 子目录。如果扫描时不加区分，下一次对同一个文件夹点「选择文件夹…」就会把上一轮的产出当成新文件再收进来，用户看到的是「列表里一半是自己刚生成的文件」，既困惑又白干活。所以扫描阶段会检查路径的每一段，遇到名为 _cleaned 的目录整棵跳过（自测 C5b 钉住这条）。隐藏文件同理跳过。

技术栈：Python 3.8+、tkinter 图形界面、零第三方依赖：运行期只用标准库 re / os / pathlib / threading / queue / csv、工作线程 + queue.Queue 消息队列，处理大批量时界面不假死、正则驱动的规则引擎，按围栏把代码块分段隔离保护、PyInstaller 单文件打包（--onefile --noconsole，不带控制台黑框）

已知局限：只处理纯文本类文件（.txt / .md / .markdown / .text / .log / .srt，扩展名可以在界面里改），不解析 Word / PDF / Excel。单个文件上限 8 MB，超过的直接跳过并在结果表里标明原因，避免一个巨型日志把整批拖住。Markdown 表格（用竖线分隔的那种）不做转换——改成纯文本后表格本来就不可读，建议保留原文件。标点全角化是启发式规则，中英混排的边界情况仍可能判错，所以默认关闭。段落合并对「按显示宽度折行」的文本效果好，但如果原文用单换行表示换行语义（比如字幕文件），请保持关闭。Markdown 方言有几十种，本工具覆盖常用的标题 / 列表 / 引用 / 加粗 / 斜体 / 行内代码 / 链接 / 图片 / 分割线 / 围栏代码块，不覆盖脚注、定义列表、内嵌 HTML 等冷门语法。

操作教程

1. 双击打开程序
   解压后双击「AI 文本批量净化.exe」，不需要安装 Python 或任何依赖。
   预期结果：出现主窗口，自上而下依次是 选择区、清理选项三栏、并排的「待处理文件」列表与「处理结果」表、输出方式、操作区（开始 / 停止 / 进度条）
2. 把要清理的文件加进列表
   点「选择文件夹…」选一整个目录（勾着「含子文件夹」会连子目录一起收），或点「选择文件…」按住 Ctrl 多选几个文件；也可以直接把文件夹拖到程序图标上启动。程序会自动跳过隐藏文件和它自己上一轮产出的 _cleaned 目录，不会把上次的结果当成新文件再洗一遍。
   预期结果：待处理文件列表里出现每个文件的名字和体积，状态栏显示「已加入 N 个文件」
3. 确认文件类型（默认已够用）
   「文件类型」框里默认是 .txt .md .markdown .text .log .srt。要顺手处理别的后缀（例如 .csv）就在这里加进去，然后重新点一次选择按钮重新扫描。
   预期结果：列表里的文件随扩展名设置变化；不想处理的文件可以选中后点「移出选中」
4. 勾清理选项
   左栏管空行（默认「连续空行压成一个」）和段落合并；中栏管 Markdown 标记（默认全部勾上）；右栏管代码块（默认「原样保留」，不会改坏代码）和两个默认关闭的进阶项——半角标点转全角、去掉 emoji。
   预期结果：三栏选项各自独立，随便勾；不确定效果时可以先跑一个文件试水
5. 选输出方式
   默认是「每个文件旁新建 _cleaned 子目录放结果」，原文件不动。也可以选「直接覆盖原文件」，程序会先把原文备份成同名的 .bak 文件。
   预期结果：默认设置下原文件不会被修改；选覆盖时同目录会出现 .bak 备份
6. 点「开始净化」（或按 F5）
   程序在后台逐个处理，进度条推进、状态栏显示「已处理 N / M」。窗口全程不卡死，按钮照样能点；中途想停下就点「停止」（或按 Esc），已经跑完的部分会保留。
   预期结果：进度条按 N/M 前进，结果表逐行追加，每行显示文件、状态、原字符数、净化后字符数和减少比例
7. 看结果、做对比、导出清单
   结果表里蓝色是已净化、灰色是无需改动、红色是失败（失败原因记在导出的 CSV 里）。选中某一行点「预览对比」（或 Ctrl+P）可以左右对照净化前后的开头部分；双击结果行会用默认程序打开净化后的文件；点「导出结果 CSV」把整张表存成表格（带 BOM，Excel 双击不乱码）。文件列表与结果表之间的分隔条可以左右拖动。
   预期结果：一次能看到每个文件减少了多少；导出后在 Excel 里中文不乱码、列不会串

常见问题

技术实现与后续维护

本工具由我们自行开发并持续维护，每次迭代都会在本地跑一遍完整自测（182 项断言，覆盖每一条清洗规则与文件级读写）。核心思路是把「规则」和「界面」彻底分开：所有清洗逻辑都是纯函数，输入字符串、输出字符串，因此后续要加一条新规则、换一种输入格式，都不需要动界面代码，也能立刻被自测覆盖。文中有几处顺序是刻意固定的——代码块必须在清理之前先分段隔离、分割线必须在行内标记清理之前判断、空行处理必须排在逐行清理之后——这些约定在开发文档里单独标了「别改」，并配有对应断言，避免日后维护时被无意改回去。

技术构成：

• src/ai_text_clean_gui.py —— 程序入口：tkinter 窗口布局、控件与事件绑定、后台线程与消息队列调度、净化前后对比预览窗、结果 CSV 导出
• src/clean_core.py —— 清洗内核（不含任何界面代码）：编码嗅探、围栏分段与代码块保护、逐行 Markdown 规则、空行与段落处理、标点与 emoji、文件读写与结果汇总
• src/selftest.py —— 自测脚本：182 项断言，覆盖编码、目录扫描、每一条清洗规则、代码块三种处理模式、文件级端到端读写与工程纪律

运行环境：

Windows 10/11 64 位。运行版是单个 exe，不需要安装 Python、不需要任何依赖，解压双击即用。程序完全在本机运行，不联网、不访问任何服务器。界面基于 Python 标准库自带的 tkinter 构建，运行期零第三方包，因此 exe 里不含外部组件。

可扩展方向：

• 规则集可配置：把「要清哪些东西」存成一套方案（比如「公众号用」「客户邮件用」），一键切换，不用每次重新勾
• 支持更多输入格式：从 Word / PDF 里先抽取纯文本再清理，或者清理完直接导出成 Word 文档
• 更细的段落处理：按标题层级重新组织、给每段加统一缩进、把「一二三」这类中文序号转成列表
• 敏感信息筛查：清理的同时把手机号、身份证号、内部代号找出来并标红，避免把不该发的内容发出去
• 术语与文风统一：把同一批稿件里的用词、称呼、单位写法统一成你指定的规范
• 与内部系统对接：接进你们的内容管理后台，上传草稿时自动跑一遍净化

本工具免费提供使用，但不对外分发源码。如果你需要在本工具基础上做功能调整、对接内部系统或长期维护，可以联系我们做二次开发，源码与工程文档可在定制合作中一并交付。

使用说明与免责声明

• 本工具在本地运行，不联网、不上传任何数据到服务器。
• 涉及文件改写的功能，请在使用前备份原始文件。
• 软件完全免费，可自由使用与转发，请勿用于倒卖。
• 因误操作造成的数据问题请自行承担。

本工具只做文本格式清理，不改变文字的语义，也不会替你判断内容是否妥当——清理完的稿件请自行通读一遍再发布。默认输出到 _cleaned 子目录，不会动原文件；若你选择覆盖模式，请留意同目录生成的 .bak 备份，确认无误后再删除。