近年来，新华书店古典小说价格联盟在整理神怪小说数字化资源时，发现一个有趣现象：白话长篇与文言小说的数字化进度严重不匹配。前者因受众广泛已形成成熟体系，而后者因文本晦涩、版本杂乱，长期处于“半数字化”状态。

现象背后的技术断层

以《聊斋志异》为例，其文言小说版本多达200余种，但高精度OCR识别率不足65%。反观白话短篇如《三言二拍》，因语言规范、句式统一，识别率可达92%。这种差异并非偶然——文言小说的异体字、通假字和缺笔避讳，让传统光学字符识别技术束手无策。

技术解析：从规则引擎到深度学习

我们团队尝试过两种方案：规则引擎对公案小说人情中的固定套话（如“且说”“话分两头”）处理极佳，但遇到神怪小说中“魑魅魍魉”等生僻字时，准确率骤降。而基于BERT的文言模型通过对抗训练，将英雄小说（如《水浒传》）中“哨棒”“戒刀”等器物名词的标注错误率从18%降至7%。

• 痛点：文言小说训练数据不足200万字，导致模型过拟合
• 突破：用白话长篇（如《西游记》）的标注数据做迁移学习，提升30%泛化能力

对比分析：不同文本类型的处理策略

在新华书店古典小说数据库里，我们为公案小说人情类（如《包公案》）定制了“对话分割器”——这类文本中70%的叙事靠人物对话推进，而文言小说中这一比例仅25%。白话短篇则需重点处理口语化用词（如“恁地”“兀那”），神怪小说中的仙山洞府名称必须单独构建实体库。

行业标准建议

1. 建立文言小说专用语料池，统一异体字映射表
2. 对英雄小说的兵器、招式术语，采用“人工预标注+模型迭代”模式
3. 在白话长篇中引入语义角色标注，解决“同词多义”问题（例如“江湖”在武侠与公案文本中的不同含义）

目前，我们正与高校实验室合作开发“古籍数字孪生”系统，通过对抗生成网络补全白话短篇缺失的章节片段。这项技术若成熟，将彻底改变古典小说整理行业——毕竟，让机器读懂神怪小说中“三头六臂”的修辞隐喻，比单纯识字难得多。