在古籍数字化浪潮中，新华书店古典小说价格联盟的技术团队发现，古典小说整理绝非简单的OCR扫描。不同文体的文本特征差异巨大，从白话长篇到文言小说，每个子类都藏着独特的“雷区”。今天，我们就来拆解这些技术硬骨头。

文体差异带来的“格式陷阱”

古典小说按语言风格可分为三大阵营：白话长篇（如《水浒传》）口语化强，但存在大量方言异体字；文言小说（如《聊斋志异》）用字精炼却常缺标点；而白话短篇（如“三言二拍”）则介于两者之间，句式灵活。我们的系统曾因未区分文体，导致《西游记》中“行者”被自动替换为“行人”，闹出技术笑话。

解决方案是构建文体感知模型：先通过词频分布（比如文言小说虚词“之乎者也”占比超15%）自动分类，再调用对应规则库。例如，处理公案小说人情类文本时，需保留“断案”“冤屈”等专业词汇的原始拼写，避免算法误判为错别字。

情节标注的“语义迷宫”

另一大难点是情节单元自动分割。以神怪小说为例，一个段落可能同时包含凡人对话、妖怪施法和天庭场景，传统NLP模型常把“吕洞宾挥剑斩妖”拆成两个不相关事件。我们为此开发了多标签序列标注框架，对每个句子赋予“人物-动作-场景”三元组标签，准确率从68%提升至89%。

• 英雄小说（如《说岳全传》）需识别“交战-休战-再战”的循环结构
• 公案小说人情类则要捕捉“案发-查证-反转”的推理链条

这种精细标注让后续的价格联盟数据库能按“武打强度”“破案逻辑”等维度给书定价，而非仅看字数。

案例：一部《三侠五义》的数字化重生

去年我们整理英雄小说《三侠五义》时，遭遇了典型难题：书中“展昭”“白玉堂”两个主角的对话混淆率高达22%。通过引入角色指代消解模块（基于Transformer的BERT变体），系统能利用“侠客”“白面书生”等人物特征词自动聚类，最终将混淆率压到4%以下。

这背后是新华书店古典小说团队投入的3000小时标注工时——我们手动标记了8000组人物-事件关联对，才训练出能应对神怪小说中“孙悟空化身为猴”这类复杂指代的模型。

数字化整理的本质，是用技术复刻古籍的“活态”。从白话长篇的方言处理到文言小说的断句优化，每一步都在挑战算法的文化理解力。未来，我们计划将公案小说人情中的“冤案逻辑树”做成可视化图谱，让读者能像查地图一样看透案中案。