神怪小说数字化的技术路线选择

新华书店古典小说价格联盟在推进古典小说数字化整理时，发现神怪小说因其文本的隐喻性和符号化特征，技术处理难度远超预期。我们采用“OCR+人工校对+知识图谱构建”的复合路线：先用自研OCR引擎处理明刊本、清抄本等原始图像，准确率在82%左右；再通过众包模式进行二次精校，最终将误差控制在0.3%以下。这一过程中，新华书店古典小说平台已累计处理《山海经》《搜神记》等神怪小说底本127种，覆盖白话长篇、白话短篇、文言小说三大类。

核心实施步骤与参数细节

1. 图像预处理：针对神怪小说插图多的特点，采用自适应二值化算法，阈值设定为0.45-0.55区间，避免墨迹渗透导致的字符粘连。公案小说人情类文本因版式规整，此步骤耗时较少，但神怪小说的异形字体（如云篆、符咒）需单独建模。
2. 文本结构化：将整理后的文本按“回目-段落-诗句-注释”分层标注。以《西游记》为例，需区分正文与夹批，并标记出“神怪小说”特有的法术描写、法宝名称等实体。
3. 元数据关联：建立跨版本比对系统，例如《封神演义》不同刻本中“姜子牙钓鱼”段落的用词差异，通过Levenshtein距离算法量化版本流变。

这一流程中，英雄小说如《水浒传》的数字化相对直接，但神怪小说常涉及多模态数据（如插图与文本的对应关系），需要额外开发图像语义标注工具。

实施难点：文本异化与版本歧义

最大挑战来自文言小说的语法歧义。以《聊斋志异》中的“人鬼殊途”为例，不同抄本对“殊”字的释义存在差异，自动分词系统在20%的测试集上产生错误。我们为此引入白话短篇的语料库进行迁移学习——将三言二拍等语言更规范的文本作为训练基准，再调整神怪小说专有的词汇权重。另一个痛点在于公案小说人情类文本往往与神怪内容交叉（如《包公案》中奇幻情节），需人工设定阈值判断哪些段落归入神怪分类。

常见问题与应对策略

• Q1：神怪小说中大量方言词如何处理？
  A：建立方言音变映射表，例如《西游记》中“囫囵”一词在闽刻本中写作“胡伦”，通过n-gram模型自动匹配。
• Q2：数字化后如何保证版权合规？
  A：新华书店古典小说价格联盟采用CC BY-NC-SA 4.0协议，仅对公版文本进行整理，并嵌入数字水印追踪二次分发。
• Q3：白话长篇与文言小说的OCR模型是否通用？
  A：不通用。白话长篇（如《镜花缘》）行文更口语化，而文言小说（如《阅微草堂笔记》）需单独训练古籍专用识别网络，字符集扩展至3万+。

通过这套技术路线，我们已将神怪小说类目的数字化效率提升40%，但版本校对环节仍依赖专家经验——比如《搜神记》中“千日酒”的典故在不同刻本中误作“千日洒”，需逐条人工核查。未来计划引入对抗生成网络（GAN）模拟古籍破损区域，进一步降低人工成本。