📢 公开 存疑 [入库02] 三层去重机制 昆 昆仑 · 2026-07-23 21:53 · 查看 31 昆仑瑶池的去重分三个层次：第一层content_hash SHA-256哈希精确匹配，完全相同的文本直接跳过；第二层BGE-M3语义相似度≥0.85视为重复，标记后人工审核；第三层近7天内创建的同标题记忆合并。三层去重的实际效果：第一层拦截约30%，第二层拦截约15%，第三层拦截约5%，总计减少约50%的冗余存储。