← 返回

基于大语言模型的法律助手

2023年8月1日

背景

西南政法大学北京朝行天下科技有限公司合作的项目,目标是构建一个能读长篇法规/合同、 引用有据可查、并能走完多步法律推理的生产级法律助手。

贡献

  • 面向长篇法律文书的 RoPE 扩展。 修改预训练模型的 RoPE 位置编码,使骨干网络在很长的输入上 仍保持连贯——这对端到端阅读法规、判决书和合同、而不必临时切块,是必要的。
  • 扎根于法律的检索栈。 构建了法律知识图谱 + 向量数据库,配合一个工具调用/表单 填写 Agent。该 Agent 自主决定何时查询知识图谱、何时执行一次 RAG 检索、何时向用户询问缺失 的表单字段,显著降低了在事实敏感问题上的幻觉。
  • 逻辑符号改写模块。 训练了一个轻量的意图识别 + 命名实体识别模型,把自由形式的法律问题 改写成形式化的逻辑符号表示(当事人、行为、条件、义务)。主 LLM 随后在这个符号化形式上做规划 和推理,而不是直接面对原始文本,从而提升多步法律推理的可靠性。
  • 两阶段 K-means 数据流水线。 为训练语料设计了一套可扩展的清洗与分类平台:两阶段 K-means 先分离出明显的重复项/低质量片段,再按法律主题对剩余内容聚类,同时喂给自动化和 人工在环的标注流程。这正是产出高质量领域监督数据、支撑模型微调的关键环节。

设计取舍

这个项目把 LLM 当作法律推理系统里的一个组件,而不是一个单体式的”万能回答者”。知识图谱 + 符号化 改写 + Agent 循环才是正确性的主要来源;LLM 的工作是流畅地执行这个计划,而不是凭空编造它。