Document Loader

// document.ts
import { Document } from '@langchain/core/documents'
 
// Document 是后面整条检索链里最基础的数据结构。
 
// 不管原始内容来自 PDF、Markdown 还是网页，读进来以后都会先变成它。
 
const doc = new Document({
 
  // pageContent 放真正要参与 embedding 和检索的正文。
 
  pageContent: '这是文档正文',
 
  metadata: {
 
    // metadata 不直接参与语义匹配，但后面可以拿来标记来源、页码、时间等信息。
 
    source: 'notes.txt',
 
    page: 1,
 
  },
 
})

// load-docs.ts
import { PDFLoader } from '@langchain/community/document_loaders/fs/pdf'
 
// 这里先把原始 PDF 接进来。
 
// 这一步只负责“读文件”，还没有开始切块。
 
const loader = new PDFLoader('./data/product-handbook.pdf')
 
// 这里拿到的是按页拆开的 Document[]。
 
const docs = await loader.load()
 
// 先看一眼整体数量，通常等于 PDF 页数。
 
console.log(docs.length)
 
// 再看正文内容，确认 Loader 真的把文字读出来了。
 
console.log(docs[0].pageContent.slice(0, 80))
 
// metadata 里通常会带 source、页码之类的信息，后面检索结果回显时会很有用。
 
console.log(docs[0].metadata)

// split-basic.ts
import { RecursiveCharacterTextSplitter } from '@langchain/textsplitters'
 
const splitter = new RecursiveCharacterTextSplitter({
 
  // 每个块的最大长度。
 
  // 这里不是越大越好，太大了后面检索出来会不够聚焦。
 
  chunkSize: 800,
 
  // 相邻两个块保留一小段重叠，减少一句话刚好被切断的情况。
 
  chunkOverlap: 120,
 
})
 
// createDocuments 适合直接从纯文本字符串开始切。
 
// 如果前面已经有 Loader 产出的 Document[]，后面更常用的是 splitDocuments。
 
const chunks = await splitter.createDocuments([
 
  `请假流程分为三步。
 
第一步，员工需要在系统里提交申请。
 
第二步，直属主管审批。
 
第三步，人事确认并归档。`,
 
])
 
console.log(chunks.length)
 
// 看一眼切出来的第一块，确认它是不是一个完整的小段，而不是半句话。
 
console.log(chunks[0].pageContent)

// prepare-knowledge.ts
import { PDFLoader } from '@langchain/community/document_loaders/fs/pdf'
 
import { RecursiveCharacterTextSplitter } from '@langchain/textsplitters'
 
// 这一层还是知识准备阶段，不是实时问答阶段。
 
// 所以代码目标很明确：先把文档整理成适合后面建索引的 chunks。
 
const loader = new PDFLoader('./data/employee-handbook.pdf')
 
const splitter = new RecursiveCharacterTextSplitter({
 
  // 每块不要太大，后面检索出来才容易聚焦。
 
  chunkSize: 900,
 
  // 留一点重叠，避免一句完整的话刚好被切断。
 
  chunkOverlap: 120,
 
})
 
async function prepareKnowledgeBase() {
 
  // 1. 先把原始文档读成 Document[]。
 
  const rawDocs = await loader.load()
 
  // 2. 再把长文档切成更小的块。
 
  // splitDocuments 会保留原来每个 Document 的 metadata。
 
  const chunks = await splitter.splitDocuments(rawDocs)
 
  // 3. 这里顺手把每个块整理成我们自己更容易处理的结构。
 
  // 后面做 embedding、写向量库、调试来源信息，都会用到这些字段。
 
  return chunks.map((doc, index) => ({
 
    // id 先用顺序号演示，真实项目里通常会拼 source + chunkIndex。
 
    id: `handbook-${index}`,
 
    // pageContent 是后面真正要做 embedding 的正文。
 
    pageContent: doc.pageContent,
 
    // metadata 则继续保留来源信息，方便后面回溯这块是从哪里切出来的。
 
    metadata: doc.metadata,
 
  }))
 
}
 
// 真正执行一次知识准备流程。
 
// 走完这里以后，chunks 就已经是后面做 embedding 和写向量库的输入了。
 
const chunks = await prepareKnowledgeBase()
 
// 先看总量，确认这份手册最终被切成了多少块。
 
console.log(chunks.length)
 
// 再看第一块长什么样，顺手检查正文和 metadata 有没有一起保留下来。
 
console.log(chunks[0])

// split-markdown.ts
import { MarkdownTextSplitter } from '@langchain/textsplitters'
 
const splitter = new MarkdownTextSplitter({
 
  // Markdown 文档通常希望尽量沿着标题结构切。
 
  chunkSize: 900,
 
  chunkOverlap: 120,
 
})
 
const chunks = await splitter.createDocuments([
 
  `# 员工手册
 
## 请假流程
 
员工提交申请后，需要主管审批。
 
## 报销流程
 
报销需要上传票据和审批单。`,
 
])
 
// 这里切出来的块，通常会比普通分割更容易保持章节完整。

// split-code.ts
import { RecursiveCharacterTextSplitter } from '@langchain/textsplitters'
 
// 代码文档不要只按自然语言段落切。
 
// fromLanguage 会优先参考函数、代码块这些更像“代码边界”的位置。
 
const splitter = RecursiveCharacterTextSplitter.fromLanguage('js', {
 
  chunkSize: 1200,
 
  chunkOverlap: 150,
 
})
 
const chunks = await splitter.createDocuments([
 
  `function login() {
 
  // ...
 
}
 
function logout() {
 
  // ...
 
}`,
 
])
 
// 这样切出来的块，后面做代码类检索时通常更稳定。