18.05-语义缓存

async function storeSemanticCache(
  env: { AI: Ai; CACHE_INDEX: Vectorize; CACHE_KV: KVNamespace },
  prompt: string,
  answer: string
) {
  // 1. 生成 prompt 的 embedding
  const { data } = await env.AI.run('@cf/baai/bge-base-en-v1.5', {
    text: [prompt],
  })
  const embedding = data[0]
 
  // 2. 生成唯一 ID
  const id = crypto.randomUUID()
 
  // 3. 把 embedding 存进 Vectorize
  await env.CACHE_INDEX.upsert([{
    id,
    values: embedding,
    metadata: { prompt },  // 把原文也存进去，便于后续排查
  }])
 
  // 4. 把答案存进 KV，key 用 Vectorize 的 ID
  await env.CACHE_KV.put(`ans:${id}`, answer, {
    expirationTtl: 86400,  // 24 小时过期
  })
}

async function semanticLookup(
  env: { AI: Ai; CACHE_INDEX: Vectorize; CACHE_KV: KVNamespace },
  prompt: string,
  threshold = 0.95
): Promise<{ hit: boolean; answer?: string; score?: number }> {
  // 1. 生成新 prompt 的 embedding
  const { data } = await env.AI.run('@cf/baai/bge-base-en-v1.5', {
    text: [prompt],
  })
 
  // 2. 查向量索引
  const result = await env.CACHE_INDEX.query(data[0], { topK: 1 })
 
  if (result.matches.length === 0) {
    return { hit: false }
  }
 
  const topMatch = result.matches[0]
 
  // 3. 相似度不够，不算命中
  if (topMatch.score < threshold) {
    return { hit: false, score: topMatch.score }
  }
 
  // 4. 命中，从 KV 取答案
  const answer = await env.CACHE_KV.get(`ans:${topMatch.id}`)
  if (!answer) {
    // Vectorize 里有但 KV 里没有（可能过期了），删除 Vectorize 记录
    await env.CACHE_INDEX.delete([topMatch.id])
    return { hit: false }
  }
 
  return { hit: true, answer, score: topMatch.score }
}

// src/lib/semantic-llm.ts
export async function callLLMWithSemanticCache(
  env: Env,
  prompt: string
): Promise<{ answer: string; source: 'cache' | 'llm'; score?: number }> {
  // 1. 先查语义缓存
  const lookup = await semanticLookup(env, prompt, 0.95)
 
  if (lookup.hit && lookup.answer) {
    return { answer: lookup.answer, source: 'cache', score: lookup.score }
  }
 
  // 2. 没命中，调 LLM
  const result = await env.AI.run('@cf/meta/llama-3.1-8b-instruct', {
    messages: [{ role: 'user', content: prompt }],
  })
  const answer = (result as { response: string }).response
 
  // 3. 写入语义缓存（异步，不阻塞返回）
  env.waitUntil(storeSemanticCache(env, prompt, answer))
 
  return { answer, source: 'llm' }
}

app.post('/api/ai/query', async (c) => {
  const { prompt } = await c.req.json()
 
  const result = await callLLMWithSemanticCache(c.env, prompt)
 
  return c.json({
    answer: result.answer,
    source: result.source,  // 告诉前端是缓存还是 LLM
    score: result.score,    // 调试用：相似度
  })
})

// 评测脚本
const testCases = [
  { a: '什么是 Cloudflare', b: '介绍一下 Cloudflare', shouldMatch: true },
  { a: '怎么取消订单', b: '怎么创建订单', shouldMatch: false },
  { a: 'Python 怎么读文件', b: 'Python 读取 txt 文件的方法', shouldMatch: true },
  { a: '北京今天天气', b: '北京明天天气', shouldMatch: false },
]
 
async function evaluateThreshold(threshold: number) {
  let correct = 0
  for (const { a, b, shouldMatch } of testCases) {
    const { hit, score } = await semanticLookup(env, b, threshold)
    const matched = score !== undefined && score >= threshold
    if (matched === shouldMatch) correct++
  }
  return correct / testCases.length
}

async function callLLMSmart(env: Env, prompt: string) {
  // L1：确定性缓存（hash 匹配）
  const exact = await exactCacheLookup(env, prompt)
  if (exact.hit) return { answer: exact.answer, source: 'exact-cache' }
 
  // L2：语义缓存（相似度匹配）
  const semantic = await semanticLookup(env, prompt, 0.95)
  if (semantic.hit) return { answer: semantic.answer, source: 'semantic-cache' }
 
  // L3：调 LLM
  return { answer: await callLLM(env, prompt), source: 'llm' }
}

// 用 AI Gateway 的语义缓存
const gateway = env.AI.gateway('my-gateway')
 
const result = await gateway.run(
  '@cf/meta/llama-3.1-8b-instruct',
  { messages: [{ role: 'user', content: prompt }] },
  {
    gateway: {
      semanticCache: {
        enabled: true,
        threshold: 0.95,  // 相似度阈值
        maxTTL: 86400,    // 缓存 24 小时
      },
    },
  }
)