AI 快讯
编译自 aws_ml_blog #AWS Bedrock#文档处理#批量推理
AWS Bedrock 动态按需与批量管道:灵活提取文档数据,成本与速度兼得
AWS 发布基于 Bedrock 的智能文档处理方案,支持按需与批量两种推理管道,动态指定 LLM 和提示词,从扫描 PDF 中提取数据。本文详解架构、成本优化策略及对中文用户的实用建议。
一句话看懂
AWS 推出基于 Bedrock 的智能文档处理管道,支持按需和批量两种推理模式,动态指定模型与提示词,灵活平衡处理速度与成本。
详细发生了什么
AWS 官方博客发布了一篇技术方案,展示如何利用 Amazon Bedrock 构建智能文档处理管道,同时支持按需推理和批量推理两种模式。该方案针对拥有大量扫描 PDF 文档(如土地租赁合同)的企业,通过动态指定 LLM 模型和提示词,从不同格式的文档中提取结构化数据。
按需推理管道使用 SQS FIFO 队列触发 Lambda 函数,逐份处理文档,返回结果仅需数秒,适合时间敏感的场景。批量推理管道则通过 EventBridge Scheduler 定时启动,将多个请求打包成 Amazon Bedrock 批量推理任务异步处理,成本更优。两种管道均支持从 Bedrock Prompt Management 中按 ID 和版本动态获取提示词,以适应不同文档格式。
技术细节包括:扫描 PDF 转换为图片后调用 Claude 4 Sonnet 等多模态模型(每次最多 20 张图片),超长文档自动分块;结果存入 DynamoDB;批量任务要求至少 100 条记录。
中文圈视角
这套方案对国内用户有参考价值,但直接使用需注意几点:
- 可用性:Amazon Bedrock 在国内无法直接访问,需要海外 AWS 账号和网络环境。对于有出海业务或跨国文档处理需求的企业,这是成熟方案。
- 国产替代:国内类似服务如阿里云百炼、百度千帆也提供文档抽取能力,但缺乏这种“按需+批量”双管道动态切换的灵活架构。企业可借鉴其设计思路,在自己的云上实现类似方案。
- 场景适配:中文文档(如合同、发票)格式更复杂,提示词需专门优化。该方案通过 Prompt Management 支持动态提示词,对中文用户友好,但需自行准备高质量中文提示词。
- 成本考量:批量推理模式对处理海量历史文档(如百万份扫描件)极具吸引力,国内类似服务通常按 API 调用计费,批量模式可显著降低成本。
几条值得记住的细节
- 按需管道使用 SQS FIFO 队列,保证消息顺序和精确一次投递,适合实时处理。
- 批量管道要求至少 100 条记录才能启动 Bedrock 批量推理任务。
- 多模态模型(如 Claude 4 Sonnet)单次调用最多支持 20 张图片,超长文档自动分块。
- 提示词存储在 Bedrock Prompt Management 中,每个区域最多 50 个提示词,每个提示词最多 10 个版本。
- 结果和元数据(doc_id, chunk_count, chunk_id)存入 DynamoDB,便于追踪。
一句话总结
AWS 这套双管道文档处理方案,为需要灵活平衡速度与成本的数据提取场景提供了可复用的架构参考。