组织积累了大量关键信息，其中大部分都隐藏在文档中。这些文档（无论是报告、合同、发票还是电子邮件）通常都是为人类使用而设计的，因此很难自动处理。幸运的是，专注于文档的 AI 子领域Document AI正在快速取得重大进展。在这篇文章中，我们将一窥现代 Document AI 提供的可能性。更具体地说，我们：
明确文件AI的范围；
提出其主要方法；
说明如何具体执行关键的 Document AI 任务；
介绍一个实现了所讨论的大部分技术的 Dataiku 示例项目。
请注意，这篇文章没有涉及在多页文档上创建问答系统，因为《Data From the Trenches》之前的一篇文章已经涵盖了这个主题。
什么是 Document AI？
Document AI（即文档理解）是指自动分析扫描或原生数字文档，以便对其进行分类或从中提取信息。Document AI 的一些关键任务包括：
光学字符识别 (OCR)：将图像中的文本转换为机器编码的文本。
布局分析：对文档结构的分析，特别是段落、标题、表格和图像等元素 秘鲁电话号码数据 的检测和分类。
文档分类：根据文档内容（例如发票、表格或电子邮件）将文档分类为预定义类别（例如表格、发票、电子邮件）。
视觉问答：模型根据文档的视觉内容回答问题的任务。
关键信息提取：从非结构化文档中提取特定结构化数据（如名称、日期或价格）的过程。
处理文档具有挑战性，主要有三个原因：文档通常结合了文本和图像（例如，图表、图表）；文档结构通常是隐式的，只能通过布局来暗示；文档格式多种多样（例如，布局、字体系列、字体大小）。为了克服这些障碍，Document AI 利用了计算机视觉和自然语言处理的方法，将文档视为图像、文本或两者的组合。
文档分析的人工智能方法
文档分析的人工智能方法
布局分析
在本节和接下来的章节中，我们将通过一些示例说明如何使用开源包、开放权重模型或基于专有 API 的 LLM 执行 Document AI 任务。我们首先从布局分析开始，这是从布局复杂的文档中获得有意义的 OCR 结果的重要先决条件。
当前的布局分析方法依赖于专门针对文档中的对象检测进行微调的计算机视觉模型。典型的类别有“标题”、“文本”、“页眉”、“节标题”等。例如，非结构化Python 库提供了其中几个模型，并且易于使用，同时还提供了其他功能来解析和处理各种文档格式。