feat: 统一文档解析器项目 - 迁移 lyxy-reader-office 和 lyxy-reader-html
## 功能特性 - 建立统一的项目结构，包含 core/、readers/、utils/、tests/ 模块 - 迁移 lyxy-reader-office 的所有解析器（docx、xlsx、pptx、pdf） - 迁移 lyxy-reader-html 的所有解析器（html、url 下载） - 统一 CLI 入口为 lyxy_document_reader.py - 统一 Markdown 后处理逻辑 - 按文件类型组织 readers，每个解析器独立文件 - 依赖分组按文件类型细分（docx、xlsx、pptx、pdf、html、http） - PDF OCR 解析器优先，无参数控制 - 使用 logging 模块替代简单 print - 设计完整的单元测试结构 - 重写项目文档 ## 新增目录/文件 - core/ - 核心模块（异常体系、Markdown 工具、解析调度器） - readers/ - 格式阅读器（base.py + docx/xlsx/pptx/pdf/html） - utils/ - 工具函数（文件类型检测） - tests/ - 测试（conftest.py + test_core/ + test_readers/ + test_utils/） - lyxy_document_reader.py - 统一 CLI 入口 ## 依赖分组 - docx - DOCX 文档解析支持 - xlsx - XLSX 文档解析支持 - pptx - PPTX 文档解析支持 - pdf - PDF 文档解析支持（含 OCR） - html - HTML/URL 解析支持 - http - HTTP/URL 下载支持 - office - Office 格式组合（docx/xlsx/pptx/pdf） - web - Web 格式组合（html/http） - full - 完整功能 - dev - 开发依赖
This commit is contained in:
@@ -0,0 +1,2 @@
|
||||
schema: spec-driven
|
||||
created: 2026-03-08
|
||||
@@ -0,0 +1,260 @@
|
||||
## Context
|
||||
|
||||
当前存在两个独立的文档解析 skill：lyxy-reader-office（支持 docx/xlsx/pptx/pdf）和 lyxy-reader-html（支持 html/url）。两个项目存在大量重复代码（common.py 中的 Markdown 处理函数完全相同），维护成本高，且无法统一扩展。
|
||||
|
||||
本项目 lyxy-document 是一个新的 Python 项目，用于统一这两个 skill 的能力。项目当前只有基础结构，需要完整迁移两个 skill 的核心功能。
|
||||
|
||||
项目规范约束：
|
||||
- 语言：仅中文（代码注释、文档、交流）
|
||||
- Python：始终用 uv 运行
|
||||
- 依赖：pyproject.toml 声明，使用 uv 安装
|
||||
- 模块文件：150-300 行
|
||||
- 错误：需自定义异常 + 清晰信息 + 位置上下文
|
||||
- 测试：所有需求必须设计全面测试
|
||||
|
||||
## Goals / Non-Goals
|
||||
|
||||
**Goals:**
|
||||
- 建立统一的项目结构，合并两个 skill 的能力
|
||||
- 提供一致的 CLI 入口 lyxy_document_reader.py
|
||||
- 按文件类型组织 readers，每个解析器独立文件
|
||||
- 建立自定义异常体系
|
||||
- 使用 logging 模块替代简单 print
|
||||
- 迁移所有解析器，保持原有功能和解析器优先级
|
||||
- PDF OCR 优先，无参数控制
|
||||
- 按文件类型细分依赖分组
|
||||
- 设计完整的测试覆盖
|
||||
|
||||
**Non-Goals:**
|
||||
- 保持原有两个 skill 的兼容入口（不需要）
|
||||
- 保留 --high-res 参数（取消）
|
||||
- 重写或优化解析器逻辑（仅迁移，保持原样）
|
||||
- 实现新的解析器（仅迁移现有）
|
||||
- 迁移原有 references 文档（文档重写）
|
||||
|
||||
## Decisions
|
||||
|
||||
### 1. 目录结构
|
||||
|
||||
**决定：** 扁平化目录结构，不使用 src/lyxy_document/ 双层目录。
|
||||
|
||||
```
|
||||
lyxy-document/
|
||||
├── lyxy_document_reader.py # 统一 CLI 入口
|
||||
├── core/ # 核心模块
|
||||
├── readers/ # 格式阅读器
|
||||
├── utils/ # 工具函数
|
||||
└── tests/ # 测试
|
||||
```
|
||||
|
||||
**替代方案：**
|
||||
- src/lyxy_document/ 双层包结构（更标准的 Python 包结构）
|
||||
- 所有文件平铺在根目录（过于混乱）
|
||||
|
||||
**理由：** 用户明确要求减少目录层级，扁平化结构更简单直接，符合当前项目的规模。
|
||||
|
||||
---
|
||||
|
||||
### 2. Reader 注册机制
|
||||
|
||||
**决定：** 显式导入注册，不使用动态发现。
|
||||
|
||||
```python
|
||||
# readers/__init__.py
|
||||
from .base import BaseReader
|
||||
from .docx import DocxReader
|
||||
from .xlsx import XlsxReader
|
||||
from .pptx import PptxReader
|
||||
from .pdf import PdfReader
|
||||
from .html import HtmlReader
|
||||
|
||||
READERS = [
|
||||
DocxReader,
|
||||
XlsxReader,
|
||||
PptxReader,
|
||||
PdfReader,
|
||||
HtmlReader,
|
||||
]
|
||||
```
|
||||
|
||||
**替代方案：**
|
||||
- 通过文件名匹配自动发现（*_reader.py 自动导入）
|
||||
- 入口点（entry points）插件机制
|
||||
|
||||
**理由：** 用户明确要求显式导入，不考虑动态发现。显式导入更清晰、更可预测，符合项目"未上线、无用户"的阶段特点。
|
||||
|
||||
---
|
||||
|
||||
### 3. 解析器组织
|
||||
|
||||
**决定：** 每个解析器独立文件，按文件类型分目录组织。
|
||||
|
||||
```
|
||||
readers/
|
||||
├── docx/
|
||||
│ ├── docling.py
|
||||
│ ├── unstructured.py
|
||||
│ ├── markitdown.py
|
||||
│ ├── pypandoc.py
|
||||
│ ├── python_docx.py
|
||||
│ └── native_xml.py
|
||||
├── xlsx/
|
||||
│ └── ...
|
||||
├── pptx/
|
||||
│ └── ...
|
||||
├── pdf/
|
||||
│ ├── docling_ocr.py
|
||||
│ ├── unstructured_ocr.py
|
||||
│ ├── docling.py
|
||||
│ ├── unstructured.py
|
||||
│ ├── markitdown.py
|
||||
│ └── pypdf.py
|
||||
└── html/
|
||||
├── downloader.py # 不拆分
|
||||
├── cleaner.py
|
||||
├── trafilatura.py
|
||||
├── domscribe.py
|
||||
├── markitdown.py
|
||||
└── html2text.py
|
||||
```
|
||||
|
||||
**替代方案：**
|
||||
- 所有解析器在同一文件（原有方式，文件太大）
|
||||
- 按解析库类型分目录（不如按文件类型直观）
|
||||
|
||||
**理由：** 用户明确要求每个解析器拆分到单个脚本，方便对单个解析器进行优化。按文件类型分目录符合逻辑，下载器和清理器作为 html reader 的辅助模块，不拆分。
|
||||
|
||||
---
|
||||
|
||||
### 4. 异常体系
|
||||
|
||||
**决定：** 自定义异常继承自基异常 LyxyDocumentError。
|
||||
|
||||
```python
|
||||
# core/exceptions.py
|
||||
class LyxyDocumentError(Exception):
|
||||
"""文档处理基异常"""
|
||||
pass
|
||||
|
||||
class FileDetectionError(LyxyDocumentError):
|
||||
"""文件类型检测失败"""
|
||||
pass
|
||||
|
||||
class ReaderNotFoundError(LyxyDocumentError):
|
||||
"""未找到适配的阅读器"""
|
||||
pass
|
||||
|
||||
class ParseError(LyxyDocumentError):
|
||||
"""解析失败"""
|
||||
pass
|
||||
|
||||
class DownloadError(LyxyDocumentError):
|
||||
"""下载失败"""
|
||||
pass
|
||||
```
|
||||
|
||||
**替代方案：**
|
||||
- 直接使用内置异常（不够清晰）
|
||||
- 更细粒度的异常（过度设计）
|
||||
|
||||
**理由：** 符合项目规范"错误需自定义异常 + 清晰信息 + 位置上下文"，5 个异常覆盖主要场景。
|
||||
|
||||
---
|
||||
|
||||
### 5. 依赖分组
|
||||
|
||||
**决定：** 按文件类型细分依赖分组。
|
||||
|
||||
```toml
|
||||
[project.optional-dependencies]
|
||||
docx = [...]
|
||||
xlsx = [...]
|
||||
pptx = [...]
|
||||
pdf = [...]
|
||||
html = [...]
|
||||
http = [...]
|
||||
office = ["lyxy-document[docx,xlsx,pptx,pdf]"]
|
||||
web = ["lyxy-document[html,http]"]
|
||||
full = ["lyxy-document[office,web]"]
|
||||
dev = [...]
|
||||
```
|
||||
|
||||
**替代方案：**
|
||||
- 按原有 skill 分组（office/html，不够细）
|
||||
- 所有依赖在 dependencies（太重）
|
||||
|
||||
**理由：** 用户明确要求分组更细，按文件类型分组让用户可以按需安装，组合分组（office/web/full）提供便利性。
|
||||
|
||||
---
|
||||
|
||||
### 6. PDF OCR 策略
|
||||
|
||||
**决定：** OCR 解析器加入解析器链，优先级最高，无参数控制。
|
||||
|
||||
```python
|
||||
# readers/pdf/__init__.py
|
||||
PARSERS = [
|
||||
("docling OCR", docling_ocr.parse),
|
||||
("unstructured OCR", unstructured_ocr.parse),
|
||||
("docling", docling.parse),
|
||||
("unstructured", unstructured.parse),
|
||||
("MarkItDown", markitdown.parse),
|
||||
("pypdf", pypdf.parse),
|
||||
]
|
||||
```
|
||||
|
||||
**替代方案：**
|
||||
- 保留 --high-res 参数（用户要求取消）
|
||||
- OCR 单独接口（不必要）
|
||||
- 后续智能决策（留待未来）
|
||||
|
||||
**理由：** 用户明确要求取消 --high-res 参数，OCR 与非 OCR 同级，OCR 优先。后续可考虑更智能的方式（如先判断是否需要 OCR）。
|
||||
|
||||
---
|
||||
|
||||
### 7. 模块文件行数
|
||||
|
||||
**决定：** 严格控制单文件行数在 150-300 行。
|
||||
|
||||
**替代方案：**
|
||||
- 不限制行数（可能导致过大文件）
|
||||
- 更严格限制（过度拆分）
|
||||
|
||||
**理由：** 符合项目规范"模块文件 150-300 行"。原有单个 parser.py 文件过大，通过拆分为独立解析器文件来满足要求。
|
||||
|
||||
---
|
||||
|
||||
### 8. 临时文件
|
||||
|
||||
**决定：** 正式代码使用系统临时目录（tempfile 标准库），项目 temp/ 目录仅用于开发过程中的临时文档。
|
||||
|
||||
**替代方案：**
|
||||
- 所有临时文件放项目 temp/（用户明确表示不需要）
|
||||
|
||||
**理由：** 用户明确说明 temp/ 目录是开发过程中大模型或 AI 创建与代码无关的文档时使用，正式代码不使用这个目录。
|
||||
|
||||
## Risks / Trade-offs
|
||||
|
||||
| 风险 | 影响 | 缓解措施 |
|
||||
|-----|------|---------|
|
||||
| 解析器拆分为独立文件后，代码复用需仔细设计 | 中 | 通用工具函数（如 parse_with_markitdown、parse_with_docling）放在 core/markdown.py 或 utils/ 中复用 |
|
||||
| PDF OCR 优先可能导致非 OCR 文档解析变慢 | 中 | 后续可考虑增加智能判断（检测文档是否包含文本层），当前按用户要求保持简单 |
|
||||
| 依赖分组过细可能导致用户困惑 | 低 | 提供 office/web/full 组合分组，文档中说明清楚 |
|
||||
| 没有向后兼容，原有 skill 调用会失效 | 无 | 用户明确表示不需要兼容，项目阶段"未上线、无用户" |
|
||||
| 缺少 --high-res 参数，用户无法控制是否使用 OCR | 低 | 用户明确要求取消，后续可考虑更智能的方式 |
|
||||
|
||||
## Migration Plan
|
||||
|
||||
本项目是新项目，无现有用户，无需迁移。
|
||||
|
||||
实施步骤（详见 tasks.md）：
|
||||
1. 搭建核心模块（core/）
|
||||
2. 搭建基础架构（readers/base.py、utils/）
|
||||
3. 迁移各个 reader（docx/xlsx/pptx/pdf/html）
|
||||
4. 实现统一 CLI 入口
|
||||
5. 编写测试
|
||||
6. 更新文档
|
||||
|
||||
## Open Questions
|
||||
|
||||
无。所有决策已与用户确认。
|
||||
@@ -0,0 +1,40 @@
|
||||
## Why
|
||||
|
||||
当前有两个独立的文档解析 skill（lyxy-reader-office 和 lyxy-reader-html），功能存在大量重复，维护成本高。将它们统一到 lyxy-document 项目中，可以减少代码重复、便于后续扩展，并提供更一致的使用体验。
|
||||
|
||||
## What Changes
|
||||
|
||||
- 建立统一的项目结构，包含 core、readers、utils 等模块
|
||||
- 迁移 lyxy-reader-office 的所有解析器（docx、xlsx、pptx、pdf）
|
||||
- 迁移 lyxy-reader-html 的所有解析器（html、url 下载）
|
||||
- 统一 CLI 入口为 lyxy_document_reader.py
|
||||
- 统一 Markdown 后处理逻辑
|
||||
- 按文件类型组织 readers，每个解析器独立文件
|
||||
- 依赖分组按文件类型细分（docx、xlsx、pptx、pdf、html、http）
|
||||
- PDF OCR 解析器优先，无参数控制
|
||||
- 使用 logging 模块替代简单 print
|
||||
- 设计完整的单元测试和集成测试
|
||||
- 重写项目文档，不迁移原 skill 的 references 文档
|
||||
|
||||
## Capabilities
|
||||
|
||||
### New Capabilities
|
||||
|
||||
- `document-reading`: 统一的文档读取核心能力，包含 CLI 入口、解析调度、Markdown 后处理
|
||||
- `docx-reader`: DOCX 文档解析能力
|
||||
- `xlsx-reader`: XLSX 文档解析能力
|
||||
- `pptx-reader`: PPTX 文档解析能力
|
||||
- `pdf-reader`: PDF 文档解析能力（含 OCR）
|
||||
- `html-reader`: HTML/URL 解析能力
|
||||
|
||||
### Modified Capabilities
|
||||
|
||||
（无现有能力需要修改）
|
||||
|
||||
## Impact
|
||||
|
||||
- 新增目录：core/、readers/、utils/、tests/
|
||||
- 新增入口文件：lyxy_document_reader.py
|
||||
- 更新 pyproject.toml，添加依赖分组
|
||||
- 新增自定义异常体系
|
||||
- 受影响的依赖：docling、unstructured、markitdown、trafilatura、domscribe、html2text、beautifulsoup4、httpx、pyppeteer、selenium、python-docx、python-pptx、pandas、tabulate、pypdf、pypandoc-binary、unstructured-paddleocr
|
||||
@@ -0,0 +1,137 @@
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: 统一 CLI 入口
|
||||
系统 SHALL 提供 lyxy_document_reader.py 作为统一的命令行入口，支持处理所有文档类型。
|
||||
|
||||
#### Scenario: 调用 CLI 帮助信息
|
||||
- **WHEN** 用户执行 `uv run python lyxy_document_reader.py --help`
|
||||
- **THEN** 系统显示完整的命令行参数帮助信息
|
||||
|
||||
#### Scenario: CLI 接受输入路径
|
||||
- **WHEN** 用户执行 `uv run python lyxy_document_reader.py <input_path>`
|
||||
- **THEN** 系统识别输入类型并解析文档
|
||||
|
||||
### Requirement: 输入类型自动识别
|
||||
系统 SHALL 自动识别输入类型，包括 URL 和本地文件。
|
||||
|
||||
#### Scenario: 识别 HTTP URL
|
||||
- **WHEN** 输入以 `http://` 或 `https://` 开头
|
||||
- **THEN** 系统识别为 URL，使用 html-reader 处理
|
||||
|
||||
#### Scenario: 识别 DOCX 文件
|
||||
- **WHEN** 输入文件扩展名为 .docx 或 .doc，或文件内容为 OOXML Word 格式
|
||||
- **THEN** 系统识别为 DOCX，使用 docx-reader 处理
|
||||
|
||||
#### Scenario: 识别 XLSX 文件
|
||||
- **WHEN** 输入文件扩展名为 .xlsx、.xls 或 .xlsm，或文件内容为 OOXML Excel 格式
|
||||
- **THEN** 系统识别为 XLSX，使用 xlsx-reader 处理
|
||||
|
||||
#### Scenario: 识别 PPTX 文件
|
||||
- **WHEN** 输入文件扩展名为 .pptx 或 .ppt，或文件内容为 OOXML PowerPoint 格式
|
||||
- **THEN** 系统识别为 PPTX，使用 pptx-reader 处理
|
||||
|
||||
#### Scenario: 识别 PDF 文件
|
||||
- **WHEN** 输入文件扩展名为 .pdf，或文件头为 %PDF
|
||||
- **THEN** 系统识别为 PDF，使用 pdf-reader 处理
|
||||
|
||||
#### Scenario: 识别 HTML 文件
|
||||
- **WHEN** 输入文件扩展名为 .html、.htm 或 .xhtml
|
||||
- **THEN** 系统识别为 HTML，使用 html-reader 处理
|
||||
|
||||
### Requirement: 输出完整 Markdown
|
||||
系统 SHALL 能够输出解析后的完整 Markdown 内容。
|
||||
|
||||
#### Scenario: 无查询参数时输出完整内容
|
||||
- **WHEN** 用户不使用任何查询参数（-c/-l/-t/-tc/-s）
|
||||
- **THEN** 系统输出完整的 Markdown 文档内容
|
||||
|
||||
### Requirement: 字数统计
|
||||
系统 SHALL 支持统计解析后文档的总字数。
|
||||
|
||||
#### Scenario: 使用 -c 参数统计字数
|
||||
- **WHEN** 用户使用 `-c` 或 `--count` 参数
|
||||
- **THEN** 系统输出解析后文档的总字数（不含换行符）
|
||||
|
||||
### Requirement: 行数统计
|
||||
系统 SHALL 支持统计解析后文档的总行数。
|
||||
|
||||
#### Scenario: 使用 -l 参数统计行数
|
||||
- **WHEN** 用户使用 `-l` 或 `--lines` 参数
|
||||
- **THEN** 系统输出解析后文档的总行数
|
||||
|
||||
### Requirement: 标题提取
|
||||
系统 SHALL 支持提取文档中的所有标题行。
|
||||
|
||||
#### Scenario: 使用 -t 参数提取标题
|
||||
- **WHEN** 用户使用 `-t` 或 `--titles` 参数
|
||||
- **THEN** 系统输出解析后文档的所有 1-6 级标题行
|
||||
|
||||
### Requirement: 指定标题内容提取
|
||||
系统 SHALL 支持提取指定标题及其下级内容。
|
||||
|
||||
#### Scenario: 使用 -tc 参数提取标题内容
|
||||
- **WHEN** 用户使用 `-tc <name>` 或 `--title-content <name>` 参数
|
||||
- **THEN** 系统输出所有匹配标题名称的标题及其下级内容，包含上级标题上下文，多个匹配用 --- 分隔
|
||||
|
||||
#### Scenario: 标题未找到时提示错误
|
||||
- **WHEN** 指定的标题名称未找到
|
||||
- **THEN** 系统输出错误信息并退出非零状态码
|
||||
|
||||
### Requirement: 正则搜索
|
||||
系统 SHALL 支持使用正则表达式搜索文档内容。
|
||||
|
||||
#### Scenario: 使用 -s 参数搜索
|
||||
- **WHEN** 用户使用 `-s <pattern>` 或 `--search <pattern>` 参数
|
||||
- **THEN** 系统输出所有匹配结果及其上下文，多个匹配用 --- 分隔
|
||||
|
||||
#### Scenario: 使用 -n 参数指定上下文行数
|
||||
- **WHEN** 用户同时使用 `-s <pattern>` 和 `-n <num>` 或 `--context <num>` 参数
|
||||
- **THEN** 系统输出匹配结果及其前后指定行数的上下文（不含空行）
|
||||
|
||||
#### Scenario: 无效正则表达式提示错误
|
||||
- **WHEN** 提供的正则表达式无效
|
||||
- **THEN** 系统输出错误信息并退出非零状态码
|
||||
|
||||
#### Scenario: 无匹配结果提示错误
|
||||
- **WHEN** 未找到任何匹配
|
||||
- **THEN** 系统输出错误信息并退出非零状态码
|
||||
|
||||
### Requirement: Markdown 图片移除
|
||||
系统 SHALL 自动移除解析结果中的 Markdown 图片标记。
|
||||
|
||||
#### Scenario: 移除图片标记
|
||||
- **WHEN** 解析结果包含 `` 格式的图片标记
|
||||
- **THEN** 系统移除这些图片标记
|
||||
|
||||
### Requirement: Markdown 空白规范化
|
||||
系统 SHALL 规范化解析结果中的空白字符，保留单行空行。
|
||||
|
||||
#### Scenario: 规范化连续空行
|
||||
- **WHEN** 解析结果包含连续 3 个或更多换行符
|
||||
- **THEN** 系统将其替换为 2 个换行符（保留单行空行）
|
||||
|
||||
### Requirement: 使用 logging 模块
|
||||
系统 SHALL 使用 Python logging 模块进行日志输出，而非简单 print。
|
||||
|
||||
#### Scenario: 日志输出
|
||||
- **WHEN** 系统运行时
|
||||
- **THEN** 所有日志信息通过 logging 模块输出
|
||||
|
||||
### Requirement: 自定义异常
|
||||
系统 SHALL 使用自定义异常类处理错误，提供清晰的错误信息和位置上下文。
|
||||
|
||||
#### Scenario: 抛出 FileDetectionError
|
||||
- **WHEN** 文件类型检测失败
|
||||
- **THEN** 系统抛出 FileDetectionError 异常
|
||||
|
||||
#### Scenario: 抛出 ReaderNotFoundError
|
||||
- **WHEN** 未找到适配的阅读器
|
||||
- **THEN** 系统抛出 ReaderNotFoundError 异常
|
||||
|
||||
#### Scenario: 抛出 ParseError
|
||||
- **WHEN** 文档解析失败
|
||||
- **THEN** 系统抛出 ParseError 异常
|
||||
|
||||
#### Scenario: 抛出 DownloadError
|
||||
- **WHEN** URL 下载失败
|
||||
- **THEN** 系统抛出 DownloadError 异常
|
||||
@@ -0,0 +1,109 @@
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: DOCX 文档解析
|
||||
系统 SHALL 支持解析 DOCX 格式文档，按优先级尝试多个解析器。
|
||||
|
||||
#### Scenario: 按优先级尝试解析器
|
||||
- **WHEN** 解析 DOCX 文档
|
||||
- **THEN** 系统按 docling → unstructured → markitdown → pypandoc-binary → python-docx → XML原生解析的顺序尝试
|
||||
|
||||
#### Scenario: 成功解析
|
||||
- **WHEN** 任一解析器成功
|
||||
- **THEN** 系统返回解析结果
|
||||
|
||||
#### Scenario: 所有解析器失败
|
||||
- **WHEN** 所有解析器均失败
|
||||
- **THEN** 系统返回失败列表并退出非零状态码
|
||||
|
||||
### Requirement: docling 解析器
|
||||
系统 SHALL 支持使用 docling 库解析 DOCX。
|
||||
|
||||
#### Scenario: docling 解析成功
|
||||
- **WHEN** docling 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: docling 库未安装
|
||||
- **WHEN** docling 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: unstructured 解析器
|
||||
系统 SHALL 支持使用 unstructured 库解析 DOCX。
|
||||
|
||||
#### Scenario: unstructured 解析成功
|
||||
- **WHEN** unstructured 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: unstructured 库未安装
|
||||
- **WHEN** unstructured 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: markitdown 解析器
|
||||
系统 SHALL 支持使用 markitdown 库解析 DOCX。
|
||||
|
||||
#### Scenario: markitdown 解析成功
|
||||
- **WHEN** markitdown 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: markitdown 库未安装
|
||||
- **WHEN** markitdown 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: pypandoc-binary 解析器
|
||||
系统 SHALL 支持使用 pypandoc-binary 库解析 DOCX。
|
||||
|
||||
#### Scenario: pypandoc 解析成功
|
||||
- **WHEN** pypandoc-binary 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: pypandoc-binary 库未安装
|
||||
- **WHEN** pypandoc-binary 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: python-docx 解析器
|
||||
系统 SHALL 支持使用 python-docx 库解析 DOCX。
|
||||
|
||||
#### Scenario: python-docx 解析成功
|
||||
- **WHEN** python-docx 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容，保留标题层级、列表、表格、粗体、斜体等格式
|
||||
|
||||
#### Scenario: python-docx 库未安装
|
||||
- **WHEN** python-docx 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: XML 原生解析器
|
||||
系统 SHALL 支持使用 XML 原生解析 DOCX。
|
||||
|
||||
#### Scenario: XML 原生解析成功
|
||||
- **WHEN** 文档有效
|
||||
- **THEN** 系统返回 Markdown 内容，保留标题层级、列表、表格等格式
|
||||
|
||||
#### Scenario: XML 原生解析失败
|
||||
- **WHEN** XML 原生解析失败
|
||||
- **THEN** 系统返回失败信息
|
||||
|
||||
### Requirement: 每个解析器独立文件
|
||||
系统 SHALL 将每个解析器实现为独立的单文件模块。
|
||||
|
||||
#### Scenario: docling 解析器在独立文件
|
||||
- **WHEN** 使用 docling 解析器
|
||||
- **THEN** 从 readers/docx/docling.py 导入
|
||||
|
||||
#### Scenario: unstructured 解析器在独立文件
|
||||
- **WHEN** 使用 unstructured 解析器
|
||||
- **THEN** 从 readers/docx/unstructured.py 导入
|
||||
|
||||
#### Scenario: markitdown 解析器在独立文件
|
||||
- **WHEN** 使用 markitdown 解析器
|
||||
- **THEN** 从 readers/docx/markitdown.py 导入
|
||||
|
||||
#### Scenario: pypandoc 解析器在独立文件
|
||||
- **WHEN** 使用 pypandoc 解析器
|
||||
- **THEN** 从 readers/docx/pypandoc.py 导入
|
||||
|
||||
#### Scenario: python-docx 解析器在独立文件
|
||||
- **WHEN** 使用 python-docx 解析器
|
||||
- **THEN** 从 readers/docx/python_docx.py 导入
|
||||
|
||||
#### Scenario: XML 原生解析器在独立文件
|
||||
- **WHEN** 使用 XML 原生解析器
|
||||
- **THEN** 从 readers/docx/native_xml.py 导入
|
||||
@@ -0,0 +1,188 @@
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: HTML 文档解析
|
||||
系统 SHALL 支持解析 HTML 格式文档和 URL 网页，按优先级尝试多个解析器。
|
||||
|
||||
#### Scenario: 按优先级尝试解析器
|
||||
- **WHEN** 解析 HTML 内容
|
||||
- **THEN** 系统按 trafilatura → domscribe → markitdown → html2text 的顺序尝试
|
||||
|
||||
#### Scenario: 成功解析
|
||||
- **WHEN** 任一解析器成功
|
||||
- **THEN** 系统返回解析结果
|
||||
|
||||
#### Scenario: 所有解析器失败
|
||||
- **WHEN** 所有解析器均失败
|
||||
- **THEN** 系统返回失败列表并退出非零状态码
|
||||
|
||||
### Requirement: URL 下载
|
||||
系统 SHALL 支持从 URL 下载网页内容，按优先级尝试多个下载器。
|
||||
|
||||
#### Scenario: 按优先级尝试下载器
|
||||
- **WHEN** 输入为 URL
|
||||
- **THEN** 系统按 pyppeteer → selenium → httpx → urllib 的顺序尝试下载
|
||||
|
||||
#### Scenario: 成功下载
|
||||
- **WHEN** 任一下载器成功
|
||||
- **THEN** 系统返回 HTML 内容
|
||||
|
||||
#### Scenario: 所有下载器失败
|
||||
- **WHEN** 所有下载器均失败
|
||||
- **THEN** 系统返回失败列表并退出非零状态码
|
||||
|
||||
### Requirement: HTML 内容清理
|
||||
系统 SHALL 在解析前清理 HTML 内容，移除不需要的标签和属性。
|
||||
|
||||
#### Scenario: 移除 script 标签
|
||||
- **WHEN** HTML 内容包含 script 标签
|
||||
- **THEN** 系统移除所有 script 标签
|
||||
|
||||
#### Scenario: 移除 style 标签
|
||||
- **WHEN** HTML 内容包含 style 标签
|
||||
- **THEN** 系统移除所有 style 标签
|
||||
|
||||
#### Scenario: 移除 svg 标签
|
||||
- **WHEN** HTML 内容包含 svg 标签
|
||||
- **THEN** 系统移除所有 svg 标签
|
||||
|
||||
#### Scenario: 移除 link 标签
|
||||
- **WHEN** HTML 内容包含 link 标签
|
||||
- **THEN** 系统移除所有 link 标签
|
||||
|
||||
#### Scenario: 移除 URL 属性
|
||||
- **WHEN** HTML 标签包含 href、src、srcset、action 属性
|
||||
- **THEN** 系统移除这些属性
|
||||
|
||||
#### Scenario: 移除 style 属性
|
||||
- **WHEN** HTML 标签包含 style 属性
|
||||
- **THEN** 系统移除所有 style 属性
|
||||
|
||||
#### Scenario: 移除 data-href 属性
|
||||
- **WHEN** HTML 标签包含 data-href 属性
|
||||
- **THEN** 系统移除这些属性
|
||||
|
||||
#### Scenario: 清理 title 属性中的 URL
|
||||
- **WHEN** HTML 标签的 title 属性包含 URL
|
||||
- **THEN** 系统移除 URL
|
||||
|
||||
#### Scenario: 清理包含 URL 的 class 属性
|
||||
- **WHEN** HTML 标签的 class 属性包含 URL 样式
|
||||
- **THEN** 系统移除这些 class
|
||||
|
||||
### Requirement: pyppeteer 下载器
|
||||
系统 SHALL 支持使用 pyppeteer 下载 URL（支持 JS 渲染）。
|
||||
|
||||
#### Scenario: pyppeteer 下载成功
|
||||
- **WHEN** pyppeteer 库可用且 URL 可访问
|
||||
- **THEN** 系统返回渲染后的 HTML 内容
|
||||
|
||||
#### Scenario: pyppeteer 库未安装
|
||||
- **WHEN** pyppeteer 库未安装
|
||||
- **THEN** 系统尝试下一个下载器
|
||||
|
||||
### Requirement: selenium 下载器
|
||||
系统 SHALL 支持使用 selenium 下载 URL（支持 JS 渲染）。
|
||||
|
||||
#### Scenario: selenium 下载成功
|
||||
- **WHEN** selenium 库可用、LYXY_CHROMIUM_DRIVER 和 LYXY_CHROMIUM_BINARY 环境变量配置正确且 URL 可访问
|
||||
- **THEN** 系统返回渲染后的 HTML 内容
|
||||
|
||||
#### Scenario: selenium 依赖未满足
|
||||
- **WHEN** selenium 库未安装或环境变量未配置
|
||||
- **THEN** 系统尝试下一个下载器
|
||||
|
||||
### Requirement: httpx 下载器
|
||||
系统 SHALL 支持使用 httpx 下载 URL（轻量级 HTTP 客户端）。
|
||||
|
||||
#### Scenario: httpx 下载成功
|
||||
- **WHEN** httpx 库可用且 URL 可访问
|
||||
- **THEN** 系统返回 HTML 内容
|
||||
|
||||
#### Scenario: httpx 库未安装
|
||||
- **WHEN** httpx 库未安装
|
||||
- **THEN** 系统尝试下一个下载器
|
||||
|
||||
### Requirement: urllib 下载器
|
||||
系统 SHALL 支持使用 urllib 下载 URL（标准库，兜底方案）。
|
||||
|
||||
#### Scenario: urllib 下载成功
|
||||
- **WHEN** URL 可访问
|
||||
- **THEN** 系统返回 HTML 内容
|
||||
|
||||
#### Scenario: urllib 下载失败
|
||||
- **WHEN** urllib 下载失败
|
||||
- **THEN** 系统返回失败信息
|
||||
|
||||
### Requirement: trafilatura 解析器
|
||||
系统 SHALL 支持使用 trafilatura 解析 HTML。
|
||||
|
||||
#### Scenario: trafilatura 解析成功
|
||||
- **WHEN** trafilatura 库可用且 HTML 有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: trafilatura 库未安装
|
||||
- **WHEN** trafilatura 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: domscribe 解析器
|
||||
系统 SHALL 支持使用 domscribe 解析 HTML。
|
||||
|
||||
#### Scenario: domscribe 解析成功
|
||||
- **WHEN** domscribe 库可用且 HTML 有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: domscribe 库未安装
|
||||
- **WHEN** domscribe 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: markitdown 解析器
|
||||
系统 SHALL 支持使用 markitdown 解析 HTML。
|
||||
|
||||
#### Scenario: markitdown 解析成功
|
||||
- **WHEN** markitdown 库可用且 HTML 有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: markitdown 库未安装
|
||||
- **WHEN** markitdown 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: html2text 解析器
|
||||
系统 SHALL 支持使用 html2text 解析 HTML（兜底方案）。
|
||||
|
||||
#### Scenario: html2text 解析成功
|
||||
- **WHEN** html2text 库可用且 HTML 有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: html2text 库未安装
|
||||
- **WHEN** html2text 库未安装
|
||||
- **THEN** 系统返回失败信息
|
||||
|
||||
### Requirement: 下载器在 html 目录下
|
||||
系统 SHALL 将下载器和清理器放在 html 目录下，不拆分。
|
||||
|
||||
#### Scenario: downloader.py 在 html 目录
|
||||
- **WHEN** 使用 URL 下载功能
|
||||
- **THEN** 从 readers/html/downloader.py 导入
|
||||
|
||||
#### Scenario: cleaner.py 在 html 目录
|
||||
- **WHEN** 使用 HTML 清理功能
|
||||
- **THEN** 从 readers/html/cleaner.py 导入
|
||||
|
||||
### Requirement: 每个 HTML 解析器独立文件
|
||||
系统 SHALL 将每个 HTML 解析器实现为独立的单文件模块。
|
||||
|
||||
#### Scenario: trafilatura 解析器在独立文件
|
||||
- **WHEN** 使用 trafilatura 解析器
|
||||
- **THEN** 从 readers/html/trafilatura.py 导入
|
||||
|
||||
#### Scenario: domscribe 解析器在独立文件
|
||||
- **WHEN** 使用 domscribe 解析器
|
||||
- **THEN** 从 readers/html/domscribe.py 导入
|
||||
|
||||
#### Scenario: markitdown 解析器在独立文件
|
||||
- **WHEN** 使用 markitdown 解析器
|
||||
- **THEN** 从 readers/html/markitdown.py 导入
|
||||
|
||||
#### Scenario: html2text 解析器在独立文件
|
||||
- **WHEN** 使用 html2text 解析器
|
||||
- **THEN** 从 readers/html/html2text.py 导入
|
||||
@@ -0,0 +1,116 @@
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: PDF 文档解析
|
||||
系统 SHALL 支持解析 PDF 格式文档，按优先级尝试多个解析器，OCR 优先。
|
||||
|
||||
#### Scenario: 按优先级尝试解析器
|
||||
- **WHEN** 解析 PDF 文档
|
||||
- **THEN** 系统按 docling OCR → unstructured OCR → docling → unstructured → markitdown → pypdf 的顺序尝试
|
||||
|
||||
#### Scenario: 成功解析
|
||||
- **WHEN** 任一解析器成功
|
||||
- **THEN** 系统返回解析结果
|
||||
|
||||
#### Scenario: 所有解析器失败
|
||||
- **WHEN** 所有解析器均失败
|
||||
- **THEN** 系统返回失败列表并退出非零状态码
|
||||
|
||||
### Requirement: 无 --high-res 参数
|
||||
系统 SHALL NOT 提供 --high-res 参数来控制是否使用 OCR，OCR 解析器直接加入解析器链。
|
||||
|
||||
#### Scenario: 不接受 --high-res 参数
|
||||
- **WHEN** 用户使用 --high-res 参数
|
||||
- **THEN** 系统提示该参数不存在
|
||||
|
||||
### Requirement: docling OCR 解析器
|
||||
系统 SHALL 支持使用 docling 库的 OCR 模式解析 PDF。
|
||||
|
||||
#### Scenario: docling OCR 解析成功
|
||||
- **WHEN** docling 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: docling 库未安装
|
||||
- **WHEN** docling 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: unstructured OCR 解析器
|
||||
系统 SHALL 支持使用 unstructured 库的 hi_res 策略+PaddleOCR 解析 PDF。
|
||||
|
||||
#### Scenario: unstructured OCR 解析成功
|
||||
- **WHEN** unstructured 和 unstructured-paddleocr 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: unstructured OCR 依赖未安装
|
||||
- **WHEN** unstructured 或 unstructured-paddleocr 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: docling 解析器（非 OCR）
|
||||
系统 SHALL 支持使用 docling 库的非 OCR 模式解析 PDF。
|
||||
|
||||
#### Scenario: docling 解析成功
|
||||
- **WHEN** docling 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: docling 库未安装
|
||||
- **WHEN** docling 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: unstructured 解析器（非 OCR）
|
||||
系统 SHALL 支持使用 unstructured 库的 fast 策略解析 PDF。
|
||||
|
||||
#### Scenario: unstructured 解析成功
|
||||
- **WHEN** unstructured 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: unstructured 库未安装
|
||||
- **WHEN** unstructured 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: markitdown 解析器
|
||||
系统 SHALL 支持使用 markitdown 库解析 PDF。
|
||||
|
||||
#### Scenario: markitdown 解析成功
|
||||
- **WHEN** markitdown 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: markitdown 库未安装
|
||||
- **WHEN** markitdown 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: pypdf 解析器
|
||||
系统 SHALL 支持使用 pypdf 库解析 PDF。
|
||||
|
||||
#### Scenario: pypdf 解析成功
|
||||
- **WHEN** pypdf 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: pypdf 库未安装
|
||||
- **WHEN** pypdf 库未安装
|
||||
- **THEN** 系统返回失败信息
|
||||
|
||||
### Requirement: 每个解析器独立文件
|
||||
系统 SHALL 将每个解析器实现为独立的单文件模块。
|
||||
|
||||
#### Scenario: docling OCR 解析器在独立文件
|
||||
- **WHEN** 使用 docling OCR 解析器
|
||||
- **THEN** 从 readers/pdf/docling_ocr.py 导入
|
||||
|
||||
#### Scenario: unstructured OCR 解析器在独立文件
|
||||
- **WHEN** 使用 unstructured OCR 解析器
|
||||
- **THEN** 从 readers/pdf/unstructured_ocr.py 导入
|
||||
|
||||
#### Scenario: docling 解析器在独立文件
|
||||
- **WHEN** 使用 docling 解析器
|
||||
- **THEN** 从 readers/pdf/docling.py 导入
|
||||
|
||||
#### Scenario: unstructured 解析器在独立文件
|
||||
- **WHEN** 使用 unstructured 解析器
|
||||
- **THEN** 从 readers/pdf/unstructured.py 导入
|
||||
|
||||
#### Scenario: markitdown 解析器在独立文件
|
||||
- **WHEN** 使用 markitdown 解析器
|
||||
- **THEN** 从 readers/pdf/markitdown.py 导入
|
||||
|
||||
#### Scenario: pypdf 解析器在独立文件
|
||||
- **WHEN** 使用 pypdf 解析器
|
||||
- **THEN** 从 readers/pdf/pypdf.py 导入
|
||||
@@ -0,0 +1,94 @@
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: PPTX 文档解析
|
||||
系统 SHALL 支持解析 PPTX 格式文档，按优先级尝试多个解析器。
|
||||
|
||||
#### Scenario: 按优先级尝试解析器
|
||||
- **WHEN** 解析 PPTX 文档
|
||||
- **THEN** 系统按 docling → unstructured → markitdown → python-pptx → XML原生解析的顺序尝试
|
||||
|
||||
#### Scenario: 成功解析
|
||||
- **WHEN** 任一解析器成功
|
||||
- **THEN** 系统返回解析结果
|
||||
|
||||
#### Scenario: 所有解析器失败
|
||||
- **WHEN** 所有解析器均失败
|
||||
- **THEN** 系统返回失败列表并退出非零状态码
|
||||
|
||||
### Requirement: docling 解析器
|
||||
系统 SHALL 支持使用 docling 库解析 PPTX。
|
||||
|
||||
#### Scenario: docling 解析成功
|
||||
- **WHEN** docling 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: docling 库未安装
|
||||
- **WHEN** docling 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: unstructured 解析器
|
||||
系统 SHALL 支持使用 unstructured 库解析 PPTX。
|
||||
|
||||
#### Scenario: unstructured 解析成功
|
||||
- **WHEN** unstructured 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: unstructured 库未安装
|
||||
- **WHEN** unstructured 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: markitdown 解析器
|
||||
系统 SHALL 支持使用 markitdown 库解析 PPTX。
|
||||
|
||||
#### Scenario: markitdown 解析成功
|
||||
- **WHEN** markitdown 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: markitdown 库未安装
|
||||
- **WHEN** markitdown 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: python-pptx 解析器
|
||||
系统 SHALL 支持使用 python-pptx 库解析 PPTX。
|
||||
|
||||
#### Scenario: python-pptx 解析成功
|
||||
- **WHEN** python-pptx 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容，每页用二级标题分隔，保留列表、表格、粗体、斜体等格式
|
||||
|
||||
#### Scenario: python-pptx 库未安装
|
||||
- **WHEN** python-pptx 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: XML 原生解析器
|
||||
系统 SHALL 支持使用 XML 原生解析 PPTX。
|
||||
|
||||
#### Scenario: XML 原生解析成功
|
||||
- **WHEN** 文档有效
|
||||
- **THEN** 系统返回 Markdown 内容，每页用二级标题分隔，保留列表、表格、粗体、斜体等格式
|
||||
|
||||
#### Scenario: XML 原生解析失败
|
||||
- **WHEN** XML 原生解析失败
|
||||
- **THEN** 系统返回失败信息
|
||||
|
||||
### Requirement: 每个解析器独立文件
|
||||
系统 SHALL 将每个解析器实现为独立的单文件模块。
|
||||
|
||||
#### Scenario: docling 解析器在独立文件
|
||||
- **WHEN** 使用 docling 解析器
|
||||
- **THEN** 从 readers/pptx/docling.py 导入
|
||||
|
||||
#### Scenario: unstructured 解析器在独立文件
|
||||
- **WHEN** 使用 unstructured 解析器
|
||||
- **THEN** 从 readers/pptx/unstructured.py 导入
|
||||
|
||||
#### Scenario: markitdown 解析器在独立文件
|
||||
- **WHEN** 使用 markitdown 解析器
|
||||
- **THEN** 从 readers/pptx/markitdown.py 导入
|
||||
|
||||
#### Scenario: python-pptx 解析器在独立文件
|
||||
- **WHEN** 使用 python-pptx 解析器
|
||||
- **THEN** 从 readers/pptx/python_pptx.py 导入
|
||||
|
||||
#### Scenario: XML 原生解析器在独立文件
|
||||
- **WHEN** 使用 XML 原生解析器
|
||||
- **THEN** 从 readers/pptx/native_xml.py 导入
|
||||
@@ -0,0 +1,94 @@
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: XLSX 文档解析
|
||||
系统 SHALL 支持解析 XLSX 格式文档，按优先级尝试多个解析器。
|
||||
|
||||
#### Scenario: 按优先级尝试解析器
|
||||
- **WHEN** 解析 XLSX 文档
|
||||
- **THEN** 系统按 docling → unstructured → markitdown → pandas → XML原生解析的顺序尝试
|
||||
|
||||
#### Scenario: 成功解析
|
||||
- **WHEN** 任一解析器成功
|
||||
- **THEN** 系统返回解析结果
|
||||
|
||||
#### Scenario: 所有解析器失败
|
||||
- **WHEN** 所有解析器均失败
|
||||
- **THEN** 系统返回失败列表并退出非零状态码
|
||||
|
||||
### Requirement: docling 解析器
|
||||
系统 SHALL 支持使用 docling 库解析 XLSX。
|
||||
|
||||
#### Scenario: docling 解析成功
|
||||
- **WHEN** docling 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: docling 库未安装
|
||||
- **WHEN** docling 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: unstructured 解析器
|
||||
系统 SHALL 支持使用 unstructured 库解析 XLSX。
|
||||
|
||||
#### Scenario: unstructured 解析成功
|
||||
- **WHEN** unstructured 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: unstructured 库未安装
|
||||
- **WHEN** unstructured 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: markitdown 解析器
|
||||
系统 SHALL 支持使用 markitdown 库解析 XLSX。
|
||||
|
||||
#### Scenario: markitdown 解析成功
|
||||
- **WHEN** markitdown 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容
|
||||
|
||||
#### Scenario: markitdown 库未安装
|
||||
- **WHEN** markitdown 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: pandas 解析器
|
||||
系统 SHALL 支持使用 pandas 库解析 XLSX。
|
||||
|
||||
#### Scenario: pandas 解析成功
|
||||
- **WHEN** pandas 和 tabulate 库可用且文档有效
|
||||
- **THEN** 系统返回 Markdown 内容，每个工作表用二级标题分隔，数据以表格形式展示
|
||||
|
||||
#### Scenario: pandas 库未安装
|
||||
- **WHEN** pandas 或 tabulate 库未安装
|
||||
- **THEN** 系统尝试下一个解析器
|
||||
|
||||
### Requirement: XML 原生解析器
|
||||
系统 SHALL 支持使用 XML 原生解析 XLSX。
|
||||
|
||||
#### Scenario: XML 原生解析成功
|
||||
- **WHEN** 文档有效
|
||||
- **THEN** 系统返回 Markdown 内容，每个工作表用二级标题分隔，数据以表格形式展示，过滤全空列
|
||||
|
||||
#### Scenario: XML 原生解析失败
|
||||
- **WHEN** XML 原生解析失败
|
||||
- **THEN** 系统返回失败信息
|
||||
|
||||
### Requirement: 每个解析器独立文件
|
||||
系统 SHALL 将每个解析器实现为独立的单文件模块。
|
||||
|
||||
#### Scenario: docling 解析器在独立文件
|
||||
- **WHEN** 使用 docling 解析器
|
||||
- **THEN** 从 readers/xlsx/docling.py 导入
|
||||
|
||||
#### Scenario: unstructured 解析器在独立文件
|
||||
- **WHEN** 使用 unstructured 解析器
|
||||
- **THEN** 从 readers/xlsx/unstructured.py 导入
|
||||
|
||||
#### Scenario: markitdown 解析器在独立文件
|
||||
- **WHEN** 使用 markitdown 解析器
|
||||
- **THEN** 从 readers/xlsx/markitdown.py 导入
|
||||
|
||||
#### Scenario: pandas 解析器在独立文件
|
||||
- **WHEN** 使用 pandas 解析器
|
||||
- **THEN** 从 readers/xlsx/pandas.py 导入
|
||||
|
||||
#### Scenario: XML 原生解析器在独立文件
|
||||
- **WHEN** 使用 XML 原生解析器
|
||||
- **THEN** 从 readers/xlsx/native_xml.py 导入
|
||||
@@ -0,0 +1,81 @@
|
||||
## 1. 项目基础架构
|
||||
|
||||
- [x] 1.1 创建目录结构（core/、readers/、utils/、tests/）
|
||||
- [x] 1.2 更新 pyproject.toml，添加所有依赖分组
|
||||
- [x] 1.3 创建 core/exceptions.py，实现自定义异常体系
|
||||
- [x] 1.4 创建 readers/base.py，实现 Reader 基类
|
||||
|
||||
## 2. 核心模块
|
||||
|
||||
- [x] 2.1 创建 core/markdown.py，迁移 Markdown 后处理函数
|
||||
- [x] 2.2 创建 utils/file_detection.py，实现输入类型检测
|
||||
- [x] 2.3 创建 core/parser.py，实现统一解析调度器
|
||||
- [x] 2.4 创建 readers/__init__.py，显式注册所有 reader
|
||||
|
||||
## 3. DOCX Reader
|
||||
|
||||
- [x] 3.1 创建 readers/docx/ 目录结构和 __init__.py
|
||||
- [x] 3.2 创建 readers/docx/docling.py
|
||||
- [x] 3.3 创建 readers/docx/unstructured.py
|
||||
- [x] 3.4 创建 readers/docx/markitdown.py
|
||||
- [x] 3.5 创建 readers/docx/pypandoc.py
|
||||
- [x] 3.6 创建 readers/docx/python_docx.py
|
||||
- [x] 3.7 创建 readers/docx/native_xml.py
|
||||
|
||||
## 4. XLSX Reader
|
||||
|
||||
- [x] 4.1 创建 readers/xlsx/ 目录结构和 __init__.py
|
||||
- [x] 4.2 创建 readers/xlsx/docling.py
|
||||
- [x] 4.3 创建 readers/xlsx/unstructured.py
|
||||
- [x] 4.4 创建 readers/xlsx/markitdown.py
|
||||
- [x] 4.5 创建 readers/xlsx/pandas.py
|
||||
- [x] 4.6 创建 readers/xlsx/native_xml.py
|
||||
|
||||
## 5. PPTX Reader
|
||||
|
||||
- [x] 5.1 创建 readers/pptx/ 目录结构和 __init__.py
|
||||
- [x] 5.2 创建 readers/pptx/docling.py
|
||||
- [x] 5.3 创建 readers/pptx/unstructured.py
|
||||
- [x] 5.4 创建 readers/pptx/markitdown.py
|
||||
- [x] 5.5 创建 readers/pptx/python_pptx.py
|
||||
- [x] 5.6 创建 readers/pptx/native_xml.py
|
||||
|
||||
## 6. PDF Reader
|
||||
|
||||
- [x] 6.1 创建 readers/pdf/ 目录结构和 __init__.py
|
||||
- [x] 6.2 创建 readers/pdf/docling_ocr.py
|
||||
- [x] 6.3 创建 readers/pdf/unstructured_ocr.py
|
||||
- [x] 6.4 创建 readers/pdf/docling.py
|
||||
- [x] 6.5 创建 readers/pdf/unstructured.py
|
||||
- [x] 6.6 创建 readers/pdf/markitdown.py
|
||||
- [x] 6.7 创建 readers/pdf/pypdf.py
|
||||
|
||||
## 7. HTML Reader
|
||||
|
||||
- [x] 7.1 创建 readers/html/ 目录结构和 __init__.py
|
||||
- [x] 7.2 创建 readers/html/downloader.py，迁移 URL 下载器
|
||||
- [x] 7.3 创建 readers/html/cleaner.py，迁移 HTML 清理器
|
||||
- [x] 7.4 创建 readers/html/trafilatura.py
|
||||
- [x] 7.5 创建 readers/html/domscribe.py
|
||||
- [x] 7.6 创建 readers/html/markitdown.py
|
||||
- [x] 7.7 创建 readers/html/html2text.py
|
||||
|
||||
## 8. 统一 CLI 入口
|
||||
|
||||
- [x] 8.1 创建 lyxy_document_reader.py，实现统一 CLI
|
||||
- [x] 8.2 集成 logging 模块
|
||||
|
||||
## 9. 测试
|
||||
|
||||
- [x] 9.1 创建 tests/conftest.py
|
||||
- [x] 9.2 创建 tests/test_core/，测试核心模块
|
||||
- [x] 9.3 创建 tests/test_readers/test_docx/
|
||||
- [x] 9.4 创建 tests/test_readers/test_xlsx/
|
||||
- [x] 9.5 创建 tests/test_readers/test_pptx/
|
||||
- [x] 9.6 创建 tests/test_readers/test_pdf/
|
||||
- [x] 9.7 创建 tests/test_readers/test_html/
|
||||
- [x] 9.8 创建 tests/test_utils/，测试工具函数
|
||||
|
||||
## 10. 文档
|
||||
|
||||
- [x] 10.1 重写 README.md
|
||||
Reference in New Issue
Block a user