|
|
82b09614d3
|
test: 修复测试静默跳过问题，统一conftest行为
- 移除 test_readers/conftest.py 中重复的 temp_docx/temp_pdf/temp_pptx/temp_xlsx fixtures
- 统一测试行为：依赖缺失时测试失败而非静默跳过
- 修复根 conftest.py 中裸露的 except 子句，改为 except Exception
- 保留 temp_html 和静态文件相关 fixtures
|
2026-03-12 18:57:36 +08:00 |
|
|
|
c90e1c98be
|
test: 补充缺失的核心模块测试，统一CLI测试行为
新增测试文件：
- tests/test_core/test_parser.py - 测试 parse_input/process_content/output_result
- tests/test_core/test_markdown_extra.py - 测试 extract_title_content/search_markdown
- tests/test_utils/test_encoding_detection.py - 测试编码检测模块
- tests/test_readers/test_html_downloader.py - 测试HTML下载器
修改：
- tests/conftest.py - 移除pytest.skip()，所有CLI测试在缺少依赖时直接失败（与HTML测试行为一致）
|
2026-03-12 01:18:13 +08:00 |
|
|
|
229f17bfee
|
feat: 添加自启动机制，移除 --advice 参数
- 创建 bootstrap.py 承载实际 CLI 逻辑
- 重写 lyxy_document_reader.py 为轻量入口，自动检测依赖并启动
- 使用 subprocess.run() 实现跨平台兼容的自启动
- 移除 --advice 参数及相关测试
- 更新文档和规范，简化使用方式
|
2026-03-11 23:49:39 +08:00 |
|
|
|
e67ec24dfd
|
refactor: 优化执行命令，始终包含 pyarmor 依赖
- 更新 SKILL.md 中的命令示例，使用 uv run --with pyarmor
- advice_generator.py 中始终添加 pyarmor 依赖（混淆后脚本需要）
- 生成的 pip 命令也始终包含 pyarmor
|
2026-03-11 18:24:05 +08:00 |
|
|
|
aa1f0a9e94
|
refactor: 调整 SKILL.md 结构，突出执行路径优先级
|
2026-03-11 12:41:26 +08:00 |
|
|
|
a8af3cc6c4
|
feat: 添加 skill 发布功能和混淆构建优化
- build.py: 移除 --obfuscate 参数，默认混淆模式；从 git config 读取 author，动态注入 SKILL.md
- publish.py: 新增发布脚本，自动 clone 目标仓库、同步 build/ 内容、git commit+push
- publish.sh: 新增一键构建+发布脚本
- skill-publishing spec: 新增发布规范
- skill-packaging spec: 更新构建规范
|
2026-03-11 12:22:46 +08:00 |
|
|
|
65c746c639
|
refactor: 移除 doc 和 ppt reader 支持
移除对旧版 .doc 和 .ppt 格式的支持，以简化项目架构和减少维护负担。
变更内容：
- 删除 scripts/readers/doc/ 目录
- 删除 scripts/readers/ppt/ 目录
- 从 readers/__init__.py 中移除 DocReader 和 PptReader
- 从 utils/file_detection.py 中移除 is_valid_doc 和 is_valid_ppt
- 从 config.py 中移除 doc 和 ppt 依赖配置
- 从 advice_generator.py 中移除相关映射
- 更新 CLI 帮助文档
- 更新 README.md 文档
- 删除相关测试用例
- 删除相关规范文档
|
2026-03-11 00:55:15 +08:00 |
|
|
|
fad0edc46a
|
feat: 添加 doc/xls/ppt 旧格式文档静态测试文件支持
- 更新 .gitattributes，将 fixtures 目录所有文件纳入 Git LFS
- 在 tests/test_readers/conftest.py 中添加静态文件 fixtures
- 添加 doc/xls/ppt 静态测试文件（9个文件）
- 更新各旧格式解析器测试用例使用静态文件
- 更新一致性测试使用静态文件
- 在 README.md 中添加 fixtures 使用规范
- 同步 delta specs 到主 specs（doc-reader/xls-reader/ppt-reader/reader-testing/test-fixtures）
- 归档 add-static-test-fixtures 变更
|
2026-03-11 00:30:47 +08:00 |
|
|
|
725b91374f
|
refactor: 删除未使用的 detect_file_type 函数
- 移除 scripts/utils/file_detection.py 中的 _FILE_TYPE_VALIDATORS 字典
- 移除 scripts/utils/file_detection.py 中的 detect_file_type 函数
- 从 scripts/utils/__init__.py 中移除 detect_file_type 的导入和导出
|
2026-03-10 23:31:18 +08:00 |
|
|
|
cf10458dd6
|
feat: 添加 doc/xls/ppt 旧格式文档支持
- 新增 DocReader，支持 markitdown 和 pypandoc-binary 解析器
- 新增 XlsReader，支持 unstructured、markitdown 和 pandas+xlrd 解析器
- 新增 PptReader，支持 markitdown 解析器
- 添加 olefile 依赖用于验证 OLE2 格式
- 更新 config.py 添加 doc/xls/ppt 依赖配置
- 更新 --advice 支持 doc/xls/ppt 格式
- 添加相应的测试用例
- 同步 specs 到主目录
|
2026-03-10 23:09:13 +08:00 |
|
|
|
e53e64d386
|
refactor: 优化 chardet 依赖配置，仅保留在 HTML reader 中
- 从 pdf/docx/xlsx/pptx reader 的依赖列表中移除 chardet
- 保留 chardet 在 html reader 的依赖配置中（唯一实际使用方）
- 更新 README.md 文档，移除不必要的 chardet 依赖说明
- 简化测试命令，移除非 HTML reader 测试中的 chardet
|
2026-03-10 12:44:35 +08:00 |
|
|
|
688933c228
|
fix: 移除 cleaner.py 顶层导入，完善 README 测试指引
- 移除 cleaner.py 中 beautifulsoup4 的顶层导入，改为完全依赖函数内动态导入
- 新增 README 快速开始章节，提供验证环境和基础测试命令
- 完善测试前置依赖说明，明确仅需 chardet 即可运行基础测试
- 更新所有测试命令，移除不必要的 --with beautifulsoup4
|
2026-03-10 11:08:51 +08:00 |
|
|
|
25d748aa17
|
docs: 重构 README.md 和 SKILL.md，明确文档职责
- README.md 面向开发者：添加项目概述、核心概念说明、开发指南
- SKILL.md 面向 AI：强化 --advice 作为首选方案，明确三路径执行优先级
- 更新 specs：skill-documentation 和 uv-with-dependency-management
- README 添加 reportlab 测试依赖
|
2026-03-09 21:56:58 +08:00 |
|
|
|
9abc0a0707
|
test: 修复 PDF unstructured special_chars 测试在 Windows 下的兼容性问题
|
2026-03-09 21:38:33 +08:00 |
|
|
|
aaa1171e60
|
feat: 添加 --advice 参数，支持快速获取执行建议
- 新增 scripts/core/advice_generator.py 建议生成器模块
- 在 config.py 中添加 DEPENDENCIES 依赖配置
- 在 lyxy_document_reader.py 中添加 -a/--advice 参数
- 复用 Reader 实例的 supports 方法检测文件类型
- 支持平台检测，对 macOS x86_64 PDF 返回特殊命令
- 添加单元测试和集成测试
- 更新 SKILL.md，引导优先使用 --advice 参数
- 更新 README.md，添加项目结构说明
- 添加 openspec/specs/cli-advice/spec.md 规范文档
|
2026-03-09 18:13:00 +08:00 |
|
|
|
9daff73589
|
refactor: 调整模块导入路径，简化引用结构
- 更新 openspec/config.yaml 中 git 任务相关说明
- 将 scripts.core.* 改为 core.*，scripts.readers.* 改为 readers.*
- 优化 lyxy_document_reader.py 中 sys.path 设置方式
- 同步更新所有测试文件的导入路径
|
2026-03-09 15:44:51 +08:00 |
|
|
|
6e75c99d5b
|
chore: 更新 Claude Code 权限设置
- 将 WebSearch 从 allow 列表移到 deny 列表
|
2026-03-09 14:39:44 +08:00 |
|
|
|
d860e17b2c
|
feat: 添加 PyArmor 代码混淆支持
- 新增 --obfuscate 命令行参数，支持使用 PyArmor 混淆代码
- 通过 uv run --with pyarmor 按需加载 PyArmor，不污染主机环境
- 添加友好的错误提示，引导用户正确使用 --with pyarmor
- 保持非混淆模式完全向后兼容
- 更新 skill-packaging spec，新增混淆相关需求
|
2026-03-09 14:36:52 +08:00 |
|
|
|
c140bda66b
|
docs: 移除 pyproject.toml，改为 uv run --with 依赖管理方式
- 移除 pyproject.toml 和 uv.lock
- 更新 SKILL.md：使用 uv run --with 按需加载依赖
- 更新 README.md：添加多行格式的测试命令
- 更新项目规范文档
- 修复脚本：支持从任意位置执行
- 新增 uv-with-dependency-management 规范
|
2026-03-09 14:14:33 +08:00 |
|
|
|
dfe6904f4c
|
feat: 添加多平台依赖支持
为不同平台提供特定的依赖 extras，解决 macOS x86_64 的依赖兼容性问题。
- 添加平台特定的 PDF 解析 extras：pdf-win, pdf-macos-intel, pdf-macos-arm, pdf-linux
- 添加平台特定的 Office 文档 extras：office-win, office-macos-intel, office-macos-arm, office-linux
- macOS x86_64 使用硬编码版本：docling==2.40.0, docling-parse==4.0.0
- 移除通用的 pdf 和 office extras，强制用户选择平台
- 更新 SKILL.md 添加详细的多平台依赖安装指南
- 更新 README.md 添加平台特定安装说明
- 在 .gitignore 中添加 uv.lock
- 删除现有的 uv.lock 文件
- 创建 multi-platform-dependencies 规范文档
|
2026-03-09 10:49:53 +08:00 |
|
|
|
b2fb418a06
|
refactor: 将 skill 文档移动到项目根目录
- 将 skill/SKILL.md 移动至根目录 SKILL.md
- 更新 build.py 中的路径配置
- 更新 openspec/config.yaml 中的文档位置说明
|
2026-03-09 10:05:40 +08:00 |
|
|
|
58093e0877
|
feat: 添加 skill 打包脚本 build.py
新增 build.py 实现 skill 自动化打包：
- 一键完成 skill/SKILL.md 和 scripts/ 打包到 build/
- 时间戳版本号格式 YYYYMMDD_HHMMSS
- 仅复制 .py 文件，避免创建空目录
- 添加 skill-packaging spec 文档
|
2026-03-09 01:37:36 +08:00 |
|
|
|
47038475d4
|
refactor: 将 HTML 下载器拆分为子包结构
将 scripts/readers/html/downloader.py (263行) 拆分为 downloader/ 子包，各下载器独立维护：
- 创建 downloader/ 子包，包含 __init__.py、common.py 和 4 个下载器模块
- common.py 集中管理公共配置（USER_AGENT、CHROME_ARGS 等）
- 各下载器统一接口 download(url: str) -> Tuple[Optional[str], Optional[str]]
- 在 __init__.py 定义 DOWNLOADERS 列表显式注册，参考 parser 模式
- 更新 html/__init__.py 导入语句，从 .downloader import download_html
- 添加完整的类型注解，提升代码可维护性
|
2026-03-09 01:13:42 +08:00 |
|
|
|
1aea561277
|
refactor: 重构 Reader 内部工具函数到独立模块
- 新增 scripts/readers/_utils.py 作为 Reader 内部共享工具模块
- 将 parse_with_markitdown 等函数从 core/markdown.py 迁移到 _utils.py
- 函数重命名：parse_with_xxx → parse_via_xxx，_unstructured_elements_to_markdown → convert_unstructured_to_markdown
- 更新 17 个 Reader 实现文件的 import 路径
- 从 core/__init__.py 移除已迁移函数的导出
- 新增测试文件 tests/test_readers/test_utils.py
- 新增 spec 文档 openspec/specs/reader-internal-utils/spec.md
这次重构明确了模块边界：core/ 提供公共 API，readers/_utils.py 提供 Reader 内部工具
|
2026-03-09 00:56:05 +08:00 |
|
|
|
b80c635f07
|
refactor: 完善降级链的异常捕获机制
为所有 Reader 的 parser 循环添加 try-except 防护层，确保即使 parser
抛出意外异常，降级链也能继续尝试下一个 parser。
主要变更：
- 所有 Reader (DocxReader/PdfReader/XlsxReader/PptxReader/HtmlReader)
的 parse 方法中添加防护层，捕获意外异常并标记为 [意外异常]
- cleaner.clean_html_content() 添加异常处理，返回 (content, error) 元组
- HtmlReader.parse() 更新 cleaner 调用方式，处理新的返回值格式
- BaseReader 添加详细的异常处理规范文档
设计原则：双层异常保护
- Parser 层：捕获预期的解析失败（库未安装、格式不支持）
- Reader 层：捕获意外的编程错误（NoneType、索引越界等）
|
2026-03-09 00:26:51 +08:00 |
|
|
|
2b81dd49fe
|
refactor: 统一 HTML Reader 的 parse 签名，使用文件路径参数
将所有 HTML Parser 的函数签名从接收 HTML 字符串改为接收文件路径，
与其他 Reader（PDF、DOCX 等）保持一致。
主要变更：
- 修改 PARSERS 列表，移除 lambda 表达式，直接传递函数引用
- 在 HtmlReader.parse() 中统一管理临时文件（UTF-8 编码）
- 每个 Parser 使用独立的临时文件副本，用完即清理
- 移除 download_and_parse() 方法，逻辑合并到 parse() 中
- 更新相关测试，改为直接传递文件路径
受影响的 Parser：
- trafilatura.parse(html_content) -> parse(file_path)
- domscribe.parse(html_content) -> parse(file_path)
- markitdown.parse(html_content, temp_file_path) -> parse(file_path)
- html2text.parse(html_content) -> parse(file_path)
|
2026-03-09 00:05:23 +08:00 |
|
|
|
09904aefdc
|
refactor: 移除 BaseReader 中未使用的 supported_extensions 属性
从 BaseReader 抽象基类及所有 Reader 子类中移除 supported_extensions
属性，该属性在代码库中从未被实际调用，仅作为元数据存在。
|
2026-03-08 22:56:32 +08:00 |
|
|
|
7eab1dcef1
|
test: 添加全面的测试套件，覆盖所有 Reader 实现
- 测试数量从 83 个增加到 193 个 (+132%)
- 代码覆盖率从 48% 提升到 69% (+44%)
- 为每种文档格式的所有 Reader 实现创建独立测试
- 添加跨 Reader 的一致性验证测试
- 新增 4 个测试规范 (cli-testing, exception-testing, reader-testing, test-fixtures)
- 更新 README 测试统计信息
测试覆盖:
- DOCX: python-docx, markitdown, docling, native-xml, pypandoc, unstructured
- PDF: pypdf, markitdown, docling, docling-ocr, unstructured, unstructured-ocr
- HTML: html2text, markitdown, trafilatura, domscribe
- PPTX: python-pptx, markitdown, docling, native-xml, unstructured
- XLSX: pandas, markitdown, docling, native-xml, unstructured
- CLI: 所有命令行选项和错误处理
所有 193 个测试通过。
|
2026-03-08 22:20:21 +08:00 |
|
|
|
c35bbc90b5
|
docs: 优化 skill 文档并添加更新原则
优化 skill/SKILL.md 遵循 Claude Skill 构建指南：
- 重写 YAML frontmatter，添加触发词和 compatibility 字段
- 新增 Purpose、When to Use、Quick Reference、Workflow 章节
- 说明双路径执行策略（lyxy-runner-python 优先，回退主机 Python）
- 修正依赖说明，使用具体 pip 包名
在 README.md 中添加 Skill 文档规范章节，明确更新原则
新增 openspec/specs/skill-documentation/ 规范文件
|
2026-03-08 18:43:07 +08:00 |
|
|
|
8063e24f99
|
chore: 简化 pyproject.toml 配置
- 移除 dev 分组中的 black、isort、mypy 依赖
- 移除 [project.scripts] 命令行入口配置
- 移除 [build-system] 构建系统配置
- 移除所有工具配置（black、isort、mypy、pytest）
|
2026-03-08 18:18:58 +08:00 |
|
|
|
b98e70383c
|
docs: 分离用户文档与开发文档
- 将 README.md 重构为开发文档，包含开发环境、工作流、代码规范
- 新建 skill/SKILL.md 作为用户文档，包含快速开始和命令选项
- 更新 openspec/config.yaml 添加项目概述和 skill 目录声明
|
2026-03-08 18:08:44 +08:00 |
|
|
|
15b63800a8
|
refactor: 将核心代码迁移到 scripts 目录
- 创建 scripts/ 目录作为核心代码根目录
- 移动 core/, readers/, utils/ 到 scripts/ 下
- 移动 config.py, lyxy_document_reader.py 到 scripts/
- 移动 encoding_detection.py 到 scripts/utils/
- 更新 pyproject.toml 中的入口点路径和 pytest 配置
- 更新所有内部导入语句为 scripts.* 模块
- 更新 README.md 目录结构说明
- 更新 openspec/config.yaml 添加目录结构说明
- 删除无用的 main.py
此变更使项目结构更清晰，便于区分核心代码与测试、文档等支撑文件。
|
2026-03-08 17:41:03 +08:00 |
|
|
|
750ef50a8d
|
refactor: 重构解析器架构并添加编码检测和配置管理
简化 parse_input() 为纯调度器，通过遍历 readers 的 supports() 方法识别输入类型，移除 URL 特殊处理和文件检查逻辑。各 reader 的 parse() 方法负责完整验证（文件存在、格式有效性）。
新增功能：
- 添加 chardet 编码自动检测，支持多种中文编码回退机制
- 创建统一配置类管理编码、下载超时、日志等级等配置项
- HTML reader 支持本地文件编码检测和 URL 统一处理
安全性改进：
- 修复 safe_open_zip() 路径遍历漏洞，使用 pathlib 规范化路径
- 添加边界检查，search_markdown() 检查负数参数
其他改进：
- 修复类型注解（argparse.Namespace）
- 日志系统仅输出 ERROR 级别，避免干扰 Markdown 输出
- 更新 BaseReader 接口文档，明确 supports() 和 parse() 职责划分
- 同步 delta specs 到主 specs（document-reading、html-reader、configuration、encoding-detection）
|
2026-03-08 16:33:40 +08:00 |
|
|
|
eb044d37d9
|
chore: 将 openspec/changes/archive 移出 git 跟踪
- 在 .gitignore 中添加 openspec/changes/archive
- 从 git 缓存中移除已跟踪的 archive 目录内容
|
2026-03-08 14:16:49 +08:00 |
|
|
|
6c003d73f3
|
docs: 同步 delta specs 到主 specs
从归档的 unify-document-readers change 同步 delta specs 到主 specs 目录。
新增 specs：
- document-reading - 统一文档读取核心能力
- docx-reader - DOCX 文档解析能力
- xlsx-reader - XLSX 文档解析能力
- pptx-reader - PPTX 文档解析能力
- pdf-reader - PDF 文档解析能力（含 OCR）
- html-reader - HTML/URL 文档解析能力
|
2026-03-08 13:52:30 +08:00 |
|
|
|
833018d451
|
feat: 统一文档解析器项目 - 迁移 lyxy-reader-office 和 lyxy-reader-html
## 功能特性
- 建立统一的项目结构，包含 core/、readers/、utils/、tests/ 模块
- 迁移 lyxy-reader-office 的所有解析器（docx、xlsx、pptx、pdf）
- 迁移 lyxy-reader-html 的所有解析器（html、url 下载）
- 统一 CLI 入口为 lyxy_document_reader.py
- 统一 Markdown 后处理逻辑
- 按文件类型组织 readers，每个解析器独立文件
- 依赖分组按文件类型细分（docx、xlsx、pptx、pdf、html、http）
- PDF OCR 解析器优先，无参数控制
- 使用 logging 模块替代简单 print
- 设计完整的单元测试结构
- 重写项目文档
## 新增目录/文件
- core/ - 核心模块（异常体系、Markdown 工具、解析调度器）
- readers/ - 格式阅读器（base.py + docx/xlsx/pptx/pdf/html）
- utils/ - 工具函数（文件类型检测）
- tests/ - 测试（conftest.py + test_core/ + test_readers/ + test_utils/）
- lyxy_document_reader.py - 统一 CLI 入口
## 依赖分组
- docx - DOCX 文档解析支持
- xlsx - XLSX 文档解析支持
- pptx - PPTX 文档解析支持
- pdf - PDF 文档解析支持（含 OCR）
- html - HTML/URL 解析支持
- http - HTTP/URL 下载支持
- office - Office 格式组合（docx/xlsx/pptx/pdf）
- web - Web 格式组合（html/http）
- full - 完整功能
- dev - 开发依赖
|
2026-03-08 13:46:37 +08:00 |
|
|
|
eb8973495e
|
docs: 添加 git 提交信息格式规范
|
2026-03-08 11:51:06 +08:00 |
|
|
|
aa14ddc942
|
chore: 初始化 lyxy-document 项目
- 项目配置（pyproject.toml, uv.lock）
- 初始入口文件 main.py
- OpenSpec 配置和工作流
- Claude Code 技能和命令配置
- 项目文档（README.md, CLAUDE.md, AGENTS.md）
|
2026-03-08 11:50:34 +08:00 |
|
