掘金 人工智能 09月19日
MinerU:智能文档解析工具,高效提取结构化信息
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

MinerU是由上海人工智能实验室(OpenDataLab)开发的一款开源智能文档解析工具。它专注于高效、精准地提取PDF文档、网页和电子书内容,并将其转换为机器可读的结构化格式,如Markdown和JSON。主要功能包括去除页眉页脚、保留阅读顺序、提取标题、段落、列表、图像、表格及公式(转换为LaTeX),并支持OCR识别84种语言。MinerU可部署在CPU环境,并支持GPU/NPU加速,兼容Windows、Linux和Mac平台。安装部署过程包括环境准备、源码安装、模型下载及推理框架配置,并提供了FastAPI和Gradio WebUI两种使用方式,同时支持通过配置文件扩展功能。

📄 **高效智能解析**:MinerU能够智能地从PDF文档、网页和电子书中提取内容,并将其转换为结构化格式(如Markdown、JSON),极大地提高了信息处理的效率。它能自动处理页眉、页脚、脚注和页码等干扰元素,确保提取内容的语义连贯性。

🖼️ **多元素提取与格式转换**:该工具不仅提取文本信息,还能识别并提取图像、图片描述、表格(转换为HTML)、表格标题及脚注。特别之处在于,它能自动识别并将文档中的公式转换为LaTeX格式,为需要精确数学表达的场景提供了便利。

🌐 **强大的OCR与多语言支持**:MinerU具备先进的OCR功能,能够检测和识别扫描版PDF和乱码PDF。其OCR引擎支持多达84种语言的检测与识别,大大拓宽了其在跨语言文档处理方面的应用范围。

💻 **灵活的部署与加速**:MinerU支持纯CPU环境运行,同时兼容GPU(CUDA)/NPU(CANN)/MPS硬件加速,显著提升了处理速度。它跨平台兼容Windows、Linux和Mac系统,并且提供了FastAPI和Gradio WebUI等多种易于集成的调用方式。

⚙️ **可扩展的配置选项**:用户可以通过编辑`mineru.json`文件来扩展MinerU的功能,例如自定义LaTeX公式分隔符、配置LLM辅助标题分级(兼容OpenAI协议模型),以及指定本地模型存储目录,满足个性化的使用需求。

一、介绍

MinerU 是由上海人工智能实验室(OpenDataLab)团队开发的一款开源智能文档解析工具,专注于将复杂的PDF文档、网页和电子书内容,高效、精准地提取并转换为机器可读的结构化格式(如Markdown、JSON等),可以很方便地抽取为任意格式。

主要功能

二、部署

1、基础环境

2、安装 MinerU

通过源码安装MinerU,首先创建虚拟环境,然后安装UV,克隆MinerU的源码,最后UV来安装

conda create -n mineru python=3.12 -yconda activate minerupip install uv -i https://mirrors.aliyun.com/pypi/simplegit clone https://github.com/opendatalab/MinerU.gitcd MinerUuv pip install -e .[all] -i https://mirrors.aliyun.com/pypi/simple

3、模型下载

MinerU默认使用huggingface作为模型源,若用户网络无法访问huggingface,可以通过环境变量便捷地切换模型源为modelscope;

export MINERU_MODEL_SOURCE=modelscope

使用命令下载模型到本地,查看命令使用情况。下载好的模型目录通过 mineru.json 来调用,ineru.json 文件会在您使用内置模型下载命令 mineru-models-download 时自动生成,生成在用户目录,当前使用root用户,生成位置为 /root/mineru.json

mineru-models-download --helpmineru-models-download

默认模型下载位置,若需要修改模型位置,可以移动模型到其它位置,然后修改 mineru.json文件。

4、推理框架

5、使用

通过fast api 方式调用。

mineru-api --host 0.0.0.0 --port 8080

通过访问 /docs 可以查看调用方式。

(推荐)使用gradio webui。

mineru-gradio --server-name 0.0.0.0 --server-port 8080

5、配置文件扩展 MinerU 功能

通过编辑用户目录下的 mineru.json 文件,添加自定义配置。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

MinerU 文档解析 OCR 结构化信息提取 OpenDataLab AI工具 Document Parsing Structured Data Extraction Intelligent Tools
相关文章