[导读]文字是传递信息的高效途径,利用OCR技术提取文本信息是各行业向数字智能化转型的第一步。与此同时,针对OCR提取的海量文本信息,利用NLP技术进一步加工提取、分析理解后才能最大化发挥文本信息的价值。NLP技术可以提升OCR准确率,并从文本中抽取关键信息、构建知识图谱,搭建检索、推荐...
文字是传递信息的高效途径,利用OCR技术提取文本信息是各行业向数字智能化转型的第一步。与此同时,针对OCR提取的海量文本信息,利用NLP技术进一步加工提取、分析理解后才能最大化发挥文本信息的价值。NLP技术可以提升OCR准确率,并从文本中抽取关键信息、构建知识图谱,搭建检索、推荐、问答系统等。
虽然各行业智能化产业升级已经在如火如荼的开展中,但是在实际应用落地中却遇到诸多困难,比如:数据样本不够、模型精度不高、预测时延大等。为此,百度飞桨针对真实、高频的产业场景,提供了从数据准备、模型训练优化,到模型部署全流程的案例教程。
听说文档和代码已经开源了,来吧
-
https://github.com/PaddlePaddle/awesome-DeepLearning
OCR NLP 串联技术难点
市面上有不少开源的OCR、NLP产品,但是如果想直接利用这些工具,会面临底层框架不统一、串联难度高、效果无法保证等问题。PaddleOCR和PaddleNLP是面向产业界的开发库,均基于飞桨开源框架最新版本,能够将OCR和NLP技术无缝结合。
今天我们针对金融行业研报、物流快递单,来看看OCR NLP信息抽取技术的应用。
OCR NLP金融研报分析
当前,诸多投资机构都通过研报的形式给出对于股票、基金以及行业的判断,让大众了解热点方向、龙头公司等各类信息。然而,分析和学习研报往往花费大量时间,研报数量的与日俱增也使得研报智能分析诉求不断提高。这里我们采用命名实体识别技术,自动抽取研报中的关键信息,例如,“中国银行成立于1912年。”中包含了组织机构、场景事件、时间等实体信息。
OCR NLP Pipeline
针对研报数据的命名实体识别与词频统计整体流程如上图所示。首先将研报pdf数据使用fitz包拆分为图像格式,然后利用PaddleOCR套件在研报数据集上微调PP-OCR[1]的检测模型,使用现有的识别模型获得文本信息。PP-OCR是PaddleOCR中由百度自研的明星模型系列,由文本检测、文本方向分类器与文本识别模块串联而成。
PP-OCR Pipeline
对OCR识别出的文本进行整理后,调用PaddleNLP中的Taskflow API抽取文本信息中的组织机构实体。最后对这些实体进行词频统计,就可初步判定当前研报分析的热点机构。
Taskflow使用示意图
目前,Taskflow API 支持自然语言理解(NLU)和生成(NLG)两大场景共八大任务,包括中文分词、词性标注、命名实体识别、句法分析、文本纠错、情感分析、生成式问答和智能写诗,均可一键调用。
物流快递单信息抽取
双十一要到了,想必很多人都预备了一个满满的购物车。去年双十一成交量4982亿元,全国快递企业共处理快件39亿件,这背后则是物流行业工作量的骤增。除了满负荷的长深高速公路,还有繁忙的快递小哥。无论是企业业务汇总,还是寄件信息填写,都少不了关键信息智能提取这一环节,这其中均采用了命名实体识别技术。
命名实体识别大体上有三种方案:字符串匹配、统计语言模型、序列标注。前两种方法需要预先构建词典、穷举所有实体,无法发现新词、变体等。本案例中采用了目前的主流方法——序列标注。
数据集包括1600条训练集,200条训练集和200条测试集,采用BIO体系进行标注。
实体定义和数据集标注示例
针对轻量化、高精度的需求,可以选用RNN CRF 方案。也可以采用预训练模型,通过模型压缩、动转静加速等方式满足精度和性能的要求。我们采用Ernie-Gram[2] CRF 获得了最佳效果。
此外,命名实体识别技术可以应用于各类关键信息的提取,例如电商评论中的商品名称、电子发票中的抬头信息、收入证明中的金额、法律文书中的犯罪地点等信息。结合关系抽取、事件抽取技术,还可以构建知识图谱、搭建问答系统等。 ☆直播预告☆
为了便于大家更熟练地使用这些案例教程,百度高工将于10月26-28日围绕四大行业、八大真实场景亲授产业实践案例课,欢迎小伙伴们锁定我们的直播间,来和我们交流吧!扫码报名直播课,立即加入技术交流群
本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
中国科技公司已经开发出顶尖AI大模型,但和美国及世界其它国家一样,没有人知道如何用AI赚到钱。从OpenAI、Anthropic到谷歌,从深度求索、月之暗面到阿里巴巴、字节跳动,投资都远超收益。
关键字:
AI
人工智能
开源
闭源
AI模型
平均年龄约30岁的年轻团队与资深工艺师傅共同打造,面向机械加工企业免费开放 上海2026年7月16日 /美通社/ -- 世界人工智能大会前夕,一支平均年龄约30岁的年轻团队交出了一份答卷——蓝沃AI在沪发布并开源「沃土...
关键字:
开源
模型
AI
LEVEL
基于 10 万张真实工厂图纸、36 位从业 20 年以上工艺工程师亲手校验,与老师傅思路契合度超 95%,工艺路线起草提速约 60% 上海2026年...
关键字:
AI
LEVEL
开源
模型
从开源创新走向更成熟的全球生产实践,异构算力虚拟化与 Kubernetes 原生 GPU 共享调度进入新阶段 上海2026年7月7日 /美通社/ -- 随着 AI 应用从试点走向生产,企业对算力基础设施的关注正在发生变...
关键字:
BAT
开源
TI
AI
北京2026年6月26日 /美通社/ -- 6 月 25 日,第 21 届开源中国·开源世界高峰论坛在北京中关村展示中心举行。本届大会由开源软件推进联盟(COPU)名誉主席、国际开源领袖奖获得者陆首群发起,...
关键字:
开源
AI
模型
AGENT
在芯片设计领域,Synopsys ICC2/Cadence Innovus 是数字后端(P&R)的事实标准,但其高昂的授权费用将许多学术团队与初创公司拒之门外。OpenROAD 项目旨在提供一套完全开源、License-...
关键字:
OpenROAD
开源
数字后端
北京——2026年6月18日 亚马逊云科技宣布,专注于Agent构建、连接与优化的一站式平台Amazon Bedrock AgentCore推出多项新功能,助力企业加速构建拥有更广阔知识和持续学习能力的Agent。这些新...
关键字:
AI
开源
模型
北京2026年6月16日 /美通社/ -- 6月16日,亦数智能(北京)科技有限公司(简称亦数智能)在北京经开区(北京亦庄)正式揭牌。该公司聚焦具身智能机器人数据采集、数据存储、数据资产化以及高质量数据集的规模...
关键字:
机器人
数据采集
模型
开源
中国济南2026年6月12日 /美通社/ -- 2026年6月11日,2026信息技术应用创新发展大会在济南成功举行。大会期间,瀚高股份正式发布了面向AI时代的智能数据基座——HigoBase。来自政府、高校、企业、科研...
关键字:
开源
SE
GO
AI
全面定义大模型长时运行与混沌负载特征,推进行业分工与消费端质量监控标准化 北京2026年6月11日 /美通社/ -- 2026年以来,随着Claude Code、OpenClaw等智能体(AI Agent)...
关键字:
TOKEN
开源
智能体
模型
作为开源的智能体 AI 安全框架,Arm Metis 支持大规模 AI 驱动的上下文安全分析,助力更早识别软件漏洞、节省时间与成本
关键字:
AI 驱动
开源
软件
Project Lightwell 将打造可信的企业级开源软件安全协同平台,以全新的AI 驱动模式保障软件供应链安全。 北京2026年6月2日 /美通社/ -- IBM(纽...
关键字:
IBM
开源
AI
开源软件
济南2026年4月30日 /美通社/ -- 4月27日至28日,以"以开源之道,行致远之志"为主题的HOW2026中国数据库开源发展峰会暨PostgreSQL高峰论坛在济南成功举办。大会设置1场主论坛...
关键字:
开源
数据库
POSTGRESQL
AI
济南2026年4月28日 /美通社/ -- 4月27日,以"以开源之道,行致远之志"为主题的HOW 2026 中国数据库开源发展峰会暨PostgreSQL高峰论坛在济南山东大厦隆重开幕。本次大会由开源...
关键字:
开源
数据库
POSTGRESQL
计算机
企业级AI操作系统将上下文、编排与执行相统一,赋能受管控的AI员工自主化、规模化地完成真实业务任务。 集成语音AI的AI OS支持超低延迟下的自然语音交互...
关键字:
COM
MOTION
NVIDIA
开源
上海2026年1月8日 /美通社/ -- 北京时间2026年1月8日,启明创投投资企业、中国通用人工智能(AGI)的开拓者与引领者智谱成功登陆港交所,成为“全球大模型第一股”。智谱(02513.HK)发行价为116.20...
关键字:
模型
LM
开源
多模
北京2025年12月22日 /美通社/ -- 近日,软通动力旗下自主品牌软通华方正式发布开源鸿蒙智慧屏新品,这款搭载软通天鸿操作系统6的商显大屏,以"硬件+系统+应用"全栈国产化架构添补了行业空白,成...
关键字:
开源
智慧屏
全栈
鸿蒙
北京2025年12月22日 /美通社/ -- 近日,软通动力在自主创新产品发布会上正式发布"软通天鸿操作系统6"。该操作系统由软通动力子公司鸿湖万联基于OpenHarmony社区版深度定制而成,是一款...
关键字:
开源
操作系统
全栈
鸿蒙
北京2025年12月22日 /美通社/ -- 12月20日晚,中央广播电视总台与广东省人民政府联合主办,深圳市人民政府、央视频、总台广东总站共同承办的《鸿蒙星光盛典》,正式在CCTV-2、CCTV-3、央视频、央视新闻、...
关键字:
鸿蒙
开源
操作系统
HARMONY
北京2025年12月18日 /美通社/ -- 12月17日,软通动力在北京隆重举办"开源鸿蒙•智绘未来"主题发布会,正式推出软通天鸿操作系统6与软通华方开源鸿蒙智慧屏两款核心产品。本次活动通过产品发布...
关键字:
开源
鸿蒙
智慧屏
OS