文字识别：基于PaddlePaddle复现PANet

---

该论文提出PAN网络，以ResNet-18为骨干，结合FPEM、FFM和像素聚合法，平衡场景文本检测的精度与速度。基于Paddle的复现项目，部分数据集F-measure达81.46%，超验收标准。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network

Wenhai Wang, Enze Xie, Xiaoge Song, Yuhang Zang, Wenjia Wang, Tong Lu, Gang Yu, Chunhua Shen

论文介绍

       

背景简介

场景文本检测是场景文本阅读系统的重要一步，随着卷积神经网络的快速发展，场景文字检测也取得了巨大的进步。尽管如此，仍存在两个主要挑战，它们阻碍文字检测部署到现实世界的应用中。第一个问题是速度和准确性之间的平衡。第二个是对任意形状的文本实例进行建模。最近，已经提出了一些方法来处理任意形状的文本检测，但是它们很少去考虑算法的运行时间和效率，这可能在实际应用环境中受到限制。

之前在CVPR 2019上发的PSENet是效果非常好的文本检测算法，处理速度很快，准确度很高，但后处理过程繁琐，而且没办法和网络模型融合在一起，实现训练，导致其整体运行速度很慢。于是PSENet算法的原班作者提出了PAN网络，使其在不损失精度的情况下，极大加快了网络inference的速度，因此也可以把PAN看做是PSENet V2版本。

网络结构

       

上图为PAN的整个网络结构，网络主要由Backbone + Segmentation Head（FPEM + FFM） + Output(Text Region、Kernel、Similarity Vector)组成。

本文使用ResNet-18作为PAN的默认Backbone，并提出了低计算量的Segmentation Head(FPFE + FFM)以解决因为使用ResNet-18而导致的特征提取能力较弱，特征感受野较小且表征能力不足的缺点。

此外，为了精准地重建完整的文字实例(text instance)，提出了一个可学习的后处理方法——像素聚合法（PA），它能够通过预测出的相似向量来引导文字像素聚合到正确的kernel上去。

下面将详细介绍一下上面的各个部分。

Backbone

Backbone选择的是resnet18, 提取stride为4,8,16,32的conv2,conv3,conv4,conv5的输出作为高低层特征。每层的特征图的通道数都使用1*1卷积降维至128得到轻量级的特征图Fr。

Segmentation Head

PAN使用resNet-18作为网络的默认backbone，虽减少了计算量，但是backbone层数的减少势必会带来模型学习能力的下降。为了提高效率，作者在 resNet-18基础上提出了一个低计算量但可高效增强特征的分割头Segmentation Head。它由两个关键模块组成：特征金字塔增强模块（Feature Pyramid Enhancement Module，FPEM）、特征融合模块（Feature Fusion Module，FFM）。

FPEM 

Feature Pyramid Enhancement Module(FPEM)，即特征金字塔增强模块。FPEM呈级联结构且计算量小，可以连接在backbone后面让不同尺寸的特征更深、更具表征能力，结构如下：

       

FPEM是一个U形模组，由两个阶段组成，up-scale增强、down-scale增强。up-scale增强作用于输入的特征金字塔，它以步长32,16,8,4像素在特征图上迭代增强。在down-scale阶段，输入的是由up-scale增强生成的特征金字塔，增强的步长从4到32，同时，down-scale增强输出的的特征金字塔就是最终FPEM的输出。 FPEM模块可以看成是一个轻量级的FPN，只不过这个FPEM计算量不大，可以不停级联以达到不停增强特征的作用。

FFM 

Feature Fusion Module(FFM)模块用于融合不同尺度的特征，其结构如下：

       

最后通过上采样将它们Concatenate到一起。

模型最后预测三种信息： 1、文字区域 2、文字kernel 3、文字kernel的相似向量

Loss

       

总的loss如上，其中$Ltex$Ltex和$Lker$Lker分别是文本实例和kernel的分割loss，$Lagg$Lagg是衡量文本实例和其对应kernel的loss，$Ldis$Ldis是不同文本实例的kernel的loss。$\alpha$α和$\beta$β是平衡各个loss的值，设为0.5和0.25。

如上图所示，$Ltex$Ltex和$Lker$Lker的公式和psenet一致，使用dice loss。论文的重点在于$Lagg$Lagg和$Ldis$Ldis，下面分别描述。

Aggregation Loss 

       

$Lagg$Lagg用于衡量文本实例和其对应kernel的loss，其作用是保证同一文本实例的kernel和文本实例内其他像素点之间的距离小于$\delta agg$δagg。

其中，$N$N是图像中文本实例的数量，$Ti$Ti表示第$i$i个文本实例，$Ki$Ki是文本实例对应的kernel。$D(p,ki)$D(p,ki)定义的了文本实例$Ti$Ti内的像素$p$p和 $Ki$Ki之间的距离。$\delta agg$δagg是一个常量，默认0.5，$Fp$Fp是网络在像素$p$p处输出的相似度向量，$G(\mathrm{.})$G(.)是$Ki$Ki的相似度向量。

$G(\mathrm{.})$G(.)的计算就是对于$Ki$Ki里的每一个像素$q$q，网络在像素$q$q处输出的相似度向量$Ki$Ki的像素点数量，$\mathrm{\mid }Ki\mathrm{\mid }$∣Ki∣指$Ki$Ki的L1范数，这里代表的就是$Ki$Ki里像素点的数量。

$D(p,ki)$D(p,ki)里的$\mathrm{\mid }\mathrm{\mid }F(p)-G(Ki)\mathrm{\mid }\mathrm{\mid }$∣∣F(p)−G(Ki)∣∣表示$F(p)-G(Ki)$F(p)−G(Ki)的L2范数，是一个用于衡量像素点到$Ki$Ki距离的值，值越小表示相似度越大，公式中距离小于 $\delta agg$δagg的像素点就没必要参与loss计算了，关注那些距离远的值即可。

瑞志企业建站系统(ASP版)2.2

支持模板化设计，基于标签调用数据 支持N国语言，并能根据客户端自动识别当前语言 支持扩展现有的分类类型，并可修改当前主要分类的字段 支持静态化和伪静态 会员管理功能，询价、订单、收藏、短消息功能 基于组的管理员权限设置 支持在线新建、修改、删除模板 支持在线管理上传文件 使用最新的CKEditor作为后台可视化编辑器 支持无限级分类及分类的移动、合并、排序 专题管理、自定义模块管理 支持缩略图和图

0 查看详情

Discrimination Loss 

       

$Ldis$Ldis用于是不同文本实例的kernel的loss，其作用是保证任意两个kernel之间的距离> $\delta dis$δdis。即对于每一个文本实例kernel，分别计算和其他kernel的距离，公式如上所示。

其中，$\delta dis$δdis是一个常量，默认3。当两个kernel之间的距离$\mathrm{\mid }\mathrm{\mid }G(Ki)-G(Kj)\mathrm{\mid }\mathrm{\mid }$∣∣G(Ki)−G(Kj)∣∣> $\delta dis$δdis时，就表示这两个kernel的距离已经足够远了。

另外，在训练过程中，$Ltex$Ltex的计算使用的OHEM，正负像素之比是1:3，计算$Lker$Lker，$Lagg$Lagg和$Ldis$Ldis时均只考虑ground truth内的文本像素。

后处理

1. 从kernel中通过连通域确定初始的文本实例集合$K$K。
2. 对于每一个文本实例$Ki$Ki，按4方向从text_region中融合文本像素。融合条件: 文本像素点$p$p和$K$K之间similarity vectors的欧式距离dd (测试过程中$d$d默认为6)。
3. 重复步骤2直到text_region没有文本像素。

项目介绍

项目背景

项目为百度飞桨起航菁英计划团队赛中复现的论文。项目基于 Paddle 2.1.2 与 Python 3.7 进行开发并实现论文精度，十分感谢百度提供比赛平台和 GPU 资源！

项目实现

复现心得

正所谓“磨刀不误砍柴工”，复现论文前，如果对论文的整体结构有所把握，接下来的复现过程中可能会省力很多。以复现PANet为例，当了解到PANet是PSENet的改进后，我们学习参考了PSENet的复现，少走了不少弯路。此外，PaddlePaddle与Pytorch的函数并非完全对应，有部分函数需要自己实现。在了解了论文细节后，实现函数能够更加轻松。

在复现过程中，主要参考PaddlePaddle的API文档与Pytorch的API文档，需要耐心与细心。比如PaddlePaddle中Softmax包含参数axis，而Pytorch中Softmax对应参数为dim。

除此以外，遵循PaddlePaddle官方提供的论文复现步骤，可以及时找到问题所在环节，减少后期的debug的时间，提升论文复现效率。

参考链接

论文复现指南

Paddle API 文档

PyTorch-PaddlePaddle API映射表

项目使用

数据集准备

数据集推荐按照$Paddle-PANet-main/data进行设置。如果您的文件结构不同，则可能需要修改dataloader中相应的内容。

Paddle-PANet-main
└── data
    └── CTW1500
        ├── train
        │   ├── text_image
        │   └── text_label_curve
        └── test
            ├── text_image
            └── text_label_curve

    In [1]

!mkdir Paddle-PANet-main/data
!unzip -q /home/aistudio/data/data113487/ctw1500.zip -d Paddle-PANet-main/data

   

预训练模型准备

下载resent18预训练模型：pretrain_resnet18

密码: j5g3

在正式开始训练前，请将resnet18预训练模型放置到$Paddle-PANet-main/pretrained/文件夹下。如果不使用预训练模型，则需要修改config中的设置。

In [3]

!mkdir Paddle-PANet-main/pretrained
!mv /home/aistudio/data/data113510/resnet18.pdparams Paddle-PANet-main/pretrained

   

环境准备

Python 3.6+paddlepaddle-gpu 2.0.2nccl 2.0+mmcv 0.2.12editdistancePolygon3pyclipperopencv-python 3.4.2.17Cython

       

训练

项目的环境准备、启动命令已经写入train.sh中，执行train.sh即可完成环境所需依赖的安装，并启动训练。

In [ ]

%cd Paddle-PANet-main/
sh train.sh

   

如果需要恢复训练，则执行如下命令：

python train.py ${CONFIG_FILE} --resume ${CHECKPOINTS_STORE_PATH}

       

例如：

python train.py config/pan/pan_r18_ctw_train.py --resume checkpoints/pan_r18_ctw_train

       

评估

CTW数据集地址：CTW 执行test.sh进行评估，评估结束后生成res.txt，存储模型的评估结果。

In [ ]

sh test.sh

   

实验结果

Method	Backbone	Fine-tuning	Config	Precision (%)	Recall (%)	F-measure (%)	Model	Log
mmocr_PANet	Resnet18	N	ctw_config	77.6	83.8	80.6	--	--
PAN (paper)	ResNet18	N	config	84.6	77.7	81.0	-	-
PaddlePaddle_PANet	ResNet18	N	panet_r18_ctw.py	84.51	78.62	81.46	Model	Log

从第500轮开始，每十轮保存一次模型。最终根据F-measure选择了第570轮保存的模型参数，F-measure为81.46，超过验收标准80.6。

以上就是文字识别：基于PaddlePaddle复现PANet的详细内容，更多请关注其它相关文章！

# qq  # python  # 河南网站建设规划图  # 实用的网络推广营销有哪些  # 媒体智能营销推广策略  # seo黑帽技术是什么  # 唐山智能化网站建设  # 黄陵百度关键词排名  # 专业的培训网站建设  # 英文网站推广解决方案怎么写  # 山东网站推广流程设计  # 惠州抖音seo收费  # 菁英  # 所示  # 文档  # 后处理  # 建站系统  # 过程中  # 一言  # 提出了  # 是一个  # 中文网  # fig  # udio  # 百度  # ai 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 令人惊叹！AI模型能够以iPhone照片为基础创作诗歌  一图速览 | 十大脑机接口关键技术发布  田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘  网易易盾 AI Lab 论文入选 ICASSP 2025！黑科技让语音识别越“听”越准  南京制造的国产工业机器人：在外资品牌竞争中突围，年销售1.8万台  猿辅导发布最新SaaS业务进展公告：Motiff UI设计工具推出三项新的AI功能  首届亚太网络法实务大会召开 九位大咖探讨元宇宙与人工智能发展  如何用AI开创智慧能源新时代？固德威正让能源“通人性”！  AI智能室内效果图设计软件效果，确实惊到我了！  Meta推出VR订阅服务Quest +：每月免费玩两款游戏，7.99美元/月  史玉柱谈AI：国内最缺是计算数学人才，曾给浙大数学系捐五千万  Nature发AIGC禁令！投稿中视觉内容使用AI的概不接收  上海发布“元宇宙关键技术攻关行动方案”，加快 AIGC 等突破  财联社首档运用虚拟人技术播报栏目《AI半小时》今晚上线！敬请期待  编程版GPT狂飙30星，AutoGPT危险了！  联合国秘书长称支持建立全球人工智能监管机构  山东机器人编程：Scratch编程基础，认识舞台！~济南机器人编程  全球首款AI裸眼3D平板 国产的售价破万  即将到来：AI婚纱设计软件实际测试，人工智能即将开创婚纱设计新纪元  AMD在AI方面奋起直追，与英伟达的差距缩小了吗？  “无人驾驶船”将首次亮相世界人工智能大会，下半年或开进上海迪士尼  调研海尔智家：AI名，家电命？  GPT-4不能在麻省理工学院获得计算机科学学位  “具身智能”引爆机器人产业，看绝影Lite3/X20四足机器人有何特别之处？  650亿参数，8块GPU就能全参数微调：邱锡鹏团队把大模型门槛打下来了  如何对员工进行再培训以充分利用供应链管理中的人工智能创新  “踩油门，也要会踩刹车” 互联网企业高管谈人工智能发展  人工智能赋能广西自然资源领域监测监管  田渊栋团队新研究：微调  AI在教育中的角色：AI如何改变我们的学习方式  人工智能大胆预测：银河系至少有2万个地球，36种外星文明  对Hugging Face开源模型精准投毒！LLM切脑后变身PoisonGPT，用虚假事实洗脑60亿人  美图公司吴欣鸿：AI技术重构影像产业  科普：什么是AI大模型  将上下文长度扩展到256k，无限上下文版本的LongLLaMA来了？  “木头姐”：特斯拉的人工智能训练——“赢家通吃”的机会  7/8上海 | 2025世界人工智能大会分论坛:科技与人文-共筑无障碍智能社会  2025世界人工智能大会（上海）开幕式纪要  当TS遇上AI，会发生什么？  Dubbo负载均衡策略之 一致性哈希  世界上第一个完全由人工智能驱动的图像编辑器！  金山办公宣布与英伟达团队合作，加速WPS AI服务  挤爆服务器，北大法律大模型ChatLaw火了：直接告诉你张三怎么判  科技有狠活｜时光修复师 ：用AI让昨日重现  视觉中国宣布推出AI灵感绘图、画面扩展功能  ChatGPT会成为你家新的语音助手吗？  郭帆谈ChatGPT：电影行业需要创新，否则人工智能将让电影变得平庸  Meta 开源 AI 语言模型 MusicGen，可将文本和旋律转化为完整乐曲  人工智能在商业中的风险和局限性  “智能体动作生成技术”现身WAIC：游戏AI技术为机器人科创注入新动力 

 2025-07-31