rpg游戏推荐 亚军团队！全球AI攻防挑战赛系列共享（二）

发布日期：2024-12-14 10:02    点击次数：154

Datawhale干货

作家：小羊上前冲

AI+安全的实践系列共享来了！

AI+安全的实践系列共享来了！

11月20日，国内首个AI大模子攻防赛辞天下互联网大会乌镇峰会收官。

通过攻防双向赛谈竞技，大赛最终角逐出全球十强。

赛后Datawhale邀请到了本届十强，为寰球带来系列复盘共享。

今天，咱们和退守标的的亚军团队聊一聊。

国内首个AI大模子攻防赛全球十强乌镇亮相

赛谈二出题东谈主代表点评

全球AI攻防挑战赛评审委员会成员、上海交通大学长聘教轨助理老师 张倬胜：

张开剩余89%

“小羊上前冲”的有揣摸打算展现了显著的责任逻辑与细密的团队推行力。团队聚首渐渐优化与全局均衡的战略，潜入分析了数据集特点，针对不同把柄类型和改革手法，活泼应用开源库AIGC生成、Aibu数据增强和离线伪标签等多维数据增强时间，并革命构建了全自动、即插即用的改革pipeline，灵验普及了模子在各样化改革场景下的鲁棒性。在移交笔墨改革区域小、思路弱的难题时，团队遴选预标注与多任务学习战略，权臣增强了笔墨改革检测智商。整套有揣摸打算假想逻辑显著，为学术有筹商与工业范围改革检测时间的交融与落地提供了较强的参考价值。

复盘共享

写在前边

寰球好，我是 全球AI攻防挑战赛—赛谈二：AI核身之金融场景把柄改革检测——“ 小羊上前冲”的队长 杨志强， 浙江工业大学博士在读。

个东谈主布景

历史竞赛奖项：2 金 1 银 1 铜

获奖阅历：

2022年 IEEE UV “Vision Meets Algae” Object Detection Challenge 冠军

2023年 IEEE Cybermatics第二届国外 “Vision Meets Algae”挑战赛和研讨会 冠军

2024年 全球AI攻防——AI金融场景把柄改革检测 亚军

2024全球东谈主工智能时间革命大赛无东谈主机视角下的双光倡导检测 第五名

论文和专利：一篇CCF-C PRCV Oral论文，一篇EI论文，三个公开专利

擅长标的：倡导检测，医学图像

赛题布景金融范围交互式自证业务中涵盖用户开户、商家入驻、办事认证、商户解限等多种应用场景，时时齐需要用户提交一定的材料（即把柄）用于诠释身份信息、通盘权信息、交游信息、禀赋信息等，而把柄的真正性一直是困扰金融场景自动化审核的一浩劫题。跟着数字媒体剪辑时间的发展，越来越多的AI妙技和器用梗概节略对把柄材料进行改革，大齐的黑产团伙也渐渐掌捏PS、AIGC等器用制作传神的把柄样本，并对金融审核带来广大挑战。为此，本赛题开设了AI核身-金融把柄改革检测赛谈。赛题发布了大范围的把柄改革数据集，参赛队列需要在给定的大范围改革数据集上进行模子研发，同期给出对应的测试集用于评估算法模子的灵验性。

赛题分析数据集分析本次比赛发布了超大范围自研光鉴把柄数据集，该数据集整合了大齐开源的图像数据和里面的业务数据。数据的构建方式为在原始图像数据上针对笔墨区域遴选copy move，splicing，removal，局部AIGC等方式进行数字改革剪辑。模子的泛化性也将是这次比赛弥留的揣度方针，因此本次的测试集将比磨砺集包含更多的把柄类型和改革剪辑手法。一些改革实例图如下：

磨砺集有100w傍边的数据，测试集A、B有10w。

难点 分析

数据集一定是从辘集获得到的，是以咱们预见，覆没渠谈收罗的数据一般尺寸是固定的，不错根据图像的尺寸来拆分磨砺集和测试集，通俗进行数据分析。

左图为磨砺集，右图为测试集A。

接下来咱们根据散点分散将图片作念了分别，大致分为：店面数据, 手机截图, 网页告白, 日常相片和证件/税相片几类，再用ResNet18磨砺一个分类模子得到概率如下。

测试集57596:4969:17737 = 0.725:0.06:0.21= 店面1 相片: 手机截图或税: 网页告白和日常相片

咱们还用饼状图可视化了店面和非店面数据，最终论断是： 磨砺集和测试集数据分散有很大离别，其中艰苦场景大多为店面图片，何如优化店面的改革对普及性能有较大匡助。

追思难点和初步不休活动如下：

1.普及模子对店面图片改革的明锐性（可使用AIGC生成更多店面改革图）

2. 数据集分散不一致（用离线伪标签战略渐渐使模子向测试集偏移）

3. 改革类型丰富（假想一套改革pipeline进一步普及模子泛化性）

4. 数据集范围较大，算力条件高（遴选640圭臬磨砺，或者中式一个肖似分散的小磨砺集，不重新磨砺而是微调）

5. 遴选Micro-F1 方针需要治愈阈值

赛题分析将其界说为传统的水平倡导检测任务，模子遴选Co-DINO-Swin-L，使用Object365预磨砺模子在640x640的圭臬进行磨砺，轮次粗陋为3轮。

咱们能干针对第三个难点先容咱们的不休有揣摸打算。

改革预准备咱们用PaddleOCRv4多卡推理得到每张图片齐笔墨行标注，交融原来的改革类别与广阔笔墨行类别四肢新的磨砺标注文献（在数据输入到模子之前，算法会自动丢弃Text类别，退守形成不利影响）。这么一来咱们后续不错同期左右两种标注进行自界说的改革，极地面丰富了改革样式。下图为标注和可视化，红色的框代表原有的改革类别，绿色的框代表Text框类别。

改革构造（效法膺惩方）咱们自界说了四个数据增强活动，并构建了一个全自动的，即插即用的改革pipeline，用于增多模子的鲁棒性。InnerCopyPaste 图片内笔墨替换左图为原图，右图为经由图片内笔墨替换操作后的死心，图片中包括正本存在的改革bbox和text区域，咱们将这两种框作念大小匹配，将大小雷同的实践进行互换，同期将类别替换为改革，这将丰富原图中的改革类型，尤其是针关于发票和税，截图有很好的后果。

InnerFlipPaste 原地镜像咱们摄取立时的框进行高下或者傍边翻转

InpantingRemoval 基于OpenCV的移除咱们中式立时笔墨实践进行抹除

店面图片的改革构造

战略一：Stable Diffusion

由于SD的字符生成智商较弱，中语智商更差，咱们遴选简约的prompt保证AIGC的后果

不才面的例子中，咱们用SD模子将左边的笔墨抹除，并作念了一个实践生成，后果较好。

战略二：AnyText

AnyText模子具有更好的中笔墨体生成智商，相比稳健店面图片的场景，咱们生缔造频频用中语来改变店面图片的笔墨，底下实例中咱们将“永安凉茶铺”生成为“安永凉茶铺”。

其他战略

1. 模子集成和测试数据增强

战略：水平翻转，遴选（640，768）多圭臬TTA（Test Time Augmentation）进行soft nms集成。

不同磨砺数据的模子遴选WBF（Weighted Boxes Fusion）进行集成。

2. 缩放边框，容纳更多计较。

官方标注遴选Polygons相貌， 标注非水平框导致IOU缩小，最终影响Micro-F1精度。为了使旋转倡导更适合于水平检测任务，咱们缩放来边框从而提高TP（True Positive）。

3. 半监督学习

尝试MixPL半监督磨砺，因磨砺集数据覆没测试集分散且无法偏移，最终未遴选。咱们使用离线半监督战略，教师模子生成伪标签，学生模子微调学习，性能大幅普及。

追思与感想念

发布于：浙江省