Probing the Impacts of Visual Context in Multimodal Entity Alignment

Data Science and Engineering

Research Paper

Meng Wang¹  Yinghui Shi²  Ziheng Zhang³  Zhenxi Lin³  Yefeng Zheng³  Han Yang⁴ 

[1] College of Design and Innovation, Tongji University, Shanghai, China;School of Cyber Science and Engineering, Southeast University, Nanjing, China;Tencent Jarvis Lab, Shenzhen, China;ZEEKR Intelligent Technology Holding Ltd., Shanghai, China;

关键词: Entity alignment;    Multimodality;    Visual context;    Knowledge graph;   

DOI  :  10.1007/s41019-023-00208-9

 received in 2022-12-07, accepted in 2023-03-19,  发布年份 2023

来源: Springer

【 摘 要 】

We study the problem of multimodal embedding-based entity alignment (EA) between different knowledge graphs. Recent works have attempted to incorporate images (visual context) to address EA in a multimodal view. While the benefits of multimodal information have been observed, its negative impacts are non-negligible as injecting images without constraints brings much noise. It also remains unknown under what circumstances or to what extent visual context is truly helpful to the task. In this work, we propose to learn entity representations from graph structures and visual context, and combine feature similarities to find alignments at the output level. On top of this, we explore a mechanism which utilizes classification techniques and entity types to remove potentially un-helpful images (visual noises) during alignment learning and inference. We conduct extensive experiments to examine this mechanism and provide thorough analysis about impacts of the visual modality on EA.

【 授权许可】

CC BY   
© The Author(s) 2023

【 图 表 】

41116_2023_36_Article_IEq631.gif

41116_2023_36_Article_IEq627.gif

41116_2023_36_Article_IEq623.gif

41116_2023_36_Article_IEq619.gif

41116_2023_36_Article_IEq616.gif

Fig. 1

41116_2023_36_Article_IEq615.gif

40517_2023_258_Article_IEq11.gif

Fig. 1

Fig. 4

41116_2023_36_Article_IEq508.gif

41116_2023_36_Article_IEq507.gif

40798_2023_579_Article_IEq5.gif

41116_2023_36_Article_IEq506.gif

41116_2023_36_Article_IEq505.gif

40798_2023_579_Article_IEq3.gif

41116_2023_36_Article_IEq504.gif

41116_2023_36_Article_IEq503.gif

41116_2023_36_Article_IEq502.gif

41116_2023_36_Article_IEq501.gif

Fig. 7

Fig. 2

Fig. 1

Fig. 2

40517_2023_258_Article_IEq8.gif

40517_2023_258_Article_IEq7.gif

Fig. 1

41116_2023_36_Article_IEq500.gif

41116_2023_36_Article_IEq499.gif

41116_2023_36_Article_IEq498.gif

41116_2023_36_Article_IEq497.gif

41116_2023_36_Article_IEq496.gif

Fig. 1

41116_2023_36_Article_IEq493.gif

12888_2023_4776_Article_IEq1.gif

41116_2023_36_Article_IEq490.gif

41116_2023_36_Article_IEq489.gif

41116_2023_36_Article_IEq488.gif

41116_2023_36_Article_IEq487.gif

41116_2023_36_Article_IEq486.gif

Fig. 4

41116_2023_36_Article_IEq484.gif

41116_2023_36_Article_IEq483.gif

Fig. 3

Fig. 2

41116_2023_36_Article_IEq478.gif

Fig. 3

41116_2023_36_Article_IEq476.gif

41116_2023_36_Article_IEq475.gif

Fig. 3

Fig. 3

41116_2023_36_Article_IEq473.gif

Fig. 2

41116_2023_36_Article_IEq471.gif

41116_2023_36_Article_IEq470.gif

Fig. 1

41116_2023_36_Article_IEq469.gif

41116_2023_36_Article_IEq468.gif

41116_2023_36_Article_IEq467.gif

41116_2023_36_Article_IEq466.gif

Fig. 4

41116_2023_36_Article_IEq465.gif

41116_2023_36_Article_IEq464.gif

Fig. 2

Fig. 1

Fig. 1

41116_2023_36_Article_IEq459.gif

41116_2023_36_Article_IEq458.gif

41116_2023_36_Article_IEq457.gif

41116_2023_36_Article_IEq456.gif

41116_2023_36_Article_IEq455.gif

41116_2023_36_Article_IEq454.gif

41116_2023_36_Article_IEq453.gif

41116_2023_36_Article_IEq451.gif

41116_2023_36_Article_IEq450.gif

Fig. 2

41116_2023_36_Article_IEq449.gif

41116_2023_36_Article_IEq448.gif

41116_2023_36_Article_IEq447.gif

41116_2023_36_Article_IEq446.gif

40517_2023_255_Article_IEq1.gif

41116_2023_36_Article_IEq445.gif

41116_2023_36_Article_IEq444.gif

Fig. 3

41116_2023_36_Article_IEq443.gif

41116_2023_36_Article_IEq441.gif

Fig. 3

41116_2023_36_Article_IEq439.gif

41116_2023_36_Article_IEq438.gif

41116_2023_36_Article_IEq437.gif

41116_2023_36_Article_IEq436.gif

41116_2023_36_Article_IEq435.gif

41116_2023_36_Article_IEq434.gif

Fig. 3

Fig. 2

41116_2023_36_Article_IEq431.gif

41116_2023_36_Article_IEq430.gif

41116_2023_36_Article_IEq429.gif

Fig. 2

41116_2023_36_Article_IEq427.gif

41116_2023_36_Article_IEq425.gif

Fig. 1

41116_2023_36_Article_IEq424.gif

41116_2023_36_Article_IEq423.gif

41116_2023_36_Article_IEq422.gif

41116_2023_36_Article_IEq421.gif

41116_2023_36_Article_IEq419.gif

41116_2023_36_Article_IEq418.gif

41116_2023_36_Article_IEq417.gif

41116_2023_36_Article_IEq416.gif

Fig. 1

41116_2023_36_Article_IEq414.gif

41116_2023_36_Article_IEq412.gif

41116_2023_36_Article_IEq410.gif

41116_2023_36_Article_IEq408.gif

41116_2023_36_Article_IEq407.gif

41116_2023_36_Article_IEq404.gif

Fig. 3

41116_2023_36_Article_IEq401.gif

Fig. 2

41116_2023_36_Article_IEq399.gif

41116_2023_36_Article_IEq398.gif

41116_2023_36_Article_IEq397.gif

41116_2023_36_Article_IEq396.gif

Fig. 1

41116_2023_36_Article_IEq394.gif

41116_2023_36_Article_IEq393.gif

41116_2023_36_Article_IEq392.gif

41116_2023_36_Article_IEq391.gif

41116_2023_36_Article_IEq390.gif

41116_2023_36_Article_IEq389.gif

41116_2023_36_Article_IEq388.gif

41116_2023_36_Article_IEq386.gif

41116_2023_36_Article_IEq385.gif

41116_2023_36_Article_IEq384.gif

41116_2023_36_Article_IEq383.gif

41116_2023_36_Article_IEq382.gif

Fig. 1

41116_2023_36_Article_IEq379.gif

12938_2023_1111_Article_IEq24.gif

41116_2023_36_Article_IEq368.gif

41116_2023_36_Article_IEq361.gif