Với sự giúp đỡ của bình luận của Feras và một số thao tác:
SELECT
u.user_id,
u.user_name,
g.user_group_id,
g.group_name
FROM user u
LEFT JOIN user_group g on JSON_CONTAINS(u.user_groups, CAST(g.user_group_id as JSON), '$')
Cách này có vẻ hiệu quả, hãy cho tôi biết nếu có cách nào tốt hơn.