相传韩湘子字清夫，是韩愈的侄子，有的说他生有仙骨，素性不凡。他厌烦华丽，喜欢恬淡，佳人美女，全不动心，美酒佳肴，不能溺其志。他所热心的是道家的修炼之法。
有的说他生性放荡不拘，不好读书，只好饮酒，世传其学道成仙，在二十岁时倾慕山川之趣而一去不返，二十多年音讯全无。
在唐元和年间，忽然回到长安，衣衫破旧，行为怪异，韩愈让他入学校和学生们读书，但韩湘子和学员讨论时一言不发，只跟下人赌博，喝醉了就在马房中睡三天五日，或露宿街头，韩愈担心不已，问他：“人各有所长，就算小贩也有一技之长，你如此胡闹，将来能做什么呢?”韩湘子说：“我也有一门技巧。只是你不知道。”韩愈问：“那你能做什么?”他说“令牡丹开花数色”，当时正当初冬季节，于是聚盆覆土，顷刻开花。韩湘子后传说跟吕洞宾学道，位列仙班。
此外还有一种说法：说韩愈力劝也不能动摇他的志向。韩湘子成仙后，想度韩愈出世，可是韩愈历来不信道。有一年，韩愈的寿诞之日，湘子远游归来。在酒席宴上，韩愈故意难为湘子，要他顷刻变出花来。湘子变出的花比牡丹还漂亮，花上还有两行字：云横秦岭家何在，雪拥蓝关马不前。
韩愈不解诗的意思，湘子说：“他日自验，天机不可预泄。”酒席宴罢，湘子重又外出远游去了。传说韩湘子最终度韩愈成仙而去。