唐诗云：昔人已乘黄鹤去，此地空余黄鹤楼。诗中的昔人指的大概是仙人王子安或费祎。不过，到了宋朝，黄鹤楼又与仙人吕洞宾联系到了起。
传说，有个姓辛的老板在蛇山上开了家酒店。位道士常常来喝酒，但从不给钱。辛老板也不以为意。次，道士临走之前，用橘子皮在墙上画了只黄鹤，如果客人对着黄鹤拍手，黄鹤就下来翩翩起舞。如此来，酒店的客人越来越多，生意也非常兴隆。
十年后，道士再次来到酒店，从腰间取出笛子，吹出悦耳的音乐。黄鹤徐徐飞出墙壁，道士骑上黄鹤缓缓飞走。据说，这位仙人就是吕洞宾。
为了纪念仙人和黄鹤，辛老板出资在山上兴建了黄鹤楼。后人每每登高至此，总会想起这美妙的传说。