促使他离开宫廷的一个直接原因则是，"尝沉醉殿上，引足令高力士脱靴"等放肆之举。后人又演绎成另一种传奇。说某国前来下战书挑衅，而且偌大唐朝只有李白一人识得该国文字（因为他出生在碎叶城，自幼精通外语）。于是他耍足了威风，玩够了味，让杨国忠给他戴帽，高力士为他穿靴，并由杨贵妃为他磨墨。结果，李白下笔千言，一挥而就，言词尽显大唐威严，导致该国从此俯首称臣，不敢造次。不言而喻，这是一些好事者为了突出李白非凡的能耐，而作的善意杜撰，只能姑妄读之。其实，李白做出让皇帝的宠臣脱靴的放肆之举，是可以理解的。因为李白虽然整天侍奉在皇帝老儿身边，但依旧不过是一个身不由己的"御用文人"，而杨氏兄妹的飞扬跋扈，以高力士为首的宦官专权，等等，诸多官场黑暗，让"不得开心颜"的他早就想一走了之。于是文人那种自视清高的德性也就日益暴露无遗，为了自己一时的得意，不惜作忘形之举。
离开长安后，李白"浪迹江湖，终日沉饮"，足迹遍及梁宋、齐鲁、幽冀，并多次往返于东越、金陵、宣城。安史之乱后，他本想隐居庐山，却被永王李璘邀请参加了幕府。至德二年（757年），李璘违背肃宗的命令东巡，被肃宗击败。李白因此受牵连坐罪，被流放夜郎，行至巫山遇赦得还。我们现在可以假设，如果李白不接受李璘的邀请，他一定会有一个比较好的结局，至少可以寿终正寝的。李白接受李璘的邀请，足以证明其时他"辅弼天下"的弘愿还没有完全泯灭，以致归为永王幕下后，还抱有"为君谈笑静胡沙"的幻想。更为可叹的是，当李璘公然与肃宗对着干的时候，李白作为幕僚，居然还没有看清他的真实嘴脸，糊里糊涂地上了他的贼船，落得个让后人哀之的结局，实为可叹。
