但是俗话说得好，日久见人心，相处的时间长了就知道对方是不是跟自己志同道合的。渐渐地孙中山发现这个年轻人跟自己的想法有些出入，孙中山起初的想法是想要消除这样的不用。而蒋介石从1920年起便有意去苏联学习他们的军事、政治，尤其是特工手段。他屡次三番求孙中山派他去莫斯科，终于在1923年8月如愿以偿。原本他想要在苏联住上五年甚至十年。但是到达那里之后，他才发现自己和苏联是格格不入的。三个月后，他急于回国。但这段经历已经足够他在国民党的同辈成员之中进行炫耀。他知道苏联人将会帮助国民党在广州附近建立新式的军事学校。如果他能够掌握这所军校的领导权，也就能够掌握军队。他亲自去过苏联，这比其他任何竞争对手都更有资格。
这一系列的事情都是的孙中山对蒋介石的那种信任跟默契消磨殆尽，他不想重用此人，而就在此时支持蒋介石的保守派在上海和广州两地拼命为他游说，他却清闲地在家中坐等孙中山来请他出山。1923年12月26日，他接到了一份电报，请他“全权负责”黄埔军校。电文说：军校的组成“非君大力筹划不可”。30日，孙中山又发来电报，催他去广州“汇报情况并共商中苏合作大计”。
1924年1月24日,孙中山委派蒋为黄埔军校筹备委员长。刚一个月,蒋就认为孙中山不会把校长的位子给他，所以辞去了筹备委员长之职。他回到浙江后，又写了一封长信给孙中山。信中把不少孙中山认为忠诚能干之人都说成是机会主义者的谄媚之徒。他说：孙中山需要的是像他这样真正忠实可靠的人。他还提醒孙中山，1922年孙中山在广州蒙难的时候只有他一个人誓死相随。
