在盟兄陈其美死后的很长一段时间里，蒋介石在国民党内部的地位不高，离核心领导层也距之甚远。直到1922年，因陈炯明背叛革命，孙中山困守永丰舰，蒋介石得讯后立刻从上海飞奔到舰上与之共患难，事后还写了一本名为《孙大总统广州蒙难记》的小册子，以吹捧孙中山的形式来抬高自己的身价，由此也成为了孙中山所倚重的极少数成员。
蒋介石访俄回国后，正值国民党改组的“一大”会议在广州举行，但大会选出的中央执行委员24人、候补中央委员17人中都没有蒋介石的名字，而共产党人林伯渠、张国焘、瞿秋白等人却赫然在列。当时已经被任命为黄埔军校筹备人的蒋介石在一气之下留书请辞，未及孙中山批准便“拂然而行”，直到两个月后才回到广州，正式接办黄埔军校的建校事宜。
访问苏俄与出任黄埔军校校长是蒋介石提升自己地位的重要契机，特别是孙中山制定“联俄”政策及苏俄顾问在广东革命政府巩固了自己的地位之后，蒋介石更是其中最大的获益者（譬如苏俄援助的经费及武器的分配）。当时的蒋介石表现也很积极，他常在公开的演讲中大喊拥护“联俄”政策、反对帝国主义等漂亮的口号，这也让苏方代表鲍罗廷及国民党左派人士大为赏识，并将之视为可以信任的人。
1924年底，孙中山应冯玉祥之邀北上商谈统一大计，汪精卫、鲍罗廷也随同前往；次年3月，他们成为了孙中山去世后遗嘱的见证人。孙中山死后，继承其领袖地位呼声最高的是胡汉民、汪精卫及廖仲恺，但胡汉民的右派立场在一定程度上削弱了他的影响；汪精卫作为孙中山遗嘱的实际执行者，倒是很想继承孙中山的地位，但汪精卫是个优柔寡断的人，缺乏感召力，因而得不到太多的拥护；廖仲恺因为积极与苏俄专家合作，当时也是个炙手可热的候选人。除去以上三位，粤军将领许崇智及黄埔军校校长蒋介石则是排名其后的备补人选。
但1925年后的事态发展却大大出乎了所有人的意料。首先是第一次东征的大获全胜，这使得原本并不十分出名的蒋介石一下子成为了家喻户晓的大英雄；接着，蒋介石又回师平定杨希闵、刘震寰叛乱，其掌握的“校军”规模也由此大大扩充，成为一支不容小觑的武装力量。
胜利之余，广东革命政府由大元帅制的军政府改组成委员制的国民政府，值得注意的是，原为军政府“代帅”、被认为是孙中山第一号继承人的胡汉民在这次改组中却未能顺理成章地成为国民政府主席，而仅仅担任了外交部长；汪精卫则在鲍罗廷的暗中策划下当上国民政府主席，成为党内第一号人物。
被视为军事专才的蒋介石在这次改组中也没有太大的收获，他未能进入国民政府委员会而仅被选为军事委员会中的八个委员之一。不过，广东革命政府随后对各军队进行了改编，蒋介石所掌握的“校军”及一部分粤军被编为第一军，名列各军之首（依次为谭延闿的第二军、朱培德的第三军、李济深的第四军、李福林的第五军、程潜的第六军，两广统一后，李宗仁部被编为第七军）。除了担任第一军军长之职外，蒋介石还担任了军事委员会委员、黄埔军校校长、广州卫戍司令、长洲要塞司令等职。不过，这些职务都是军职，蒋介石当时尚未能在党政方面立足。
1925年8月发生了一件大事，顿时令广东政局风云突变，这就是“廖仲恺遇刺案”。廖仲恺于1877年出生于美国的一个华侨家庭，1902年到日本早稻田大学留学期间结识了孙中山，由此走上了革命道路。廖仲恺曾担任过同盟会外务部干事并做过中国留日学生会会长，在“二次革命”失败、孙中山流亡日本期间，廖仲恺成为孙中山的坚定追随者。
廖仲恺祖籍广东，与孙中山为同乡，其身材不高、脸庞消瘦，外表因多年的奔波劳累而显得比实际年纪要大一些。但是，廖仲恺是一个意志极坚定、有恒心、能吃苦的实干家，他在党内一直负责最困难、最繁琐的经济事宜（譬如为黄埔军校筹集经费而被称为“黄埔的慈母”），其贡献在党内有口皆碑。
汪精卫做上主席之后，实权却是控制在廖仲恺手中的，因为他是苏方代表鲍罗廷的坚定盟友，而鲍罗廷在当时广东革命政府中的地位是极特殊的。鲍罗廷在俄国“十月革命”前也曾在美国生活过很长一段时间，他与孙中山、廖仲恺都不存在语言上的隔阂，因而在孙中山死后，廖仲恺几乎事事都与鲍罗廷商量。
对于孙中山提出的“联俄政策”，廖仲恺是自始至终的坚定支持者，也是最有力的拥护者；汪精卫最开始持反对态度，但苏俄援助到后，嗅觉灵敏的他立刻变成了一个积极的左派；胡汉民一开始是中立的，最后却变成了反对“联俄政策”的右派代表。至于蒋介石，或许是因为他的访苏经历，他才是“联俄政策”的最大受益者，因为黄埔军校及第一军始终是苏援的最优先者。
“廖仲恺遇刺”一案事态严重，国民党中央很快成立以汪精卫、许崇智、蒋介石为首的特别委员会进行调查。在查办“廖案”的过程中，一些粤军将领及右派分子被发现牵涉其中，而胡汉民的堂弟胡毅生也有嫌疑（他还是廖仲恺结识孙中山的中间人）。从各种事实来看，胡汉民虽然没有直接涉案，但他对暗杀一事却是知情的，因此事后他没有辩解而是主动要求保护，汪精卫则顺水推舟，令蒋介石将之软禁在长洲要塞。执行时，蒋介石假惺惺地对胡汉民说：“大家都认为您与此案有关。可是兄也该明白我们的苦衷，我们也拿不出您无牵连的依据，只好委屈您了。”一个月后，胡汉民以前往苏俄“考察”的名义被送上“蒙古”号轮船，实则是被驱逐出广东。
到底谁是刺杀廖仲恺的幕后凶手，至今仍旧是一个谜。现场的两名直接凶手，一个被廖仲恺的卫士当场打死，另一名则身受重伤，不久后即死去，也没有留下有价值的线索。至于一些可疑的人物，如胡毅生、朱卓文、魏邦平等人早已闻风逃窜到香港，被捕的只有林直勉一人，但事后也因查无实据而释放（目前论者大多认为系朱卓文买凶杀人，朱卓文也曾旅居美国）。
同时卷入“廖案”的还有许崇智属下的梁鸿楷等粤军将领，许崇智由此落入了尴尬的处境。9月20日，蒋介石突然令黄埔学生军将许崇智软禁，其所部粤军遭到遣散或改编。许崇智、张静江、蒋介石三人曾为八拜之交，蒋介石做过许崇智部多年的参谋长，但随着时间的推移，两人矛盾渐深。许崇智所部军阀习气浓厚，军饷远超过其他部队，而许崇智本人在广州“狂嫖阔赌”并有私吞公款、克扣军饷等恶名，因而蒋介石的行动在当时并未遭到非议。
后来，蒋介石给许崇智送了一封信，信中历数了他多年的罪状，并劝他自动“卸职”，以对“总理在天之灵”；信末，蒋介石又假惺惺地说，这样做是为了许崇智“个人计”，并答应许崇智“暂离粤境，期以三月，师出长江，还归坐镇，恢复令名”，但许崇智被下属旅长陈铭枢武装押送到上海休养后，终身未问及政治。
廖仲恺遇刺后的几个月中，汪精卫与蒋介石两人心照不宣、密切合作，联手将政敌胡汉民、许崇智一一逐出广东。从结果上来看，汪精卫固然是如愿以偿地成为“四位一体”（国民政府主席、政治委员会主席、军事委员会主席及中央执行委员会主席），集党政军大权于一身，但从长远来看，最大受益者却是蒋介石。因为“四位一体”要没有军队支持的话，所谓的“领袖地位”不过是政治傀儡。
汪精卫是聪明人，他当然不会不懂这点。1926年2月初，在国民党“二大”闭幕后，鲍罗廷因为要回国述职而暂时离开广州，军事总顾问加伦将军则在此之前因为旧伤复发而北上（一说是到冯玉祥的国民军中去指导工作），当时充当苏方临时总顾问的季山嘉与蒋介石在多个问题上发生冲突，而作为国民政府主席的汪精卫则紧紧跟在季山嘉的后面，由此，汪、蒋之间的矛盾急剧上升，两人的政治蜜月宣告结束。
季山嘉与蒋介石的矛盾主要有以下几个方面：一是北伐问题，蒋介石希望能尽快北伐，而季山嘉认为各方面条件都准备不足，北伐应该从缓；二是军队组织与经费问题，军委会曾在2月6日决议拨给黄埔军校30万元经费，王懋功的第二师12万经费，但在第二天，又突然改成黄埔军校27万元，第二师增至15万元，这让蒋介石感到十分不安，因为第二师虽然归他节制，但师长王懋功是汪精卫的人，蒋介石认为这一变动一定是季山嘉在背后起了作用，而目的是要让第二师从第一军中独立出去。
而在这时，广西军队被改编成第八、第九军，算上广东原有的六军，第七军的编制就被空了下来，这让蒋介石更加怀疑汪精卫、季山嘉是要让第二师升级为第七军。为此，蒋介石于2月26日突然将王懋功扣押，改派自己的亲信刘峙为第二师师长（从某种意义上来说，这其实已经是“中山舰事件”的预演了。当然，这尚属于蒋介石的职权范围，后来广西军队也获得了第七军的编号）。
1926年初，冯玉祥的国民军与张作霖、吴佩孚及张宗昌的军队在南口展开大战，国民军因冯玉祥此时正访问苏俄而遭到惨重失败，不智的是，季山嘉此时又提出由海路运兵到天津援助国民军及建议蒋介石到北方帮冯玉祥练兵的计划，这更令蒋介石感到疑惧万分，他认为这是汪精卫、季山嘉企图将他赶出广州的图谋。
为了缓解压力，蒋介石在此期间辞去第一军军长的职务（改由亲信何应钦接任），随后提出辞去军事委员会委员、广州卫戍司令之职，军委会任命他为国民革命军总监，他也避不就职。对于蒋介石的辞职，汪精卫有意留中不发，既不批准，也不挽留，这让蒋介石进也不是，退也不是，心情坏到极点，对汪精卫也恨到极点。2月27日，蒋介石去见汪精卫，“明告其如不准我辞职，就令季山嘉回俄”。而在蒋介石提出“赴俄休养”的要求后，他与秘书陈立夫的护照却很快办理了下来。在蒋介石看来，这所有的一切，背后都可能潜藏着巨大的阴谋。
就在这个敏感时期，“中山舰事件”爆发了。“中山舰事件”也被称为“三二零事件”（1926年3月20日发生），在很长一段时期里，该事件被认为是近代史上的一桩谜案，而最主要的当事人蒋介石在事后也是吞吞吐吐、欲遮还掩，说是要等他死了，届时将日记公开出来，“那时一切公案，自然可疑大白于天下了”。
如今，事件中的所有当事人都已经作古，蒋介石的日记也已公布，尽管一些历史学家对这一问题做了极为深入的研究并已接近大部分的真相，但鉴于偶然性对历史的决定作用，这桩历史悬案的谜团，至今都不能说是完全解开。
目前关于“中山舰事件”研究的主要观点以杨天石先生为代表，其在《中山舰事件之谜》一文中详细梳理了整个事件的过程：1926年3月18日午后6时半，黄埔军校校长办公厅主任孔庆叡因为外洋定安火轮被匪徒抢劫，让黄埔军校管理科科长赵锦雯火速派巡舰一艘前往保护。该电话系管理科交通股股员黎事雍所接，其因黄埔军校无船可开，随后便自作主张打电话请黄埔军校驻省办事处派船以应急需。驻省办事处接电话者系交通股股员王学臣，王学臣因电话听不清，搞不清是何人的命令，因而“想情系教育长（邓演达）之谕”，要求也升级成了“调巡洋舰一二艘以备巡查之用”。
黄埔军校管理科交通股股长兼驻省办事处主任欧阳钟接到王学臣的报告后，随即亲赴海军局交涉。海军局代局长李之龙当时因公外出，其下属作战科科长邹毅即当面应允派舰一二艘前往黄埔听候调用。此后，欧阳钟自称他“即返办事处”，但海军局的《值日官日记》中记载称带其面见李代局长，而李之龙的夫人也称欧阳钟当晚到了她家并声称“奉蒋校长命令，有紧急之事，派战斗舰两艘开赴黄埔，听候蒋校长调遣”，并留下邹毅的信函。李之龙归来阅信后，当即下令派中山舰前往。19日晨7点，中山舰出港；同日，作战科科长邹毅要求欧阳钟补办调舰公函，欧阳钟照办。
由此，杨天石先生认为，中山舰的调动是一次偶然性的事件，从这个过程可以澄清之前的以下几个谜点：第一，中山舰驶往黄埔并非李之龙“矫令”，它与当时的国民政府主席、国民革命军总党代表汪精卫、苏俄顾问季山嘉无关，也与共产党无关。蒋介石和国民党部分人士多年来，一直大肆宣传的所谓“阴谋”说，不能成立。第二，蒋介石没有直接给海军局或李之龙下达过调舰命令。因此，所谓蒋介石下令而又反诬李之龙“矫令”说也不能成立。第三，中途加码，“矫”蒋介石之令的是黄埔军校驻广州办事处主任欧阳钟，而欧阳钟是孙文主义学会骨干、海军军官学校副校长欧阳格的侄子。
孙文主义学会系国民党的右派组织，其一直反对“联俄”及“国共合作”政策，在该事件发生前，其中的一些人便到处散布汪精卫反蒋及海军局阴谋武装政变的谣言，其中难保已入蒋介石之耳。中山舰在开出后，正好遇到以联共（布）中央委员布勃诺夫为团长的苏俄使团要求参观中山舰，于是李之龙即用电话请示蒋介石，将中山舰调回广州。
据蒋介石的日记记载，在3月19日下午一点钟时，他接到李之龙请求将中山舰调回省城以备苏俄考察团参观的电话，他当即表示：“我没有要你开去，你要开回来，就开回来好了，何必问我做什么呢？”但事后，蒋介石感到事情十分蹊跷，“为什么既没有我的命令要中山舰开去，而他要开回来为什么又要来问我”。“中山舰到了黄埔，因为我不在黄埔，在省里，他就开回来省城。这究竟是怎么一回事？”而19日上午，“有一同志”一连问了他三次：“你今天黄埔去不去？”“什么时候去？”（这一同志即汪精卫。）
而在此之前，注精卫对蒋介石的辞呈既不批准也不挽留，这使得蒋介石认为这是汪精卫在“间接地暗示我离粤。此时我方知道如我不离粤，不测的事件就要发生。但我既辞职而未获准，如果自动离粤，又陷入弃职潜逃的罪名，真使我进退维谷。到了十九日的晚间，中山舰开回广州，舰上升火，通夜不熄，戒备极严。……阴谋的爆发，就在于此。但我在当时，只知道他们是要叛变，要害我，还不知道他们的企图究竟是什么。一直到了这一叛乱平定之后，我才知道他们的计划，就是要在我从广州省城乘舰回黄埔军校的途中，强迫我离粤，直驶海参崴，送往俄国……”
蒋介石的日记清楚地表明，他当时怀疑汪精卫等人在搞阴谋，要“干他”或“赶他”。而他此前曾以自请“赴俄休养”试探汪精卫，而汪精卫却是同意的。由此，蒋介石一度心灰意冷，并打算准备离开广州，退到他所掌握的东征军总指挥部所在地汕头（日记上云：“上午，准备回汕休养。”）。但“下午五时，行至半途”，蒋介石突然决定返回，并对“中山舰”一事采取镇压措施（陈立夫也称，蒋介石已坐了汽车到天字码头，在车上，他劝蒋介石说：“有兵在手上，为什么不干？”）。
20日晨，蒋介石下令广州全城戒严，逮捕李之龙等共产党员50余人；占领中山舰，包围省港罢工委员会，收缴工人纠察队枪械；与此同时，苏俄顾问也受到监视，包括联共（布）中央委员布勃诺夫在内，卫队均被缴械。
事变后第二天，汪精卫即向国民党中央委员会请病假，所有各项职务均请暂时派人署理。据杨天石先生在《中山舰事件之后》一文中的判断，汪精卫之所以迅速退让并一败涂地，主要原因在于苏俄顾问的妥协，其中尤以布勃诺夫的意见最起作用。布勃诺夫认为引发该事件的原因是苏俄顾问在军事工作和政治领导上出现了严重错误（过度干涉国民党内部事务而引发中国将领的反弹）。
22日，苏俄驻广州领事馆派人来问蒋介石：“这是对人问题，还是对俄问题？”蒋介石称“对人不对俄”，并表示希望鲍罗廷速回广州。24日，布勃诺夫使团离开广州，季山嘉也同船回俄。由此，汪精卫彻底垮台，其随后称病迁居就医，并表示他不再负政治责任（5月11日汪精卫秘密离粤赴法）。在这场奇变中，蒋介石大获全胜，其在3月26日的日记中称：“政治生活全是权谋，至于道义则不可复问矣！”
杨天石先生认为，在当时的大背景下，“中山舰事件”有偶然性的一面，也有必然性的一面；就蒋介石误信孙文主义学会等人的谣言来说，“中山舰事件”有其偶然性，但就当时国民党内部的激烈斗争及蒋介石的思想来说，又有其必然性。
从某种意义上来说，“中山舰事件”其实是一场不彻底的政变，也是蒋介石的一次政治投机与试探，但因为其他方（苏方及汪精卫等方）的退让，蒋介石未受到任何抵抗而以全胜告终，蒋介石所说的“所谓政治，全在权谋”，大意如此。类似的事件，在蒋介石之后的统治时期，还有很多要等着上演。不过，尽管蒋介石通过“中山舰事件”逼走汪精卫并夺取了国民党的军政大权，但其统治地位是不稳固的，这大概也是他当年要急于北伐的原因，因为北伐可以为当时的内乱寻找一条出路，所谓“问题外界化”是也。
补充：陈公博在《苦笑录》中说：“那时在上海的英国别发书庄出版了一本英文书，那是张作霖在北京围抄俄国大使馆，没收了许多秘密文件，翻译成英文发刊，作为反对国民革命军的一种宣传。里头对于3月20日之变以前的阴谋，一点也没有记载，独至在3月20日之后，俄国顾问团在东山开秘密会议时，那讨论和决议倒清清楚楚的有记录。当时黄埔军校的俄国顾问斯板诺夫在会议上报告3月20日的经过，说事变之前，一点也不知，但他的意见以为为求国民革命完成起见，俄国仍应利用蒋介石。就是俄国使馆给莫斯科的报告，也有同样的献议。为了这事，我写了一封很长的信给蒋先生。第一，说明我在武汉当时已面质过汪先生，汪先生极力否认此事，而且证以当日汪蒋相依为命的情形，汪虽至愚，也不至出此。第二，说明别发书庄有这些俄国秘件，如果汪先生和俄国顾问有谋害他的事，何至于一些痕迹也没有，至3月20日之后俄国顾问还主张要利用他。……末后我更请他买这一本英文小册子一看，因为宋美龄夫人是懂英文的。”（别发印书馆是近代以来在华的著名印刷机构之一，1870年由英商别发洋行创办。那套文件即指《苏俄阴谋文证汇编》，但该套文件并不完整，因为在张作霖派兵冲进苏俄使馆时，一些文件已经被烧毁，一些秘密可能已经化为灰烬，而且文件清查也非全部，因为“文件堆满两屋，清检不易，其俄文部分，更需逐一翻译，尤费手续，迭经警厅公布，多只目录清单”。《苏俄阴谋文证汇编》在《共产国际与中国革命资料选辑（1925～1927）》一书亦有摘录。）