致坚持到底动员组织在广州的党团员接待回广州的罢工海员并向广大群众进行宣传教育。在领导广东工人运动的同时谭加强了对广东社会主义青年团的领导工作。1922年3月谭重新组建了广东社会主义青年团并被选为书记。

1922年6月由于陈炯明叛变广东党团组织转入地下活动。谭平山被派到北京以警监学校教导主任为职业进行革命活动。7月到上海参加了中共二大。1923年2月孙中山驱逐陈炯明出广州谭从北京回到了广州被孙中山任命为大元帅府大本营宣传委员会委员。为了集中力量做好党的工作谭专任中共广东区委书记领导广东、广西、福建南部和香港地区党的工作。1923年6月谭参加中共三大拥护和支持关于与孙中山领导的国民党建立合作关系的主张被选为第三届中央执行委员、中央局委员以后又被任命为中央驻粤委员。

中共三大后谭平山坚决贯彻执行与国民党合作的决议协助国民党进行改组。1923年1o月他参加了国民党改组特别会议被孙中山指定为国民党临时中央执行委员会9个委员之一并被选为该委员会书记兼组织员负责国民党改组的具体工作。1924年1月中国国民党第一次全国代表大会在广州举行。谭出席大会并代表国民党临时中央执委会向大会做了报告。会上谭被选为国民党中央执行委员。会后被推举为中央执行委员会常务委员被任命为国民党中央组织部长。谭和廖仲恺、戴季陶3人主持中央秘书处日常工作。谭成了国民党内举足轻重的人物。

国民党一大后为巩固和展革命统一战线谭平山领导的中共广东区委派遣一批党员干部到国民党中央机关各部工作。谭还通过国民党广东省党部派出一批特派员、改组员、筹备员奔赴各县协助建立和健全各县、区党部的基层组织将国共合作展到基层。为培养农民运动干部推动农运展在谭建议下国民党中央成立了农民运动委员会举办了农民运动讲习所。谭经常以国民党中央执行委员会常务委员、中央组织部长身份在农民运动讲习所讲课作报告。1924年1o月广州生了商团反革命叛乱。谭积极组织工人、农民支援配合军队镇压叛乱为巩固广东革命政权作出了贡献。

1925年1月谭平山到上海参加中共四大被选为中央执行委员。为加强对广东工作的领导5月中共中央决定谭为中共在国民党中央的党团书记成立了以谭为的中共中央广东临时委员会。谭和廖仲恺等国民党左派密切合作使国民党中央下定决心武力平定了杨希闵、刘震寰为的滇、桂军阀的叛乱。1o月谭动员组织各种力量支援广东革命政府东征陈炯明南讨军阀邓本殷有力地推动了广东革命根据地的统一和展。

1925年3月孙中山逝世国民党右派分子活动加剧。5月谭平山写了《中山先生逝世后之国民党》揭露国民党右派的反革命活动号召人们“要明白的认清楚国民党中谁是革命派？谁是反革命派？更要认清楚国民党员的意见中那种是革命派的主张？那种是反革命派的主张？尤要认清楚国民党中革命派与反革命派那一派是真正的能够代表国民利益而奋斗？”18月国民党左派领袖廖仲恺被害牺牲革命政府组织特别法庭审判廖案有关人犯谭等5人任审判委员。11月“西山会议派”出笼。谭团结国民党左派掀起了大规模的反击“西山会议派”的斗争浪潮。1926年1月国民党“二大”在广州召开。谭出席大会并向大会作《党务报告》。大会重申孙中山的联俄、联共、扶助农工的三大政策维护了革命统一战线。大会决定开除邹鲁、谢持等“西山会议派”要分子出国民党加强了共产党和国民党左派的团结。谭再次被选为中央执行委员和常务委员继续担任国民党中央组织部长和秘书长。1926年5月蒋介石继中山舰事件后抛出整理党务案不准共产党员在国民党中央机关担任部长职务。谭只好离开国民党中央组织部和秘书处。

1926年11、12月谭平山代表中共参加在苏联莫斯科召开的共产国际执委会第七次扩大全会。谭代表中共在大会上致词并系统地汇报和论述了1《革命》周刊第1期1925年5月2日。

中国革命的路线、方针和策略重点谈了同国民党合作的革命统一战线问题和农民问题。并被选为共产国际执委主席团委员中国委员会主席。

1927年2月谭平山从苏联回到广州。3月国民党中央在武汉召开二届三中全会谭缺席被选为中央常务委员、政治委员会委员。4月谭到达武汉他在武汉中央农讲所表演说强调“中国革命就是要解决农民问题”。4月27日至5月1o日出席中国共产党第五次全国代表大会并任大会政治委员会和农民土地委员会的委员多次在会上言被选为中央委员。会后被选为中央政治局委员被任命为中共中央农民部部长参加了由毛泽东、瞿秋白等9人组成的中央农民运动委员会继续担任中共在国民党中央的党团书记。这时国民政府已从广州迁到武汉。谭仍任国民党中央常务执行委员和政治委员担任国民政府委员兼农政部长、全国农民协会执行委员、国民党中央土地委员会委员。这一时期谭主要负责有关农民运动的工作。

农民运动的蓬勃展引起了国民党中地主、资产阶级和官僚们的恐惧。他们极力诬蔑、阻挠农民运动。谭平山领导的农政部要在农村推动农民运动必然引起地主豪绅及其国民党右派的攻击和诬蔑；要维护国共合作的革命统一战线纠正农民运动中某些“幼稚行为”又会遭到党内一些同志和共产国际的指责和批评。1927年6月谭平山辞职不成遂以因病请假就医为名离开了农政部。6月29日反动军官何键在汪精卫等人授意下宣布与共产党分裂拘捕共产党员。7月13日中共中央表宣言公开揭露汪精卫等人的反革命行为令参加国民政府的共产党员退出政府。谭随即表公开辞职书指责国民党已完全背叛了孙中山的联俄、联共、扶助农工三大政策由革命变为反革命。