高凌霨既得了这代阁的命令，能力愈增，大有和吴、颜争长之势，可是洛阳的吴佩孚，南京的齐燮元，团河的冯玉祥，都主张请颜惠庆做第一任的总理，以排斥吴景濂。吴景濂久已怀着总理一席非我莫属的念头，而今竟被别人夺去，不觉又气又恨，一面大放其国会决不通过的空气，以显自己的能力，一面又向王承斌求援。王承斌当时因自己曾一口答应过他，免不得代他力争，并请曹锐进京和曹三强硬交涉。可是这般一做，倒反引起了曹三厌恶之心，发生了许多阻碍。那曹三除却派王毓芝赴津示意外，又把个王承斌连升三级，使他得点实利，免得再替吴大头帮忙，因此吴大头的总理梦，反倒近于天亮了。吴景濂当大骂曹三忘恩。在颜惠庆本人，虽也很想过一过总理的瘾，但怕国会不予通过，反而坍台，因此不敢争执，情愿退让。从表面言之，仿佛淡于荣利，而颜非其人也，盖其所以不敢争，由于情弱耳。所以四个人中，只剩了吴、高两个，尚在大斗其法。
吴景濂既以国会的势力，恐吓高凌霨，高凌霨便也利用取消国会的空气，以恐吓议员，使他们不敢助吴，并且即用以其人之道，还治其身之法，利用反对吴景濂的议员，运动改选议长以倒吴。在十月二十六日按：是时尚为十二年。那一天，众议院开临时会的时候，就有陈纯修提出依据院法，改选议长的意见，便把个吴景濂吓得不敢开会。太不经吓。曹三既然厌恶吴景濂，不愿意给他做总理，又恐怕高凌霨不能通过于国会，因此找出一个接近颜惠庆的孙宝琦来做试验品，提出国会，征求同意。吴景濂得了这个咨文，自不免通告议员，定于十一月五日投孙阁同意票，而吴派议员，便在前一日议定了办法。到第二天开会，反对吴派的议员，便指斥吴景濂任期已满，依法应即改选，不能再当主席，大发其通知书。吴派的议员，哪里肯让？始则舌战，既而动武，终至痰盂墨盒乱飞，混战一阵而散。经了这次争执以后，反对派时时集会讨论倒吴办法，和惩戒老吴的意见，并拟在众院自由开会，把个吴景濂吓得无办法，只得紧锁院门，防他们去自由集会；又恐怕他们强行开锁，不敢把钥匙交给院警，每天都紧紧的系在裤带上，一面又请人疏通，以期和平了结。不料反对派由保派的王毓芝组合为宪政党，已成反吴的大团结，吴氏的疏通，如何有效？吴景濂没了办法，请王承斌补助款项，也想组织一个大政党，和他们对抗，这事还不曾成功，曹三催投孙阁同意票的公文又来。吴景濂不得不再召集会议，在议席上仍免不了争执，由争执而相打。吴景濂竟令院警和本派的议员拳师江聪，打得反吴派头破血流，并且把反对派的中坚份子，加以拘禁，一面又关起大门，强迫议员投同意票。恰好检察厅得了报告，派检察官来验伤，吴景濂因他验得不如己意，竟把检察官一同拘禁起来。这议长的威风，可谓摆得十足了。散会以后，反对派的议员，一面公函国务院，请撤换卫队，一面向检察厅起诉。高凌霨就趁此大下辣手，把众议院的警卫队，强迫撤换。吴景濂失了这个武器，已经胆寒，更兼检察厅方面，也以妨碍公务，毁坏文书，提起公诉，因此把吴大头吓得不敢在北京居住，忙忙带着众院印信，逃到天津去了。