天从人愿，不久，杨国忠又从玄宗那里讨得了山南西道采访使的重要职务，增强了自己的实力。
随着杨国忠政治地位的改变和军事实力的增长，他与一贯操纵军国大权的宰相李林甫之间的矛盾也日益尖锐起来。
李林甫与杨国忠都是腐朽的贵族、官僚、统治集团的代表，他们之间的差别仅在于李林甫代表着旧贵族官僚的利益，杨国忠则代表带着外戚色彩的新贵族的利益。一个要竭力维护既得的权益，一个则千方百计地要发展自己的势力，于是，新贵与旧贵之间争权夺利的冲突就无法避免了。
在天宝八年(749)时，原为李林甫的党羽吉温，目睹杨国忠“恩遇浸深”,遂看风使舵，脱离李林甫集团而投靠杨国忠。他建议杨国忠先设法剪除李林甫的羽翼，逐步削弱其实力，然后才能取李林甫相位而代之。
这年六月，刑部尚书、京兆尹萧灵坐赃贬汝阴太守，第二年(天宝九年)四月，御史大夫来浑也坐赃流放潮阳。萧灵、来浑皆李林甫在朝中的亲信党羽，李林甫眼见得他们被贬，却无法相救。
在这同时，还发生了一件对李林甫十分不利的事。天宝八年(749)四月，咸宁郡(本丹阳郡)太守赵奉璋上表朝廷，列举李林甫罪行有二十余条之多。