本着能少一事是一事的原则，唐玄宗把李林甫党羽的问题搁置到了一边。

可有的时候，事情不是能躲就躲得过去的，他不惹事不代表事情不来找他。

李林甫又开始在杨慎矜的身上大做起文章来。

杨慎矜，隋炀帝杨广的玄孙，曾祖父是杨广次子齐王杨暕。

杨慎矜的家族显赫而又瞩目，子弟在唐朝可以门荫入仕。而他本人深沉刚毅，富有才干，意气用事，喜欢结交朋友。

天宝二年(743)年，杨慎矜升迁为权判御史中丞，充任京畿采访使，并兼任太府出纳使的职务。朝廷之中右相李林甫手握重权，杨慎矜审时度势认为自己此次升迁拜官没有通过李林甫的门路直接升上去，不合世情，他怕得罪李林甫，不敢接这个任命，坚持不授。

通过这件事，李林甫很满意杨慎矜的辞授行为，把他划归到自己一党。

杨慎矜如果是个平庸之人，他也许能幸福安乐的过完此生，可惜的是他是个有理想有抱负的人，凭借自己的实力他升迁很快，深受皇上的重用。这又让李林甫心里不愤起来，他不能容忍别人比自己优秀，他要打压，打压一切可能威胁到自己的任何人，故此，杨慎矜千躲万防还是没躲过李林甫的迫害。