其实，武人形象的恶化源于武人群体本身的劣化，而这种劣化早在唐代就已初露端倪了。唐朝初年，在政治上延续了“文武合一”的传统，社会精英无论是学习文化知识还是战阵武艺，都能进入朝廷，而文武兼备者更是大大增加了进入朝廷决策层的机会。这种在军事活动中积累军功，最终进入朝廷决策层甚至成为宰相的过程，传统上被称为“出将入相”。
但是这一传统在武则天追逐权力的过程中发生了巨大的变化。以女子身份牟取最高权力的武则天，始终面临着大量政敌的威胁，而这些政敌中不乏长孙无忌这样位高权重并且在军中拥有巨大影响力的实权人物。因此，武则天为了削弱政敌的势力，一方面大力发展科举，并热衷于提拔缺乏军事经验的官员；另一方面则以各种名义削减军功所能带来的实际收益，堵塞通过军功升迁至决策层的制度性通道。
武则天这一政策的结果，就是大量社会精英放弃追求军功，转而专攻文治，客观上造成了武人群体的劣化。而这种劣化所导致的军事灾难和边境战争的长期化，又进一步造成了府兵的大量逃亡，因为平时务农、战时从征并且自备武器装备而没有饷银的府兵，无法承受常年戍守边关的状态，这最终造成了府兵制度的崩溃。