神宗自然不肯，后经力求，方允轻车简从，驰驿前往。常湜见减了又减，随行人众仍有五六十人之多，这还是私自作主，没照旨意去办，心中实是厌烦。上来想起泰山、孔林之胜，意欲绕道往游。不料地方官早已得信，知其皇帝爱子，格外讨好，所过之处，官府前接后送，绵亘不断，不论走到哪里，都跟着一大批人。既觉铺张奢侈，耗费民心，心中不安，又觉游山玩水，风雅之事，此行志在选胜登临，增长见识，寻访山中高人隐士，就便访查民间疾苦。照此前呼后拥，人都不得自由，人民更无一人敢于近前，就有怨苦，不得相见，如何考间？
最可气的是两件事：听两位心腹武师暗中查访，这一路之上，人民在苛政暴力与贪官污吏、土豪恶霸压榨之下，已不聊生，怨声载道，而沿途官吏偏在粉饰太平，歌功颂德；有那无耻之徒，明明民无尽藏、人有菜色，偏说是政通人和、弦歌不辍。还有一件，便是自己走到哪里，跟到哪里，入山稍深，峰崖稍微高峻，这班无能的贪官不说他酒色荒淫，无此精力，爬不上去，却说：“殿下万金之体，不应登高临深犯此危险，万一风雨暴作，野兽出没，受了虚惊，岂不上负我皇万岁慈爱之意？我们当臣子的不能力谏力争，也是有负皇恩，罪该万死。”说时仿佛慷慨激昂，如不答应，恨不能以死来争。先还不好意思不敷衍他们，后见沿途所遇都是这些口是心非的无能俗吏，实在气他不过。等到对方絮聒不已，以死自誓，好了装不听见，各行其是；有时心太讨厌，便说：“游山并非恶事，你既如此忠心，仿佛此举不知关系多大，你真照你所说做出一个样儿，我立时回京，不再出门如何？”自己原是一句赌气的话，可笑他们话已出口，自会收回，连像平常妇女赌气要挟假装自杀俱都不敢，立时改转口风；脸皮薄的还咬了牙齿陪同前往，累个满头大汗；几个老奸巨猾、脸厚无耻的大官，索性设法取巧，想了种种花样和假话，自己逃去，但恐万一出事无法对待，却令手下小官随同护送，明暗都有。