李敖会孤独的原因之一就是他敢于面对，他不会逃避，也不屑于逃避。因此，李敖是反对“世外桃源”精神的，那么，“世外桃源”这种精神来源于哪里呢？李敖的讲解是：“晋朝的陶渊明写过《桃花源记》，有一群人天下大乱时找到世外桃源藏起来，另外过着一种隔世的生活。在宋朝人的画里面，有这个《桃花源图》，描写这些人离开家乡建立的世外桃源。”“世外桃源”精神就来源于此。李敖反对的原因是：“面对乱世我们要解决它，而不是逃避它……所以我认为世外桃源的思想是一个错误的思想。”通常，在乱世之中，人们都会选择逃避，只有少数人会勇敢面对动荡纷乱的局面，而这类人从来都是孤独的，因为很少有人能理解他们的做法。李敖就属于这类人之一。爱因斯坦曾经说过：“我最喜欢的一种生活方式，就是孤独的愉悦。”李敖非常欣赏爱因斯坦的这句话，因为他与爱因斯坦一样，虽然孤独，却也同样快乐，一种“来自内心的那种平静的、不受外界干扰的、独来独往的快乐，庄子所说的独与天地精神之往来的那种快乐”。斯铎曼医生有一句极负盛名的话：“世界上最强而有力的人，就是那个最孤立的人。”所以，李敖也算一个强而有力的人，在孤独中获得快乐。