到了康熙中后期时，“明党”和“索党”之间的斗争已经表面化和白热化，许多官员都牵涉其中或者选边站队，唯独陈廷敬置身事外。由于两边都不靠，他逐渐遭到了排斥和打压，就连弟弟陈廷统也被人诬告受贿。不仅如此，陈廷敬在皇子们的夺嫡之战中也拒绝站队，始终都遵从“外臣绝不私下结交皇子”的原则。或许，正是他的这种超然和公正，越来越被康熙皇帝所倚重。
康熙四十八年，已经七十多岁的陈廷敬老了，也累了，遂向康熙帝递交了致仕申请，希望能够回乡养老。不过，康熙实在是离不开他，只同意经常休假，但不同意从此退休。为了完成《康熙字典》的编纂，陈廷敬亲率三十多名大臣夜以继日，还采用了笔画、韵母和声调等不同方式检索，将77035个汉字汇编成书。期间，康熙曾即兴夜巡，看到白发苍苍的老臣在伏案躬耕，大为感动之下泼墨挥毫亲题了“午亭山村”的匾额和“春归乔木浓荫茂，秋到黄花晚节香”的楹联。
1712年，也就是康熙五十一年，陈廷敬因为病情加重再也无法继续工作，一个月后就病逝了，享年75岁。康熙帝不仅赐谥“文贞”，还命皇三子胤祉代为祭奠，之后隆重护丧归葬故里。众所周知，康熙皇帝一生都喜欢外出巡游，到了全国各地一般都不建行宫，经常会住在重臣家里以示荣宠。比如，他在下江南时就曾在曹寅家中下榻四次，使得曹家背负了巨额的亏空。
同样是接驾，为何曹寅被康熙折腾得够呛，而陈廷敬却受益匪浅，不仅提升了宅院的规格，而且还能流芳后世？原来，曹家只是包衣奴才出身，因为担任江宁织造才聚敛了大量的钱财。但是，陈家却是世家大族，从明孝宗年间到清乾隆年间的260年中，一共出现了41位贡生、19位举人和9位进士，其中6位还入选了翰林。据《陈氏家谱》记载，他们在明朝初年才正式落户山西，到了崇祯年间终于发展成为当地的望族。
康熙为其题名“皇城相府”，何人修建的府邸，为何会得帝王的垂青？
谢邀在中国山西阳城县的一个徧远小村庄里，坐落着一座充满皇家色彩的古建筑群，令人惊诧的是康熙皇帝竟然为这所大宅亲笔题名为“皇城相府"。皇城相府已存在了600多年了，虽经历年的岁月更迭，但还依然完好地保持着当年的建筑格局和庞大宏伟的规模。以前皇城村的村民都居住在这所庞大的宅子里，上世纪90年代，大家为了保护这座古堡，陆续地搬了出来。
追溯几百年，这里一直是人才辈出的地方，在皇城村祖祖辈辈生活的人都知道，重视教育的祖训由来已久。时间退回到公元1429年陈氏8世祖陈林，带着一家老小沿途乞讨，走了差不多半个月时间，从相邻不远的德州才来到一个叫中道庄的地方，他们开始以放羊维持生活，后来发现煤矿甚多，他们开始挖煤冶铁生意。因为祖人都没有什么文化，所以经济好转之后，他们把除却基本生活以外的钱都投向了教育，历经数十年，陈氏家族成了当地有名的书香门笫，开始走向仕途，从此使得陈氏家族彻底改变了门风，明清两代科甲鼎盛，人才辈出，有41人考取功名，19人中举人，9人考中进士，6人入翰林，这个村庄承袭着儒家伦理道德观念，希望后人读书执理，绵世振家，这也是中国人恪守的生活观念。
到明朝的时候，有一个叫陈昌言的族人，是他的出现才有了今天的皇城相府，陈昌言出生于明崇祯年间，是陈林的第七代子孙。明末已是烽烟四起，朝不保夕，由于战乱，陈昌言被迫回到中道庄，当时富甲一方的陈家，为了保护族人的性命和家财，就委托陈昌言筹划修建一座城堡。陈昌言，举人出身，对建筑风水也是十分的精通，于是应承了重任，就对古堡的选址进行了考证，历经数年，筑建了内城，取名“斗筑居"，有自我谦逊的意思，他把这么大片官居民宅既能打仗御敌又能藏人聚财的地方比喻成一个小斗，可能只有这种文人辈出的山庄才能建设成这么一个有智慧的城堡，足以看出陈氏族人重视教育的成果，这个斗筑居就是皇城相府的前身。
公元1638年，古堡还在建设中，烽烟就烧到了这个远近闻名的文化村，中道庄就加快了古堡的建设，并凭借积累的经验，用了一个月时间修建了面阔11.3米、径8米、高33.3米相当于七层楼高的避难所，取名“河山楼"。当时的农民起义军从没见过这么高大而结实的建筑，围攻数十日，却始终攻不下，只得撤军。不仅有人问:陈氏家族有800多人被围困其中，为什么没被饿死呢?原来地下室有碾有磨，有水井，有粮食，可碾米磨面和做饭。
正是陈氏家族饱读诗书才有智慧和能力，才能建造庞大的工事来躲避灾祸。如今河山楼已成为皇城相府的一个标志性建筑。虽然第一次阻止了起义军的进攻，但随着战乱的加剧，陈氏族人认识到，只凭一个河山楼，敌人在下次进攻时，很难保护全族人的安全，于是围绕河山楼，开始修建一座用于工事防御的城池。首先开始修建一道坚固的城墙，成为中道庄的第一道屏障，接着是城门，共九道城门，九门九卡，戒备森严，接着在河山楼旁修建像窑洞一样的建筑，叫藏兵洞，至此，内城已全然成型，后来，起义军根本打不到藏兵洞这里来。
在这个村庄，无论什么朝代什么环境，对教育的重视从来没有减退过，正是因为这世代传承和世代辈出的有志之士，使这种风气从明代一直延续至今。在皇城相府由内城通往外城的通道上，伫立两个石牌坊，刻下陈氏同门的八个兄弟及三个儿子所授的官职，其中以“冢宰总宪”四字最为醒目，这四个字说的是康熙帝的老师，《康熙字典》总校官陈廷敬。
1638年的冬天，一个男婴在中道庄诞生了，其父亲就是陈昌言的弟弟陈昌期，陈昌期为他取名陈敬，由于陈氏家族历代出文人，陈敬从小受到严苛的教育。虽然出生于战争年代，母亲张氏并没有忽视对他的教育，时时刻刻守在他身边教他读书识字，并亲口教授《诗经》和“四书”，陈敬生性聪颖，读书过目不忘。1644年，满族人攻进了紫禁城，清朝恢复了科举考试，这让陈敬有了证明自己实力的机会。
13年后，19岁的陈敬考中举人，笫二年又走进考场进行了殿试，又考中进士，考中进士的有两个叫陈敬的，一个是山西怿州的陈敬，一个是顺天府的陈敬，顺治重新调来两人的考卷细细阅读，顺治为山西陈敬的书法所折服，还有文章缜密的思维，清新的文风，独特的见解，让顺治深为欣慰，于是在山西陈敬的名字里加了一个朝廷的廷字，于是便成了陈廷敬。
初期为官比较顺利，很快在1672年，陈廷敬担任了第一个重要官职一一口讲起居注官，除了记录皇帝的一言一行外，还和皇帝切磋学问，交流思想，成为皇帝身边最亲近的人，深得皇帝信任。可是不久，传来母亲病重的消息，陈只能返回故乡，这一去就是四年。四年间，他除游历山水外，就是教授村里的小孩。可是命运就是这么奇怪，陈廷敬突然收到皇上的任命书，任命他为南书房一职，就是教皇帝孩子读书，一夜之间，他就成为康熙的老师。
陈廷敬一生为官53年，有28次职务升迁，最值得一提的是1710年，奉旨编撰大型的字书《康熙字典》，并任总阅官，是倾注自己毕生心血的一本字书，是历史上收字最多、最系统、最完整、解释最详尽的字典，与《说文解字》并称为沿用至今的两大工具书。后人专门在相府内修建字典博物馆，以缅怀这位文化大家。但那时的陈廷敬已年近古稀，与此同时，陈母多年没见儿子，非常想念，传书信有了进京看儿子的念头，可陈母年岁已大，根本受不了远途的奔波。
孝顺的陈廷敬左思右想，最后想出一条妙计，就是在家乡原有的内城的基础上加盖一座新城，仿紫禁城的样式，以解母亲的相思之苦，京城的很多人都知道了这件事，有人特意上奏章说陈廷敬想造反，说陈家修了宫殿，和紫禁城一模一样，康熙虽不相信陈廷敬会造反，但是说多了也会疑惑，于是带三千御林军悄悄离了京城。来到阳城县城外，远远看到前面一堆砖瓦木石，很是热闹，规模显然难与紫禁城相提并论，又从老百姓口中得知，陈是为了哄母亲开心才修建的，康熙感动于陈的一片孝心，不但不怪罪他，还以他的别号″午亭"给他御书"午亭山村”四个大字。
