亚当斯的晚年时间除了花在农场、读书上，还花在组织一些活动上，他担任过美国艺术科学院院长、马萨诸塞州农业促进会成员和哈佛大学视察员委员会成员。参加这些组织之后，他就经常到波士顿，在那里，他与政治观点相同的老朋友聚首。
亚当斯生活节俭，尽管他从来没有富裕过。妻子艾比盖尔善于持家，把一个大家庭撑了下来。家庭农场倒是提供了一部分食物，但几乎没有什么进项，全家的收入主要靠艾比盖尔数年来购买的债券。
亚当斯的5个子女中，二女儿苏珊娜幼年夭折，只活了一年多，亚当斯夫人曾为之长时间痛心不已。长女阿比盖尔·阿美利亚，乳名纳比，她所受的教育及其举止、神态和那个时代的一般美国妇女没有什么两样，但在性格上却受到在家里支配一切的双亲的巨大影响，特别是父亲的独裁作风使她养成了文静怯懦、百依百顺的性格。正是这种性格加上父母的阻止，使她与心爱的恋人罗亚尔·泰勒律师分道扬镳，而后来她所嫁的父亲的助手威廉·斯蒂芬·史密斯并不爱她，没有带给她幸福。
亚当斯另外的三个孩子是儿子。长子约翰·昆西·亚当斯，曾是哈佛大学最出色的学生，但优异成绩的取得是以牺牲个性的发展为代价的。父亲经常给他灌输出人头地的意识，且强加给他一套17世纪的清教教规，使他养成了卓越出众又未免孤芳自赏、过分严厉的性格。1825年，约翰·昆西成为美国史上绝无仅有的一位成为美国总统的总统之子。另外的两个儿子为查尔斯·亚当斯、博尔斯顿·亚当斯，前者因酗酒过度于亚当斯下台前不久死去，后者即亚当斯的小儿子，则是个地道的普通人，曾是费城一名出色的律师。