Джефферсон отдыхал в своих усадьбах от напряженных сезонов, в перерывах между гастролями; принимал гостей — актеров Эдвина Бута и Чарлза
Мэтьюза, критика Уильяма Уоррена. В «Райской долине» он каждую осень, после сбора урожая, устраивал праздник — сюда съезжалось до четырехсот человек из близлежащих деревень и ферм.
На отдыхе Джефферсон с увлечением отдавался живописи: это было его хобби, хотя слово «хобби» тогда не пользовалось такой распространенностью, как сейчас. Художнический дар он унаследовал от деда и отца, занимался живописью серьезно и постоянно; трижды, с 1868 года, выставлял свои картины. В Вашингтоне была организована его персональная выставка.
Другим любимым занятием было рыболовство. Джефферсон частенько просиживал часами с удочкой на берегу озера или реки. В 1905 году, в некрологе, напечатанном газетой «Индепендент», будет сказано о Джефферсоне: «Самые счастливые дни он провел на берегу реки, сидя с удочкой в руках и свистком в губах». Компанию ему составляли то Чарлз Мэтьюз, то президент Гровер Кливленд, то Уильям Уоррен. С последним они часто проводили лето вместе, ловили рыбу, бродили по окрестностям. Они дружили с давних пор: Уильям был в труппе Джефферсона 2-го во время театральных экспедиций на Дальний Запад. С 1847 года Уильям осел в Бостоне, в театре Бостон Музеум, и почти никогда не покидал его. Джефферсон всегда с удовольствием ездил на гастроли в Бостон: там, в окружении большой семьи Уорренов, он чувствовал себя как дома.
Да и сам Бостон, столица Новой Англии, нравился ему, хотя он подтрунивал над бостонцами, которые считали свой город американскими Афинами.