Во время Крымской войны Толстой вступил в армию. Александр II в день своей коронации назначил его флигель-адъютантом. Но службой Толстой тяготился, открыто выражал нежелание продолжать заниматься нелюбимым делом: "Служба, какова бы она ни была, глубоко противна моей натуре". В 1861 году Толстой добился отставки, после этого поселился в своем имении под Петербургом, хозяйством не занимался и постепенно разорился.