Первоначальное образование он получил в родительском доме в Санкт-Петербурге и очень рано выказал любовь и необыкновенную способность к рисованию. Был отдан в полоцкий иезуитский коллегий, где сильное влияние на него имел известный патер Грубер ; оттуда Толстой поступил кадетом в морской корпус, из которого, в 1802 г., выпущен мичманом в балтийский гребной флот.
Не переставая заниматься рисованием, положительное призвание к искусству почувствовал лишь по своем производстве в мичманы. Решившись учиться ваянию и медальерному искусству в Академии Художеств, Толстой стал посещать классы академии в качестве вольноприходящего ученика и, для большей успешности своих занятий в ней, вышел в 1804 г. в отставку. Усердная работа в академических классах и изучение литературы и истории быстро развили дарование молодого художника, так что уже в 1806 г. он обратил на себя внимание императора Александра I , который определил его на службу в Эрмитаж, а в 1809 г. в монетный департамент, медальером.