Дипломатическая деятельность
В конце 1701 он был назначен посланником в Константинополь. В 1702 - 1714 был первым постоянным послом России в Турции. В задачи Толстого входило недопущение военного столкновения между Россией и Турцией. Несмотря на дипломатический талант, ему не удалось помешать началу очередного русско-турецкого конфликта в 1711. После возвращения в Россию в 1714 Толстой был определен в Посольскую канцелярию, участвовал в дипломатических переговорах, в 1716 в качестве советника сопровождал Петра I в поездке по Европе: в Амстердаме, Париже, Копенгагене.
Участие в « Деле царевича Алексея»
В августе 1717 года в письме к сыну Петр Первый настоятельно потребовал его немедленного приезда в Копенгаген. Испуганный царевич по совету своих приближенных решился бежать в Вену к императору Карлу VI. Инкогнито, под видом государственного преступника, он был заключен в крепость Эренберг. Петру удалось обнаружить убежище сына с помощью резидента в Вене Абраама Веселовского. Тогда царевича тайно перевезли в Неаполь. Доставить Алексея на родину Петр поручил опытному дипломату–Толстому, которому удалось, сломив сопротивление Венского двора получить разрешение увидеться с сыном Петра I, чтобы уговорить царевича сдаться на милость отца. Для этого старый дипломат использовал все– подкуп, шантаж, ложь. В 1717 году, после бегства царевича Алексея во владения императора Священной Римской империи, Петр Великий располагал куда большим выбором дипломатов, чтобы отправить кого-либо из них для розысков беглеца и возвращение его в Россию, чем в начале века–в его распоряжении находились: Борис Иванович Куракин, Петр Павлович Шафиров, Василий Лукич и Григорий Федорович Долгорукие и многие другие, но царь поручил это сложное и деликатное дело Петру Андреевичу Толстому и в данном случае он вряд ли мог сыскать лучшего исполнителя своей воли. Толстой мог быть и вкрадчивым, и суровым, и мягким, и твердым, и резким, и обходительным, т. е. обладал качествами, использование которых обеспечило в тех условиях успех. У Петра не было оснований быть недовольным трудами своего эмиссара–он действовал напористо и в то же время без шума и, с одной стороны, своими действиями не вызывал дипломатических осложнений Венским двором, а с другой– уговорил царевича вернуться в Россию. Слабохарактерный Алексей, называемый Толстым в письмах "зверем", в общем то был легкой добычей. Ему пообещали прощение и разрешение жить в деревне в случае добровольного возвращения в Россию. В октябре 1717 года более года скрывавшийся за границей царевич в сопровождении Толстого выехал на родину. По дороге Толстой использовал все свое влияние, чтобы оградить Алексея от нежелательных встреч, в первую очередь– с императором Карлом VI.
В Москву царевич прибыл 31 января 1718 года. Конечно, ни о каком прощении не могло быть и речи. Началось следствие. Толстой, поставленный во главе специально образованной по этому случаю Тайной канцелярии, сыграл важную роль в раскрытии антиправительственного заговора. Допросы и пытки, на которых он присутствовал, доказали виновность не только приближенных царевича, но и некоторых высших сановников государства. Опасаясь возобновления заговора, царь Петр счел возможным приговорить собственного сына к смерти. Под смертельным приговором Алексею Толстой подписался одним из первых, что впоследствии печально отразилось на его судьбе.
Согласно существующей легенде, царевич Алексей проклял Толстого и всех его потомков до 25-го колена.
За деятельное участие в следствии и суде (1718) над царевичем Толстой был награжден вотчинами, чином действительного тайного советника, назначен сенатором. С этих пор Толстой становится одним из самых близких и доверенных лиц государя. Дело царевича Алексея сблизило его с императрицей Екатериной, в день коронования которой он получил титул графа.
Опала и смерть
После смерти Петра I Толстой вместе с А.Д. Меншиковым энергично содействовал воцарению Екатерины, понимая, что воцарение малолетнего Петра Алексеевича приведет к его опале. Однако ни высокое положение, занятое Толстым при дворе, ни доверие императрицы, ни изворотливость и опытность в интригах не уберегли его от падения: Петр Андреевич разошелся с Меншиковым по вопросу о преемнике Екатерины I, он был сторонником возведения на престол цесаревны Елизаветы Петровны. Толстой вошел в партию недовольных усилением Меншикова (A.M. Девиер, И.И. Бутурлин, И.А. Долгоруков, А.Л. Нарышкин, Г.Г. Скорняков-Писарев). Меншиков одержал верх, состоялось следствие, суд приговорил Толстого к ссылке в Соловецкий монастырь, а других участников заговора - к различным наказаниям (указ был подписан Екатериной 16 мая 1727 за несколько часов до смерти). Вместе с Толстым в ссылке находился и его сын Иван, несмотря на то что к дознанию он не привлекался. Заключенным была запрещена переписка с родными, общение друг с другом и с монастырской братией, посещение церкви.
Петр Андреевич Толстой скончался 10 февраля (30 января по старому стилю) 1729 года, в Соловецком монастыре.