Тайный советник, известный миссионер, общественный деятель, участник монархического движения, издатель газеты «Колокол».
Из семьи священника. Окончил Киевскую Духовную академию, преподавал в Казанской Духовной семинарии.
Широкую известность в правых кругах он получил во время общественного возбуждения, связанного с отпадением от Православной Церкви гр. Л.Н.Толстого. Скворцов издал специальную книгу, обличающую зловерие графа, которая выдержала 3 издания. В 1906 г. Скворцов основал ежедневную церковно-политическую газету «Колокол», издавал и редактировал ее, а с 1910 г. издавал популярное приложение к газете «На каждый день православному христианину».
Он был давним членом Русского Собрания, где состояла и его жена Юлия Александровна. На Третьем Всероссийском Съезде Русских Людей в Киеве 1—7 октября 1906 г. выступил с речью «О необходимости борьбы с жидовской печатью», в которой отмечал, что «пресса в огромном большинстве в руках евреев».
В 1915 г. вышел в отставку в чине тайного советника.
После октября 1917 г. Скворцов эмигрировал, жил в Югославии, был председателем русской колонии в Пангеве. Умер в Сараево.