Родился 12 марта 1907 года в с.Елисеевка (нынешний Уметский район). Был первенцем в большой крестьянской семье. Всего детей было шестнадцать, выжило восемь человек. Жили средне. Все богатство было 40 гусей.
После окончания церковно-приходской школы (всего 4 класса) ходил учиться игре на скрипке. Позже стал регентом церковного хора в деревне Булыгино. Был музыкально одаренным человеком. В 1927 году женился на Антонине Алексеевне родом из Оржевки. Рукоположен в диаконы и служил в Булыгинской церкви. Вскоре у о. Алексея родился первый сын, который, однако, через пять лет умер. О. Алексей переехал в Голынщину (под Кирсановом) и служил там до 1939 года, когда был арестован и сослан в лагеря. Отец о. Алексея Швыряева также был сослан в годы коллективизации и погиб на Соловках. В лагерях о.Алексей строил мосты на Воркуту и там, в Ухте, смастерил скрипку, которой веселил заключенных.
С ревматизмом сердца, распухший от голода, с язвами на ногах о. Алексей вернулся домой. Обессилевшего, его отпустили умирать. Однако, он выжил, поправился и начал служить дьяконом в Косьмодамиановской церкви на Кирсановском кладбище. Со временем его рукоположили в священники. Жил в Кирсанове и служил сначала иереем, потом протоиереем кладбищенской церкви, а позже его поставили благочинным и настоятелем храма. Народ его уважал. Все свои силы он отдавал на служение Богу и людям. Бывало никогда не посидит, все торопился. Раз, зимой, он шел после требы, и с ним случился приступ. Так и нашли его лежащим на дороге. К сердечной болезни (мерцательная аритмия) прибавилось еще и воспаление легких. 5 января 1973 года он умер.