А.Н. Крылов родился 3 (15) августа 1863 года в селе Висяга Алатырского уезда Симбирской губернии (ныне село Крылово Порецкого района Чувашии) в семье отставного офицера-артиллериста. Образование мальчик получает в разных учебных заведениях различных городов. Сначала это Севастопольское уездное училище, потом — частный пансион и классическая гимназия в Риге, где обучение ведется на немецком языке. В 1878 г. он поступил в Морское училище, которое окончил в 1884 г. с наградой. Фамилия его, в числе лучших выпускников, была занесена на мраморную доску. В том же году Алексей Николаевич Крылов поступил на службу в компасную часть Главного Гидрографического управления, где и началась его научная деятельность.
В 1888 г. Крылов поступил на кораблестроительное отделение Петербургской морской академии. Оставлен в Морской Академии для подготовки к профессорскому званию и для преподавания курса теории корабля. Одновременно преподавал математику в Морском училище (переименовано в Морской кадетский корпус). С 1897 года - доцент в Морской Академии, с 1910 года - ординарный профессор, а с 1913 года - заслуженный профессор Морской Академии.
В 1894 г. он опубликовал работу “Новый метод вычисления элементов подводной части корабля”, в которой излагаются приёмы вычисления основных характеристик корабля — плавучести и остойчивости. Эти приёмы весьма просты и удобны при проведении расчётов и являются классическими в области кораблестроения. Особенно важно было исследовать плавучесть и остойчивость при наличии подводных пробоин. Вслед за работами по теории плавучести и остойчивости Крылов занялся фундаментальными исследованиями качки корабля на волнующейся поверхности моря. Вопросами килевой качки, когда движение корабля по курсу перпендикулярно набегающим волнам, он начал заниматься в 1895 г. В этом же году появилась его первая печатная работа по качке корабля. Большое практическое значение имели его труды по непотопляемости судна, в которых он научно обосновал и развил идеи адмирала С. О. Макарова. Составленные Крыловым таблицы непотопляемости получили широкое распространение и явились надёжным средством для обеспечения непотопляемости вновь проектируемых судов. Им создана теория вибрации судов и впервые введено преподавание этой дисциплины.
Он заложил основы не только теоретических, но и экспериментальных исследований по строительной механике корабля. Им был создан прибор для регистрации напряжений, возникающих в связях корабля во время плавания. Первые записи с помощью этого прибора были произведены в 1902 г. Таким образом, Крылов положил начало исследованиям основных вопросов строительной механики корабля, причём его работы в этой области имеют значение не только для решения вопросов, связанных с проектированием корабля, но и для развития механики в целом.
В 1900 — 1908 гг. он заведовал Опытовым бассейном, где выполнил ряд экспериментальных исследований и проверил модели различных судов. В 1908 — 1910 гг. Крылов, уже в чине генерала, состоял главным инспектором кораблестроения и председателем Морского технического комитета и на этих постах многое сделал для русского флота. За годы руководства этим бассейном Крылов сконструировал ряд принципиально новых приборов, внедрил ряд новых экспериментов по исследованию различных свойств корабля, превратил бассейн в передовое научное учреждение с огромной экспериментальной базой. В 1914 г. Московский университет присудил Крылову степень доктора прикладной математики, а русская Академия наук избрала его членом-корреспондентом. В 1916 г. последовало его избрание в действительные члены.
В 1908-1910 годах А.Н. Крылов - главный инспектор кораблестроения и председатель Морского технического комитета Морского министерства. Внес огромный вклад в разработку судостроительной программы. Руководил созданием проектов кораблей основных классов. С 1912 года - генерал для особых поручений при Морском министре и член правления Русского общества пароходства и торговли. Тогда значительно расширил педагогическую деятельность, читая курс «Вибрация судов» в Петербургском политехническом институте, курс теоретической механики в Институте путей сообщения. В 1916-1917 годах - директор Главной геофизической обсерватории и начальник Главного военно-метеорологического управления. В 1916 году присвоено воинское звание «генерал-лейтенант по флоту». Награжден несколькими орденами Российской Империи. В 1919 г. он был назначен начальником Морской академии, в 1927—1932 гг. был директором Математического института Академии наук СССР; он сыграл также большую роль в организации Технического отделения Академии (1929). С 1921 по 1927 годы находился в длительной командировке за границей, вел работы по возобновлению научных контактов и налаживанию производственных связей в строительстве морского и железнодорожного транспорта. Был председателем комиссии по наблюдению за постройкой судов, заказанных для СССР. С 1932 года - директор Института физики АН СССР. Консультант в многочисленных научных и производственных учреждениях. Член ученых советов пяти различных институтов Академии наук СССР. В 1939г. ему было присвоено звание заслуженного деятеля науки и техники РСФСР.
В 1938-1940 годах А.Н. Крылов опубликовал ряд работ, в которых дал полное изложение теории девиации магнитного компаса, исследовал вопросы теории гироскопических компасов, разработал теорию влияния качки корабля на показания компаса: "Основания теории девиации компаса", "Возмущения показаний компаса, происходящие от качки корабля на волнении", "О теории гирокомпаса" и др. Он предложил также новую систему дромоскопа, автоматически рассчитывающего девиацию компаса.
В начале Великой Отечественной войны А.Н. Крылов был эвакуирован в Казань, но и там продолжал научные исследования. За выдающиеся достижения в области математических наук, теории и практики отечественного кораблестроения и заслуги в подготовке специалистов для Военно-Морского Флота академику А.Н. Крылову 13 июля 1943 года было присвоено звание Героя Социалистического Труда. Он также трижды награждался орденом Ленина. В августе 1945 года А.Н. Крылов вернулся в Ленинград. Ученым созданы многочисленные приборы, из которых наибольшее практическое значение имеют магнитоизмерители, динамометры, вибрографы, фотоотмечатели для контроля стрельбы при качке корабля, оптические прицелы для корабельной и дальнейбойной береговой артиллерии, дальмометры.
Умер Алексей Николаевич Крылов 26 октября 1945 года в Ленинграде.