Андрей Петрович Ершов родился в Москве в 1931 г. Окончил механико-математический факультет Московского Государственного Университета в 1954 г. по специальности вычислительная математика. После окончания Московского университета в 1954 году, работал в Вычислительном центре Академии наук СССР в группе автоматизации программирования А.А. Ляпунова. Ершов стал одним из первых отечественных программистов, имевших специальное образование. Вскоре он становится руководителем работ и автором одной из первых программирующих программ для отечественных ЭВМ — БЭСМ и «Стрела». В 1958 году опубликовал первую в мировой литературе книгу «Программирующая программа для быстродействующей электронной счетной машины», сразу же изданную за рубежом.
В 1960 году Ершов переехал в Новосибирский академгородок. Ершов начинает работать заведующим лаборатории в Сибирском отделении АН СССР. В дальнейшем переходит на работу в созданный ВЦ, СО АН СССР. Основные направления его деятельности связаны с вопросами автоматизации программирования и проблемами теоретического программирования, объектами которого служат математические абстракции программ. 1962 защищает кандидатскую диссертацию, а в 1968 и докторскую на тему: «Методы построения трансляторов». В Новосибирске он создал школу программирования, под его руководством и при его участии были созданы языки программирования Альфа, Альфа-6 и трансляторы с них. Система «Альфа» стала первой оптимизирующей системой программирования для сложных языков.
В 1970-х годах Ершов разработал типовую, общую для многих языков схему трансляции, пригодную для создания фрагментов оптимизированных трансляторов. Эта схема охватывала многие задачи автоматизации программирования: анализ свойств программ, систем преобразования программ, разработки входных языков, разработки оптимизирующих трансляторов. Для решения этой проблемы требовался специальный язык, чтобы на нём можно было описать все возникающие проблемы. Такой универсальный программирующий процессор и его внутренний язык описания был создан и получил название «Бета». Кроме того, в это же время была создана вычислительная система «Аист».
Ершов был неутомимым борцом за школьную информатику, за введение курса “Основы вычислительной техники и обработки информации” в доуниверситетское обучение. Самостоятельно (и в соавторстве с другими) он писал школьные учебные планы и учебники, обеспечивал средствами летние компьютерные школы, заведовал учебной телевизионной программой по информатике, “выбивал” компьютеры для школ, читал лекции об опасности компьютерной безграмотности как на общественном, так и на правительственном уровне.
Много сил ученый отдал подготовке программистов, был организатором и участником многих международных конференций, учёных групп, главных редколлегий советских и иностранных научных журналов, активным деятелем Международной федерации по обработке информации (ИФИП). Зарубежные коллеги удостоили его чести и избрали членом ACM (1965 г.) и почетным членом Британского общества по вычислительной технике (1974 г.). Андрей Петрович Ершов был избран вице-президентом конгресса IFIP, членом редакционных коллегий многих научных изданий и Председателем Научного совета по комплексной проблеме "Кибернетика" АН СССР.
За существенный вклад в теорию смешанных вычислений А.П. Ершов был удостоен премии имени академика А.Н. Крылова. Имя А.П. Ершова носит Институт систем информатики, премия для молодых ученых Сибирского отделения Российской академии наук.
Умер 8 декабря 1988 года.