Родился 26 марта 1919 года в городе Алапаевске ныне Свердловской области. Окончил 6 классов, работал машинистом паровоза, затем секретарём комсомольской организации паровозоремонтной мастерской.
В Красной Армии с 1939 года. На фронте в Великую Отечественную войну с сентября 1941 года. В 1942 году окончил Челябинское танковое училище.
Командир танковой роты 26-го гвардейского отдельного тяжёлого танкового полка гвардии старший лейтенант Алексей Xарлов особо отличился 21 июня 1944 года в бою за станцию Таммисуо. Прорвав сильно укреплённую полосу обороны врага, вверенная ему рота в течение семи часов отражала контратаки противника.
Гвардии старший лейтенант А. Г. Харлов лично подавил огонь восьми дзотов, уничтожил три артиллерийских орудия, но погиб в этом бою: израсходовав весь боекомплект, командир роты вместе с экипажем не покинул подожжённый врагами танк.
Указом Президиума Верховного Совета СССР от 24 марта 1945 года за образцовое выполнение боевых заданий командования и проявленные при этом мужество и героизм гвардии старшему лейтенанту Харлову Алексею Гавриловичу посмертно присвоено звание Героя Советского Союза.