Родился 4 июня 1949 года в поселке Вагай Омутинского района Тюменской области. Там проучился восемь классов. Затем — семья переехала в город Урай Ханты-Мансийского автономного округа. В местной школе №1 (сейчас — гимназия) получил свидетельство о десятилетнем образовании. Поступил в Тюменское училище №1 (железнодорожников). По окончании работал помощником машиниста грузовых поездов на Свердловской железной дороге в локомотивном депо станции Тюмень.
Отсюда 10 ноября 1968 года призван в Вооруженные Силы, направлен в погранвойска. Службу начал на Дальнем Востоке со школы сержантского состава 69 Краснознаменного Камень-Рыболовского пограничного отряда.
15 марта 1969 года армия Китайской Народной Республики предприняла попытку вооруженного захвата острова Даманский в русле проходившей по государственной границе реки Уссури. Советские пограничники вступили в сражение. В ходе ожесточенного боестолкновения Анатолий Иосифович погиб.
Он награжден медалью «За отвагу» (посмертно).
Похоронен в братской воинской могиле села Камень-Рыболов. Урайская гимназия теперь носит имя А.И.Яковлева. Фамилия героя увековечена на мраморной плите монумента погибшим (пропавшим без вести) в локальных войнах и военных конфликтах жителям Тюменской области мемориального комплекса павшим защитникам Отечества в сквере Губкина областной столицы — города Тюмени. Здесь и в Урае в его честь названы улицы, в родном селе — переулок (интернет-портал Правительства Приморского края: «Памятник Героям Даманских событий открыли в Приморье»; сайт музея истории города Урай: «Анатолий Яковлев – урайский герой»; интернет-портал «Путешествуй»: «Выпускникам тюменского техникума погибшим при исполнении воинского долга»).