С пяти лет начал заниматься спортивной гимнастикой в специализированной детско-юношеской школе олимпийского резерва Волжского автозавода в городе Тольятти. Учился в 76-й школе. С 1983 года тренируется у мастера спорта по гимнастике, заслуженного тренера России Евгения Григорьевича Николко. В 1999 году Алексей Немов окончил Тольяттинский филиал Самарского государственного педагогического университета.
Первую победу Алексей Немов одержал в 1989 году на молодёжном первенстве СССР. После удачного старта практически каждый год он стал добиваться выдающихся результатов.
В 1990 году Алексей Немов стал победителем в отдельных видах многоборья на Спартакиаде учащейся молодёжи СССР.
В 1990—1993 годах он был неоднократным участником международных соревнований и победителем как в отдельных видах программы, так и в абсолютном первенстве.
В 1993 году Немов завоёвывает победу на Кубке РСФСР в многоборье, а на международной встрече «Звёзды мира 94» становится бронзовым призёром в многоборье.
Через год Алексей Немов побеждает на чемпионате России, становится четырёхкратным чемпионом Игр доброй воли в Санкт-Петербурге и получает три золотых и одну серебряную медаль на чемпионате Европы в Италии.
На XXVI Олимпийских играх в Атланте (США) Алексей Немов становится двукратным олимпийским чемпионом, получает две золотые, одну серебряную и три бронзовые медали.
В 1997 году он завоёвывает золотую медаль на чемпионате мира в Швейцарии. В 2000 году Алексей Немов побеждает на чемпионатах мира и Европы, становится призёром Кубка мира.
На XXVII Олимпийских играх в Сиднее (Австралия) Алексей стал абсолютным чемпионом, завоевав шесть олимпийских медалей: две золотые, одну серебряную и три бронзовые.
На Олимпийские игры 2004 года в Афинах Немов приехал в ранге явного фаворита и лидера сборной России, несмотря на полученную перед соревнованиями травму, показав высокий класс, уверенность исполнения и сложность программ. Однако его выступление на перекладине со сложнейшими элементами (включая 6 перелётов, в их числе связку из трёх перелётов Ткачёва и перелёта Гингера), было омрачено скандалом. Судьи выставили явно заниженные оценки (особенно судья из Малайзии, поставивший лишь 9,6 балла), средняя составила 9,725. После этого, возмущенные зрители в зале, стоя, в течение 15 минут, непрекращающимися криками, рёвом и свистом протестовали против решения судей и овациями поддерживали спортсмена, не давая выйти на помост следующему (американскому) спортсмену. Растерявшиеся судьи и техком ФИЖ впервые в истории гимнастики изменили оценки, выставив среднюю немного выше - 9,762, но всё равно лишающую Немова медали. Публика продолжила возмущаться и прекратила протесты лишь когда сам Алексей вышел и обратился к зрителям с просьбой успокоиться. После этого случая некоторые судьи были отстранены от судейства, спортсмену было принесено официальное извинение, а в правила были внесены революционные изменения (помимо оценки за технику, была введена оценка за сложность, которая учитывала каждый элемент отдельно, а также связки между отдельными сложными элементами).
После завершения спортивной карьеры А.Немов активно развивает гимнастику в России, причем не только через деятельность в федерации, организацию именного первенства и мастер-классы.
В 2006 г. он запустил шоу «Легенды спорта», в котором приняло участие 200 звезд (за два года гастролей в секции по всей стране записалось в два раза больше детей!), а журнал «Большой спорт» стал модным маяком в наш век высоких скоростей.
