O atleta iniciou sua carreira no FC Saarbrucken, time modesto e que hoje está na 3° divisão nacional. Brehme se tranferiu após uma temporada para o Kaiserslautern onde atuou por 5 temporadas, entre 1981 e 1986, se tornou ídolo e destacou-se nacionalmente conseguindo ser contratado pelo maior clube alemão, o Bayern de Munique.
Andreas atuou apenas dois anos pelo clube da Bavária, pois, após bons anos no futebol nacional, atraiu o interesse do mais poderoso futebol da época, o futebol italiano. Em 1988 desembarcou em Milão para assinar com a Internazionale, junto com dois companheiros de seleção, Jurgen Klinsmann e Lothar Matthaus. Juntos formaram um time histórico da Inter que conquistou Campeonato Italiano, Supercopa da Itália e Liga Europa, na época chamada de Copa UEFA, tirando o clube de um jejum de títulos continentais que durava 26 anos.
No time Nerazzurri, Brehme ainda conseguiu uma conquista individual inédita e que até hoje não se repetiu, o lateral foi o primeiro e único jogador alemão a ganhar o Guerin d’Oro, prêmio dado ao melhor atleta da Serie A.
Em 1990 o jogador chegou no seu auge, após o fim da guerra fria as Alemanhas Ocidental e Oriental se unificaram em 1989 fazendo com que a Alemanha voltasse a disputar uma Copa do Mundo como uma única nação e, um ano depois, na Copa de 90 sediada na Itália, Andreas Brehme marcou o gol de pênalti que deu a vitória por 1 a 0 na grande final contra a Argentina. O gol não só deu o Tricampeonato da Seleção Germânica mas é apontado por alguns especialistas como um importante marco no processo de unificação alemão.
Após breve passagem pelo futebol espanhol, defendendo o escudo do Real Zaragoza, Brehme retornou ao futebol de seu país para jogar os últimos 5 anos de sua carreira no Kaiserslautern, time que fez o atleta ganhar projeção no esporte, encerrando suas atividades como atleta profissional em 1998.
No total, Brehme jogou 677 partidas, marcou 82 gols e se sagrou campeão alemão em duas oportunidades, campeão italiano, da Copa UEFA, Copas e Supercopas da Itália e Alemanha, além do título da Copa do Mundo de 1990.