La passione per la musica di Benny derivano da suo padre e suo nonno: entrambi suonavano volentieri la fisarmonica. All’età di sei anni, Benny iniziò a sperimentare nuovi accordi per conto suo. 
Suo padre Gösta e suo nonno Efraim gli trasmisero la passione per la musica folk svedese. All’età di dieci anni iniziò a prendere lezioni di pianoforte ma abbandonò presto il tentativo. All’età di quindici anni abbandonò la scuola e iniziò a esibirsi in locali per giovani. In questo periodo conobbe quella che sarà la sua prima compagna, Christina Grönvall. Non si sposarono mai, ma ebbero due figli: Peter nel 1963 e Helen nel 1965. Nel 1964, Benny diventò il tastierista del gruppo rock chiamato Hep Stars, nel quale compose alcune canzoni, tra le quali la loro più celebre, Sunny Girl.
Nell’estate del 1969, Benny conobbe Anni-Frid Lyngstad nello stesso periodo in cui Björn Ulvaeus conobbe Agnetha Faltskog: nel 1973 incisero insieme il primo album e nel 1974 nacquero gli ABBA. Il fidanzamento tra Benny e Anni-Frid durò 9 anni. Si sposarono nel 1978, ma divorziarono nel 1981. Una settimana dopo il divorzio, si risposò, questa volta con la conduttrice televisiva svedese Mona Nörklit, con la quale ebbe un figlio nel gennaio 1982, Ludvig.
Dopo essere stato membro degli Hep Stars e successivamente degli ABBA, Benny si dedicò alla creazione di musical come Chess, Kristina fran Duvemala e Mamma Mia!, con la collaborazione di Björn Ulvaeus. Benny crede che la musica folk sia un importante patrimonio di ogni nazione da salvaguardare e rinnovare continuamente, si dedicò quindi a questo genere musicale insieme a Orsa Spelman.
Insieme a Ulvaeus, egli ebbe la nomination per il Drama Desk Award per la categoria “Outstanding Music” (con il musical Chess), e un’altra nomination al Tony Award nella categoria “Best Orchestrations” (con il musical Mamma Mia!). I cast di entrambi gli show ebbero la nomination per il Grammy Award. Durante la carriera post-ABBA, Andersson vinse cinque Grammy svedesi e, insieme a Ulvaeus, ricevette l’Ivor Novello Award dalla Accademia Inglese dei compositori musicali, poi il Music Export Prize dal ministro svedese per l’industria e il commercio, e il Lifetime Achievement Award dal SMFF.
Dal 2001 egli si esibisce per lo più con la Benny Anderssons Orkester con la cantante Helen Sjoholm e altri 16 musicisti, eseguendo i testi scritti dal suo ex compagno degli ABBA e amico da più di quarant’anni, Björn Ulvaeus e pubblicando 4 album fino ad oggi.
Nel 2002 Andersson ha ricevuto il professorato onorario dal governo svedese per la sua abilità nel creare musica in grado di raggiungere le persone in ogni parte del mondo.
Nel 2008, assieme al collega Björn Ulvaeus, è presente in un cameo nel film Mamma Mia!.
