Bend je svoje ime uzeo od naziva pesme Polar Bear Club od Silent Majority, koja se našla na njihovom albumu Life Of A Spectator iz 1997. godine. Članovi benda Polar Bear Club ovaj album smatraju jednim od najvažnijih pank albuma u poslednjih petnaest godina i izuzetno cene jak, melodičan i emocionalan zvuk Silent Majority. Takav stil su želeli u početku da bude sličan njihovom, pa su smatrali da je to ime idealno za prvo ime benda. Zvuk Polar Bear Cluba je naravno evoluirao tokom godina, ali je priča o nazivu benda ostala ista.
