К 2002 году, несколько музыкальных лейблов проявили интерес к группе, и в конце концов был подписан контракт с RCA Records. В интервью Натан сказал «Мы купим младшему брату бас-гитару, Калеб научится играть на гитаре, Мэттью играл на гитаре с 10 лет и я буду играть на барабанах». Первая запись группы, под названием Holy Roller Novocaine (мини-альбом), был выпущен 18 февраля 2003. На данном этапе, Джареду было 16 лет и он ещё не умел играть на бас-гитаре. Однако, Holy Roller Novocaine получил 4/5 звезд от журнала Rolling Stone.
Раннее творчество группы представляло собой оживленную смесь влияний южного рока и гаражного рока. Начиная со своего дебюта в 2003 году, они переросли независимое творчество, достигнув международной известности.