Группа начиналась как сольный проект вокалиста Дэна Смита, но позже в состав вошли клавишник Кайл Симмонс, басист и гитарист Уилл Фаркуарсон и барабанщик Крис "Вуди" Вуд.
Название группы связано с Днём взятия Бастилии, потому что фронтмен коллектива Дэн Смит родился в день празднования этого события — 14 июля.
Bastille дебютировали в июне 2011 года с бисайдом песен «Flaws» и «Icarus», выпущенным на независимом британском лейбле Young and Lost Club. Одна из копий этого релиза попала в руки радиоведущего Алекса Бейкера, который в своём шоу на радиостанции «Kerrang! Radio» начал активно поддерживать творчество Bastille, и, сыскав свою первую аудиторию, коллектив выпустил дебютный мини-альбом Laura Palmer EP в ноябре того же года.