16世紀（室町時代末期）、スペイン・ポルトガル人の宣教師によって保存食用の堅いパンが日本に伝来します。宣教師らが製法を伝授する際、「カスティーリャ王国のお菓子」と説明したことが「カステラ」の名前の由来だと言われています。（※諸説あり）

また、ヨーロッパの菓子類としては珍しく乳製品を用いないことから、乳製品を生産・常用しない当時の日本でも広まったのではないかと言われています。

17世紀（江戸時代初期）に入ると、長崎の出島に大量の砂糖が輸入され、「カステラ」にもっと砂糖や水飴を加えることによってしっとりとした食感が生まれることを発見します。こうして長い時間をかけて現在のカステラへと変化していきました。