小値賀島はもともと２つに分かれた島でした。鎌倉時代末期、２つの島の間の狭い海の埋め立て工事が行なわれ、そのときの工事で犠牲になった牛を祀ったのが牛の塔です。埋め立ては建武元年（1334）に終了し、このとき埋め立て地に作られた新田は建武新田と呼ばれ、歴史スポットのひとつとなっています。