明治43年、住吉村に移り住んだ関西の実業家の間で、私立の幼稚園および小学校を建設する計画が生まれ、田辺貞吉、才賀藤吉、平生釟三郎、阿部元太郎、小林山郷ら11人の実業家は、44年に幼稚園、45年に小学校を建設しました。平生は、さらに安宅弥吉や伊藤忠兵衛らの協力をえて、大正8年に甲南中学校を現在の甲南大学の地に建設、大正12年には7年制高等学校へと発展させました。当初から甲南高等学校は、平生の教育理念に従って、優れた人材を世に送ることを第一義とし、その目的を達するために体育を重んじ、個性を尊重し、生徒数を約500人にしぼる少数教育を実施していました。当時の官公立学校で見られた、知識詰め込みの画一教育に反対する教師たちが、このような平生の教育理念に賛同して集まり、甲南高等学校に自由で活気のある教育が実現されていったのです。卒業生の多くは一流大学に進学し、また、のちに学界、実業界などで活躍した人材も多く、甲南高等学校の評価は高まりました。

さて、甲南高等学校は、第2次大戦後の教育改革のなかで、将来、新制高等学校の道を歩むのか、それとも新制大学への昇格を目指すべきであるのか、という重大な選択の岐路に立たされました。理事、教職員、学生、同窓生らの間での活発な論議を経て、結局、後者の大学への道をとることになり、初代学長に、京都帝国大学から著名な物理学者で、かつて甲南高等学校で教授をしたこともある荒勝文策氏を招きました。創立後しばらくは、大学と高等学校・中学校が同一のキャンパス内にあって、大学生と中高生がともに校庭を行き来していました。その後、学生・生徒の増加に対応するために、中学校校舎、高校校舎(現在の西校舎)が新しく建設されましたが、なお手狭であることに変わりはありませんでした。そのため、昭和38年、甲南高等学校・中学校は芦屋に移転し現在に至っていますが、先の阪神淡路大震災によって本校舎が大きな被害を受け、現在の本校舎は平成9年に建て替えられたものとなっています。