1928年（昭和3年）10月25日開業。

ここの出身である松山藩幕末の学者山田方谷にちなんでつけられた国鉄唯一といわれる人名の駅です。
駅名を決める際、「人名駅は前例がない」とのことで受け付けてくれなかった為、「谷の名前」だと無理やりこじつける形で決まったんだそう。

島式ホーム1面2線。

駅舎は国の登録有形文化財に登録されています。
旧国鉄タイプの駅名標も残っており、訪れる価値あり！
岡山県内では、JR津山線建部駅、同伯備線美袋駅、同因美線美作滝尾駅、旧片上鉄道吉ヶ原駅が登録有形文化財です。

また、2014年に高梁市が支援したテレビアニメ作品『愛・天地無用!』の舞台地として、聖地巡礼で訪れる人もいる。

駅に隣接して「方谷駅資料館」（9時～16時）があるので、散策される際には立ち寄ってみてはいかがでしょうか。