故郷は平戸の大川原の村。
遠藤但馬守の祖父遠藤弥六左衛門は延徳3年（1491）平戸弘定の時代に箕坪合戦に平戸方として参加している。但馬守の代になると佐世保城や鼻操城を居城として佐世保一帯を治めるまでに成長している。しかし、宗家松浦が平戸松浦の支配下に置かれたあと、佐賀の龍造寺氏と内通したとされ、一族はことごとく滅ぼされた。この事件は九郎親が遠藤但馬守の娘欲しさに内通の話をでっちあげ但馬守をだまし討ちしたともいわれている。ちなみにこの際、遠藤も奮戦したらしく、飯盛川を渡っている際に襲ってきた古川治部左衛門、山本相模、北川龍也、山田四郎右衛門の4人のうち山田は遠藤を槍で討とうとし、逆に討ち果たされている。
主君の女人への欲望のために我身ばかりか、息子二人と室である千里姫まで殺され、伝説では娘までも殺されている。一族を絶やされてしまった遠藤の九郎親に対する恨みは深かっただろう。

また同じ時代上に遠藤千右衛門という人物が、古書などに度々登場しているが、この遠藤但馬守と同一人物か、はたまた親子なのかはっきりと分かっていない。ただ「遠藤氏系図」に遠藤千右衛門の名は見当たらず、同姓の別の一族なのかもしれない。