讃岐は綾歌郡のとある墓地で興味深い文章を見つけました。渡邊さんの墓碑に記されていたものです。

（写真写りが悪く一部判読困難ですが…）

>>
…嫡子城太郎綱光周防國八代嶋ニ城シ弘治丙辰年豊前國岩□城ヲ
領セシカ永禄年中毛利元就ニ破レ讃岐國塩飽島ニ移リ□□城ヲ□
メ渡邊氏ヲ稱ス同嶋ニ現存スル城神若宮及城慶坊ハ則チ綱光ノ建
立ニ係ル親則ノ遺廟ナリ…
<<

「八代嶋」は屋代島のことでしょうか。弘治丙辰＝弘治2年に豊前進出、永禄年中に毛利に敗れて塩飽島に逃れたということは、旧大内警固衆の流れでしょうか。
検索してみたところ「城慶坊」は塩飽島本島の泊浦港の側にあった城で、城太郎綱光の法名が転訛したものだそうです。

>泊浦の「じょうけんぼ」は古く海賊大将軍渡辺氏の居城であったが、天文20年（1551）周防の大内義隆が陶晴賢に亡ぼされた時、義隆の家臣であった橘綱光が当塩飽島に逃れ来たり、渡辺氏の後を継いで渡辺氏を称し（渡辺城太郎綱光）居住した所で、今に遺廟があり、若宮と称し毎年6月13日に子孫の者が祭礼を行った。「じょうけんぼ」は綱光の法名城慶坊より転訛したものと言われている。
>【渡辺氏の由来】
>渡辺氏は嵯峨源氏の後裔で摂津国西成郡渡辺村に移って渡辺を称するようになった。源頼光に仕えて、四天王の一人と称せられた渡辺綱の子、久から多くの諸流渡辺氏が生まれた。嵯峨源氏は名乗りが一字であることが特徴的である。1500年頃塩飽に海賊大将軍として君臨した渡辺氏も子孫と思われる。塩飽から退去後は三豊郡豊中町比地大に移ったと言う。

http://asp.atomicweb.co.jp/id/noburin913/bbs/?page=9

橘諸兄の後裔ともありますので、こちらの渡邉さんは元々摂津渡辺氏から流れて？塩飽島の有力海賊衆となっていた渡邉氏を仮冒したということでしょうか。反毛利だったとすると、元亀2年の児島合戦でも香西元載の麾下で阿波三好方として参戦しているはず。
塩飽衆は江戸時代も幕府から特権を認められていたそうで、幕末には咸臨丸の渡米に水夫として参加したとか。

こちらに興味深い資料がたくさんありました。『渡邊淸次郎回想録』というものがあるようです。この方も同族でしょうか。
http://kanrin-maru.org/kanrin_material/shiwaku/shiwaku.html

塩飽島にも、いつか行ってみたいですね。