【ロードバイク】暴言を吐かれました どうすれば正解だったのか教えてください

今朝自転車漕いでて遭遇した事例なんですがどうするのが正解だったのか教えて下さい

信号付き片側二車線の交差点で、進行方向青だったので直進するつもりで減速せず時速20km程度で第一車線左端を進んでいました

視界内に同進行方向への車は無く、向かいには交差点内で私の通過待ちをしている右折車が居ました

停止線手前5mくらいの所で抜いてきた自動車が即座に左折ウィンカーを出し、交差点内で止まりました
私は慌てて急停止し、その車の左折を待ちました
しかし左折車は私の通過待ちをしてるつもりのようで発進せず、15秒程度膠着状態になった後、暴言を吐いて左折していきました

ウィンカーを出してる先行車の進路を遮って抜くわけにはいかない、ましてや向かいには右折車もいるから危ないと思って私は待っていたのですが、この対応は間違っていたでしょうか
長文になりすみません