「俺なんかやめたほうが良いよ」は色んな意味がある
ほとんど意味がなく反射的に出てくるような「俺なんかやめたほうが良いよ」もある一方で、あなたに好意がありながらもどうしてもアプローチに応じられないという意味、(あなたに興味はあっても)真剣な恋愛はできないしたくないという意味など、この言葉を発する男性心理にはかなりバリエーションがあります。
「興味関心のない女性にはまず発せられない言葉」であり「異性を意識した言葉である」点は、押さえておきたいですね。
交際に至るかは別として「脈アリサイン」の一つとしてもとらえられるでしょう。