Нет, вам не послышалось, про вас действительно говорят, и по-видимому — что-то неприятное. Подойдите прислушайтесь. Если не слышно — наберитесь смелости и переспросите, чем вы не угодили говорящему. Если будет все отрицать — настаивайте. Обвинения в мнительности воспринимайте как оскорбление.