人间色相故事讲述一个出租车司机Man Cheung(黄子华饰),他一直很喜欢Wu Wan Kei-Man(江希文饰),甚至是经常对她性幻想,而Wu Wan Kei-Man则是在做伴唱,他们就是司机与乘客的关系,不过关系逐渐发展成朋友。在一次意外,Man Cheung变成性无能。而医生叫他找个地方静养一下,于是,他来到南丫岛,Wu Wan Kei-Man也住在南丫岛。在那遇他到一个酒吧老板娘Billie(蔡少芬饰),因为在打游戏机输给Billie,就留悄岩厅在Billie的酒吧打工。没多久遇到了另外一个女警Madam Ron(孙佳君饰)。Madam Ron的叔父患了绝症,因为她自己无能力去救叔父,所以想帮助一个自己可以帮助的人,而Madam Ron知道Man Cheung是性无能以后,想帮助他恢复能力。于是,他们产枣旁生一段感情,不过因为再启隐次意外,他又恢复了能力,最终在一起。Tung(张达明饰)是Wu Wan Kei-Man的老公,Wu Wan Kei-Man就是为了他来香港才去找蔡少芬借钱,而为还钱就去做伴唱,还做舞女。而Tung是一个艺术家,来到香港Tung察觉出了Man Cheung对他老婆的暧昧感情,同时也发现了Billie和他老婆是同性恋的关系。但是,这个男人一口一个的人民公社制度,想和Billie,Wu Wan Kei-Man三人组成一个家庭,可惜是Billie不同意。最后,Wu Wan Kei-Man觉得纠缠在Billie和Tung之间很累,于是离开他们两个。