“色令智昏”这一成语的出处是《左传·昭公二十八年》，其上一句为：“夫子，物之尤者也，夫何敢甚？若多，不过其身。且夫小人之性，衅于勇，啬于祸，以足其性而求名焉者，非国家之利也。若何从之？夫有尤物，足以移人；苟非德义，则必有祸。”
这段话的背景是，春秋时期，卫灵公的夫人南子长得非常漂亮，但她却与宋国的公子朝私通。卫国的大臣们知道后都劝卫灵公杀掉淫乱的南子和宋朝，但卫灵公不听，反而更加宠爱他们。卫国有个忠臣叫做史鱼，他看到这种情况非常焦急，于是决定以死相谏，希望卫灵公能够迷途知返。他在临死前对儿子说：“我在朝廷做官，不能够进贤退不肖，这是我作为臣子的失职。我死后，你将我的尸体放在窗下（古代大臣死了，通常把棺材停放在厅堂里），不要入殓，这样我就还有遗言要对君王讲。”史鱼的儿子按照父亲的遗嘱办了。卫灵公前来吊丧时，看到史鱼的尸体停在窗下，就惊奇地问这是怎么一回事。史鱼的儿子就将父亲生前的遗愿告诉了卫灵公，并转达了史鱼的话：“我听说，一个好的臣子应该用生命来奉养君主，用好的道理来规劝君主。当年晏婴在齐国做官的时候，齐景公有了过错他就直言相劝，使齐景公成为一个好国君。如今大王您有了过失，作为臣子的我却没有尽到责任，因此我没有脸面去见地下的祖宗和先父。等我死了以后，你就把我放在窗户下面吧！这样我就能日夜监督你的一举一动，不让你再犯错误。”卫灵公听了史鱼的话后很感动，也很惭愧，于是马上表示要改正错误，去掉奢侈的生活，并且不再重用那些只会逢迎拍马的小人了。这就是“色令智昏”典故的由来和其上文的全部内容。
“色令智昏”原意是指因贪图女色而丧失理智，把一切都忘了。后来人们用它来形容由于迷恋女色而丧失理智、做出愚蠢的事来的人或行为。
