API로 만든 챗봇이 자꾸 엉뚱한 답을 해요

저도 같은 문제로 고생 중인데 진짜 공감되네요. 시스템 프롬프트에 아무리 강조해도 4o가 가끔 자기 고집을 부릴 때가 있더라고요.

AI가 너무 착해서(?) 모른다는 소리를 못 하나 보네요. 저는 프롬프트에 '모르면 답변하지 말고 상담원 연결을 유도하라'는 식으로 강하게 제약을 거는 편이에요.

혹시 temperature 값은 어느 정도로 설정하셨나요? 0에 가깝게 낮추고 지식 베이스 내용을 프롬프트 맨 마지막에 배치하는 게 그나마 효과가 좋았습니다.