보통 API를 제공하는 경우에 1초당 또는 1시간 동안 총 API 호출수를 제한한다. 그런데 그건 API 사용할때 얘기인데 OpenAI의 챗 사이트(ChatGPT가 chat.openai.com 를 챗 사이트로 불렀다)를 사용할때에도 이런 오류가 난다. 챗 사이트도 API를 이용해서 그렇다.

1시간에 얼마나 많이 질문하면 발생하는가?

OpenAI 사이트에도 공개되어 있지 않다. ChatGPT한테 물어보니 무료 요금제는 1시간당 5000개라고 한다. 그러나 믿을 수는 없다.

OpenAI API의 무료 요금제에서는 시간당 5,000개의 요청이 허용됩니다. 따라서 시간당 5,000개 이상의 요청을 보내면, 이 오류가 발생할 수 있습니다.

초당 요청 제한

ChatGPT한테 물어보니 초당 5개 요청 제한이 있다. API 는 보통 이런 제한이 있는데 ChatGPT의 답변은 믿을 수 없다는 문제가 있다.

OpenAI API의 기본 가격 책정은 API 사용량에 따라 이루어지며, 초당 5개의 요청에 대한 무료 계정을 제공하고 있습니다.

시간당 요청횟수 제한은 사용자 기준

새로운 챗을 열어서 하면 어떨까? 해보니 안된다. ChatGPT한테 물어보니 챗은 세션인데 세션당이 아니라 사용자당 제한이라고 한다.

Q: 새로운 챗을 시작하는 것은 어떤가?

A: 새로운 챗을 시작하면, 새로운 세션을 시작하게 됩니다. 하지만 이는 이전 오류가 발생했던 이유인 요청 횟수 제한과는 직접적인 연관이 없습니다. 따라서, 새로운 챗을 시작하는 것은 이전 오류를 해결하는 데 도움이 되지 않습니다.

무료 , 유료 요금제 차이는?

ChatGPT말로는 유료 요금제인 ChatPLUS 요금제는 시간당 요청 제한이 있다도 하더니 또 없다고도 한다.

ChatGPT Plus 요금제를 사용하더라도 챗 사이트(chat.openai.com)에서 일시적으로 “too many requests in 1 hour. try again later” 오류를 겪을 수 있습니다. 이는 챗 사이트에서 독립적으로 발생하는 문제이기 때문에, ChatGPT Plus 요금제를 사용하더라도 발생할 수 있습니다.

요금 요금제에는 제한이 없다.

ChatGPT Plus 요금제에서는 시간당 요청 개수에 제한이 없으며, 무제한으로 사용할 수 있습니다. 따라서 “Too many requests in 1 hour. Try again later.” 오류는 ChatGPT Plus 요금제 사용자에게는 발생하지 않습니다. 하지만 무료 요금제에서는 여전히 시간당 5,000개의 요청 제한이 존재합니다.

ChatGPT 는 아무말 대잔치라 팩트에 대해서는 신뢰할 수 없다.

아마도 ChatGPT Plus 요금제 가입해도 시간당 요청 건수 제한은 있을 것 같다. $20로 서버를 죽일 수도 있을 테니 분명 제한을 두었을 것이다. 내가 회사에서 API를 제공하는 일을 할때 유료여도 초당 요청건수나 최대 요청 횟수 제한을두었다. 제한은 사업적으로 유료 사용자 확보만이 아니라 서버의 안정성 때문에 제한을 두게 된다.

“Too many requests in 1 hour. Try again later.” 해결하기

ChatGPT에게 해결하는 방법을 물어봤는데 물어볼때마다 딴 소리다. 해결 방법들을 정리하면 다음과 같다.

좀 기다렸다가 하기
브라우저 캐시 지우기
IP 변경하기
피크시간대 피하기
다른 계정으로 사용하기
ChatGPT Plus 유료 요금제 가입하기

좀 기다렸다가 다시 하기

1시간당 요청 제한이므로 이론적으로 최대 1시간 후에 다시하면 된다. 내가 얼마나 요청했느냐에 따라 다르겠지만 몇 분 에서 최대 1시간 후에 다시하면 된다.

한창 대화하고 있는데 끊기니 왼쪽에 있는 유료 요금제를 누르고 싶어진다. 😆 문제는 유료요금제라고 해서 시간당 요청 횟수제한이 아예 없는 것은 아닐 것이다.

브라우저 캐시 지우기

요청 건수 제한이라 브라우저캐시 지우는 것은 큰 도움은 안 된다.

Q: 브라우저의 캐시를 지우는 것이 도움이 되나?

A: 브라우저 캐시를 비워도 API 요청에 직접적인 영향은 없지만, 간접적으로 네트워크 대역폭을 늘리거나 페이지 로딩 속도를 떨어뜨릴 수 있습니다. 따라서 브라우저 캐시를 비우는 것이 API 요청 문제를 해결하는 가장 좋은 방법은 아닙니다. 대신, API 요청 제한을 준수하고, 요청 속도를 조절하는 등의 방법을 시도해보는 것이 좋습니다.

IP 변경하기

VPN 으로 IP를 바꿔본다. 기본 제한은 IP는 아닐 것 같지만, 특정 IP에서 과도한 요청이면 IP도 제한한다. VPN으로 IP를 바꿔보는 것도 한 가지 해결 방법이기는 하다.

Q: ip 주소별로 제한하는가?

A: “too many requests in 1 hour. try again later.” 오류는 IP 주소별로 제한되는 것이 아니라, OpenAI API를 사용하는 사용자별로 제한됩니다. 이 오류는 OpenAI API에서 사용자당 시간당 요청 횟수 제한을 초과했을 때 발생하며, 이 제한은 개별 사용자별로 적용됩니다. 따라서 같은 IP 주소를 사용하는 다른 사용자들이 시간당 요청 횟수를 초과하지 않았다면, 해당 오류가 발생하지 않을 수 있습니다.

그러나, OpenAI API에서 IP 주소의 요청 횟수를 추적하고 있을 수 있으며, 만약 하나의 IP 주소에서 과도한 요청이 감지된다면, 해당 IP 주소로부터의 요청을 차단할 수 있습니다. 이는 OpenAI API에서 보안을 유지하기 위해 사용되는 대표적인 방법 중 하나입니다. 따라서, 하나의 IP 주소에서 여러 사용자가 OpenAI API를 사용하는 경우, 해당 IP 주소에서 과도한 요청이 발생하지 않도록 각 사용자가 시간당 요청 횟수 제한을 준수해야 합니다.

피크시간대 피하기

시간당 요청횟수 제한이기 때문에 이론적으로 피크 시간대와는 상관없다. 그러나 초당, 시간당 요청횟수가 공개되어 있지 않으므로 서버 상태에 따라 내부적으로 제한을 둘 수 있을 것 같다.

Q: 이 오류는 너의 피크타임과 관계가 있는가?

A: “too many requests in 1 hour. try again later.” 오류는 OpenAI API를 사용하는 사용자별로 시간당 요청 횟수를 제한하기 때문에, 해당 오류가 발생하는 것은 사용자가 API에 과도한 요청을 보내서 시간당 요청 횟수 제한을 초과했을 때입니다.

따라서, 해당 오류가 발생하는 것은 ChatGPT와 같은 인공지능 모델의 피크타임과 직접적인 관계는 없습니다. 그러나, 인공지능 모델의 피크타임에 따라 사용자가 API에 보내는 요청의 양이 증가할 수 있기 때문에, 이는 간접적으로 해당 오류가 발생하는 빈도를 높일 수 있습니다.

ChatGPT 한테 물어보니 미국 동부 시간으로 오전 10시~ 오후5시기 피크 시간대라고 하니 우리나라 시간으로 밤 12시부터 오전 7시를 피해서 사용한다. 그냥 우리나라 시간으로 낮에 사용하면 된다.

Q: 피크타임을 피해서 사용하는게 도움이 되는가? 그렇다면 너의 피크타임은 언제인가? 한국 시간 기준으로 한다면?

A: OpenAI API의 피크타임은 전 세계의 다양한 사용자들이 사용하는 시간대에 따라 달라질 수 있습니다. 따라서, 피크타임을 피해서 API를 사용하는 것이 해당 오류가 발생하는 빈도를 줄일 수 있는 방법 중 하나입니다.

그러나, ChatGPT와 같은 인공지능 모델의 피크타임은 제한된 시간 동안 많은 사용자들이 이용하는 경우가 많기 때문에, 이는 OpenAI API의 피크타임과 겹칠 가능성이 높습니다. 따라서, 피크타임을 완전히 피하는 것은 어려울 수 있습니다.

OpenAI API의 피크타임은 전 세계적으로 다양한 사용자들이 이용하는 시간대에 따라 변할 수 있습니다. 그러나, 일반적으로는 미국 시간대 기준으로 오전 10시부터 오후 5시 사이가 피크타임으로 알려져 있습니다. 한국 시간 기준으로는, 미국 동부 시간과 차이가 14시간인 관계로, 한국 시간 기준으로는 밤 12시부터 오전 7시 사이가 OpenAI API의 피크타임에 해당할 수 있습니다. 하지만, 이 역시도 OpenAI API를 사용하는 사용자의 지역, 업무 시간 등에 따라 달라질 수 있기 때문에, 정확한 피크타임은 상황에 따라 다를 수 있습니다.

다른 계정으로 사용하기

기본은 사용자별 제한이므로 계정을 바꾸면 된다.

Q: too many requests in 1 hour. try again later 는 chat 별로 제한인가? 아니면 사용자별로 제한인가?

A: “too many requests in 1 hour. try again later.” 오류는 사용자별로 제한됩니다. 이 오류는 OpenAI API에서 시간당 요청 횟수 제한을 초과했을 때 발생하며, 이 제한은 사용자당 적용됩니다. 따라서 동일한 사용자가 다른 prompt 또는 동일한 prompt를 사용하더라도 시간당 요청 제한을 초과하면 “too many requests in 1 hour. try again later.” 오류가 발생합니다.

내 생각엔 이게 가장 좋은 방법인 것 같다.

ChatGPT Plus 유료 요금제 가입하기

ChatGPT Plus 요금제에 수요가 많을 때에도 사용할 수 있다고 되어 있는데 실제로 시간당 요청제한이 없는지는 모르겠다.

유료 혜택

수요가 많은 경우에도 사용 가능
더 빠른 응답 속도
새로운 기능에 대한 우선 액세스

내 생각으로는 시간당제한 갯수가 무료보다 클 수는 있지만 아예 제한이 없을 것 같지는 않을 것 같다. 월 $20 요금제로 무리한 요청을 허용할 엔지니어는 없을 것이다.

OpenAI가 공개를 안 해서 모르겠지만 아마도 유료 요금제는 시간당 요청제한이 클 수는 있다. 검색해봐도 유료 사용하면서 이 제한이 없어졌다는 건 아직 못 찾았다.

내가 월 구독하는 서비스는 많지만 아직 내 ChatGPT 사용이 그리 많지 않으니 월 $20은 부담이다.

마치며

이 오류 원인과 해결 방법을 ChatGPT한테 물어 보았는데 요금제 관련한 것은 신뢰할 수 없었지만 그래도 조금은 도움이 되었다. ChatGPT한테 물어보면서 이 시간당 요청제한이 계정 단위라는 것을 알았다.

최종 내 해결책은 다른 OpenAI 계정을 사용하는 것이다. 구글 계정이야 많으니 현재는 2개를 OpenAI에 가입해 놓고 사용한다. 계정을 바꿨는데도 안 되면 VPN으로 IP를 바꾸면 된다. 전에 어디에 쓸지 몰라도 일단 사 둔 VPN 이 이럴때 도움이 된다.

제휴 링크로 구매 시 제휴마케팅 활동의 일환으로 일정액의 수수료를 지급받아 콘텐츠를 제작하는데 큰 도움이 됩니다.

도움이 되셨다면, 댓글이나 소중한 커피 한 잔 부탁드려도 될까요?

커피 사주기

푸쉬업스타: 팔굽혀펴기 카운터

팔굽혀펴기 자동측정 및 음성카운트, 다양한 방식의 푸쉬업측정 및 푸쉬업속도 분석, 경찰공무원,군체력검정, 사관학교, 학생건강체력평가(팝스) 등 각종 체력시험 준비시 측졍만 하면 점수나 등급이 자동으로 계산

One Comment

지나가다가 2023년 08월 16일 응답

글을 보아하니 님은 ai의 특징을 잘 모르시네요. ai는 답변 “생성기”입니다. 답변 “검색기”가 아닙니다. ai는 인터넷 정보를 검색해서 님에게 답변을 보여주는게 아니라 “보기에 아주 그럴듯하게” 답변을 생성해 내는 것이 ai의 대표적인 특징입니다. 즉, ai가 생성한 답변은 팩트와는 아무 상관이 없고 그저 “창작물”일 뿐입니다. 쉬운 예를 들면, 화가가 어떤 풍경을 보고 그린 그림은 그 풍경 자체가 아니지요. 그 풍경을 보고 화가가 재해석하여 자기 느낌대로 다시 그린겁니다. 따라서 화가가 창작한 작품은 실제 풍경과 절대 일치하지 않습니다. 화가의 그림을 보고 실제 풍경도 똑같을 것이다라고 생각하면 안된다는 것이죠. ai가 생성한 답변도 역시 실제 팩트와 일치한다는 보장은 전혀 없습니다. 그저 창작물일 뿐입니다. 이러한 ai의 특징을 알면 chat gpt에 팩트에 관해서 물어보는게 어리석은 일임을 깨닫게 됩니다. chat gpt가 님에게 답변한 “Too many requests…” 관련 정보는 chat gpt가 상상해서 창작한 소설이지 팩트가 아닙니다.

dobiho on HCI

ChatGPT “Too many requests in 1 hour. Try again later.” 해결하기