한국어 패치가 끝난 바드 성능이 어떤지 chatGPT와 비교해서 살펴보려고 한다. 우선 마음에 드는 점은 답변 속도가 한글자씩 나오는게 아니라 한번에 띄워준다. 답변도 3가지를 한번에 띄워주기 때문에 속도 측면에서는 bingbot과 챗gpt 모두 압도하고 있음. 또 내용을 지메일로 내보내는 기능도 있어서 좋았는데 과연 쓸만한지 살펴보자.
바드 vs GPT
답은 빠른데 조금 생각이 필요한 질문을 하면 챗gpt처럼 명확하게 답해주지 않고 바드는 두루뭉실하게 대답을 내놓는다. 그리고 최신 정보를 반영하는지도 테스트해봤는데 참고로 chatGPT는 유료버전을 사용하더라도 2021년 데이터까지만 있기 때문에 최신 정보를 가져오지는 못한다. 그래서 바드한테 물어보니까
개뻘소리를 하다가 한번 따지니까 그제서야 제대로 답변을 한다. 아니 구글 주가 떨어지는 걱정이 벌써부터 드는데 인간지표답게 반대로 상승하겠지? 아무튼 chatGPT 보다 더 늦게 내놓은 바드 성능이 이렇게 멍청하면 어떡하자는건지.. 그래도 최신 정보는 아주 잘 가져온다 가디언즈 오브 갤럭시 개봉일 물어보니 빠르게 내놓았는데 정확함.
약간의 개선만 거치면 chatGPT랑도 비빌만하겠는데 아직은 아니라고 본다. 그런데 최신 정보는 빙봇에서도 나온다는 점.. 그래도 최근 한국에서 생겨나는 밈들도 잘 이해하고 있다. chatGPT에게 퐁퐁남 물어보면 전혀 이해하지 못함.
그런데 시를 써달라는 등 소설을 써달라고 문학적인 요구를 하면 바드는 정말 질이 떨어지는 답변을 내놓는 반면 chatGPT는 개그도 치고, 꽤 그럴싸한 결과물을 내주기 때문에 뒤늦게 나온 바드 성능은 기대 이하로 느꼈다. 외에도 수학적인걸 물어봐도 오답률이 매우 높음. 또 코드를 물어봐서 실험해보면 GPT는 아주 잘되는 반면 바드가 알려주는건 오류 투성이에 되질 않는다.
늦게 출시한 구글 바드가 이 정도 컨디션이라면 chatGPT를 따라잡을 일은 절대 없을거라고 본다. 형편없음.
바드 장단점
gpt 4, ms bing 보다 훨씬 빠름
최신 정보 반영
무료, 대화 제한x
오류 투성이
한국어 허접
바드 장단점을 봤을 때 사용할 이유가 없다. 왜냐하면 최신 정보 답변도 빙이 더 잘하고, 작문이나 자연스러운 대화 그리고 코드 등은 chatGPT가 훨씬 우수하니 말이다.