구글, 최첨단 딥러닝 알고리즘 '버트(BERT)' 도입 VIDEO: Google brings in BERT to improve its search results

구글 검색, 5년 만에 가장 큰 변화 'BERT 도입'

美영어 검색의 10% 영향…검색·트래픽 시장 변화 불가피

지역·언어 확대…한국어·힌두어·포르투갈어 향상 가장 커

    구글이 인간의 언어를 더 잘 분석하고 이해하는 최첨단 딥러닝 알고리즘 '버트(BERT)'를 도입해 인공지능(AI)을 활용한 검색능력을 대폭 확대한다. 25일(현지시간) 진행된 이번 업데이트는 5년 만에 구글검색에 영향을 주는 가장 큰 변화다.

버트(Bidirectional Encoder Representations from Transformers)는 광범위한 자연어 처리(NLP) 작업에서 단어의 늬앙스와 문맥을 보다 잘 이해하고 유용한 검색 결과가 효과적으로 일치하도록 도와준다. 특히 자연어와 대화식 쿼리에 대한 개선이 도드라진다.

Image Credits: Georg Wendt/picture alliance via Getty Images / Getty Images

Google brings in BERT to improve its search results Frederic Lardinois@fredericl / 2:07 am KST • October 26, 2019 Google  today announced one of the biggest updates to its search algorithm in recent years. By using new neural networking techniques to better understand the intentions behind queries, Google says it can now offer more relevant results for about one in 10 searches in the U.S. in English (with support for other languages and locales coming later). For featured snippets, the update is already live globally. In the world of search updates, where algorithm changes are often far more subtle, an update that affects 10% of searches is a pretty big deal (and will surely keep the world’s SEO experts up at night). Google notes that this update will work best for longer, more conversational queries — and in many ways, that’s how Google would really like you to search these days, because it’s easier to interpret a full sentence than a sequence of keywords. View full text https://techcrunch.com/2019/10/25/google-brings-in-bert-to-improve-its-search-results/ edited by kcontents

구글은 영어 문장 모음을 가져와서 단어의 15%를 무작위로 제거한 다음 버트가 해당 단어의 의미를 파악하는 방식으로 사전훈련 작업을 진행한다.

구글 수석 연구원 제프 딘(Jeff Dean)은 "시간이 흐르면서 이같은 훈련은 자연어 처리 알고리즘이 '이해하는(understand)' 맥락에서 매우 효과적인 것으로 확인됐다"고 밝혔다.

예를 들어 '2019 brazil traveler to usa need a visa(2019년 브라질인이 미국에 여행가는 데 비자가 필요한가)'라는 질문에서 '~에(to)'라는 문장과 다른 문장의 상관관계는 그 의미를 이해하는 데 특히 중요하지만, 이전까지의 알고리즘은 이 연관성의 중요성을 이해하지 못해 '브라질로 여행하는 미국인'에 관한 엉뚱한 검색결과를 내놨다. 버트 알고리즘은 ~에(to)와 같은 흔한 문장에서 질문의 늬앙스를 이해하고 사용자에게 정확한 검색결과를 제공한다.

이 외에도 특정 직업 표현에 숨겨진 물리적 의미, 컴퓨터가 잘 이해하지 못하는 인간의 미묘한 언어 차이 등을 문맥에서 정확하게 파악할 수 있다.

모든 단일 쿼리가 버트의 영향을 받는 것은 아니다. 구글의 검색 결과 순위를 정화기 위해 사용되는 여러 가지 구글 최신 도구 중 하나지만, 이번 업데이트 이후 미국 영어 검색 10건 중 1건은 버트 알고리즘을 적용한 개선된 검색 결과를 보여주게 된다.

다운 엔더슨 웹검색 컨설턴트는 서치엔진저널(SEJ)에 "구글 어시스턴트와 같은 음성비서에 버트를 활용해 명확한 질문의도를 파악할 수 있다. 더 다양한 분야에 확대 적용할 수 있다"며 "큰 걸음이자 엄청난 도약과도 같다"고 평가했다.

하지만 기계학습의 단점으로 꼽히는 편향성이 가져올 왜곡된 결과물에 대한 우려가 있는 것도 사실이다. 구글은 버트 딥러닝 모델에 특정 검색어가 포함되어도 편향성이 증가하지 않도록 설계했다고 밝혔다. 전문가들 사이에서는 광범위한 문장을 통한 학습을 진행하기 때문에 그 변화를 지켜봐야 한다는 지적도 나온다.

문맥을 이해하는 버트 알고리즘을 활용하면 수천 개의 긴 문장이 필요 없으며, 보다 집중적이고 체계적인 콘텐츠로 더 많은 트래픽을 가져올 수 있다. 구글은 이같은 트래픽 변화에 대해 커다란 변화는 예상하지 않는다고 밝혔지만, 트래픽 결과나 검색 순위에 일희일비하는 비즈니스의 경우 적지 않은 영향을 받을 전망이다.

도입 초기임에도 미국 영어 구글검색 10건 중 1건은 결코 적지 않은 비율인데다 학습 경과에 따라 더 확대할 가능성도 있기 때문이다.

버트 알고리즘의 개선된 구글 검색 서비스는 미국내 영어를 시작으로 다양한 지역과 언어로 확대할 예정이다. 구글은 24개 국가에서 텍스트 발췌(snippets)를 통해 개선을 진행 중이며, 한국어, 힌두어, 포르투갈어에서 상당한 향상을 보고 있다고 밝혔다.

CBS노컷뉴스 김민수 기자

Google BERT & Algorithm Change, Recipe Rich Results & Microsoft Advertising Redesign

 kcontents