"이 순간도 구글 검색은 진화합니다"...가장 큰 변화 작년 'BERT' 도입 VIDEO: Google now uses BERT to match stories with fact checks

"이 순간도 구글 검색은 진화합니다"

구글 검색품질팀 라운드테이블

    "사람들이 구글 검색창에 치는 질의 중에서 15%는 이전에 없었던 새로운 것들이에요."

지난 10일(현지시간) 실리콘밸리에서는 구글 검색엔진 담당 엔지니어들이 매일경제를 비롯한 글로벌 언론 질문에 답하는 라운드테이블 이벤트가 열렸다. 구글 검색 품질팀 리더인 판두 나약 엔지니어는 이 자리에서 "하루에 검색 수십억 건이 이뤄지고 있고 그중 15%는 전에 전혀 보지 못한 것들"이라며 "예를 들어 `딸아이가 다니는 학교 관할 교육청에서 수질 개선을 위해 얼마나 예산을 쓰고 있는가` 등과 같은 매우 구체적인 질문이 최근에는 많이 등장하고 있다"고 말했다

Google now uses BERT to match stories with fact checks Google has made numerous changes to auto-complete, News, fact-checking, knowledge panels, breaking news detection and more. Google announced and summarized a lot of the changes and updates the company made to Google Search over the past year. This announcement covers changes to Google Search, Google News, autocomplete, fact checking, through BERT and language processing. At a high level, Google is aiming to provide search results that are not just as relevant as possible, but also as reliable as possible. And in some cases, like in the YMYL, your money your life sector, reliability is of a higher concern to Google, especially with the U.S. presidential election around the corner and health being of top concern during the pandemic. What has changed?  Pandu Nayak, Google Fellow and Vice President of Google Search, said today’s announcement was more about the ongoing changes Google has made over the years rather than a new product or feature launching. Here are recent tweaks and changes the company highlighted from the past year: View full text https://searchengineland.com/recent-changes-to-improve-relevance-and-reliability-of-google-search-340465

edited by kcontents

이런 새로운 질문에 맞는 답을 알려주는 인터넷상 문서를 구글은 어떻게 찾고 있을까. 그는 "구글은 연관성과 신뢰성이라는 두 가지 내부적인 잣대를 가지고 검색 품질 개선을 꾀하고 있다"고 말했다. 어떤 인터넷 웹페이지 (문서)가 해당 질문에 대해 연관성이 높은지를 지난해 구글이 도입한 인공지능 검색방식(BERT)을 이용해 고도화하고 있다. BERT는 단어 뉘앙스와 문맥을 통해 문장 뜻을 이해하는 알고리즘으로, 예를 들어 `2020년 10월 2일 한국에서 미국 가는 비행기편 가격을 알려줘`라는 자연어 문장을 검색창에 치더라도 엉뚱한 결과가 나오지 않고 정확하게 질문을 컴퓨터가 이해하도록 도와주는 기능을 한다. 지난해 10월 도입됐다. 또 나약 엔지니어는 방대한 분량의 인터넷 문서 하나하나에 신뢰성 등급을 매기고, 그를 다시 머신러닝으로 학습시키는 방식으로 검색 결과 가장 신뢰성 높은 문서들이 노출될 수 있도록 한다고 설명했다.

구글 측은 이 같은 검색 결과의 질적 향상 외에 미국 대선 등과 같은 이벤트를 앞두고 사회적 영향도 고려해 검색 결과를 노출시킨다고 밝혔다. 선거와 관련된 민감한 내용은 검색어 자동완성 기능에 포함시키지 않는 것이 하나의 사례다. 예를 들어 미국인이 `투표(Vote)`를 검색하면 정상적인 경우 `당신은 전화투표를 할 수 있다(You can vote by phone)` 또는 `당신은 전화투표를 할 수 없다(You can`t vote by phone)` 등과 같은 자동완성 검색어가 제안돼야 할 텐데, 구글은 이를 없앤 것이다.

작년 구글이 도입한 인공지능 검색방식(BERT)

엄청난 성과

Agence Consultoria

edited by kcontents

현재 미국에서는 우편, 전화투표 등과 같은 투표 방식에 대해 선거 절차 공정성 논란이 벌어지고 있기 때문이다.

자연재해는 긴급속보가 뜨기까지 내용을 확인하는 데 꽤 오랜 시간이 걸리는 문제점들이 과거에는 있었지만, 이 역시 시간을 매우 앞당겼다. 나약 엔지니어는 "지난 수년간 속보가 뜨거나 자연재해와 같은 충격적인 뉴스가 발생할 경우 가장 신뢰할 수 있는 정보의 원천을 찾아 그를 검색 결과에 올리도록 하는 방식으로 속도를 개선했다"며 "그 결과 사건 발생 이후 40분 걸리던 속보 탐지 능력을 수 분 안에 해 낼 수 있도록 개선했다"고 말했다.

[실리콘밸리 = 신현규 특파원] 매일경제 

구글 검색, 5년 만에 가장 큰 변화 'BERT 도입'

美영어 검색의 10% 영향…검색·트래픽 시장 변화 불가피

지역·언어 확대…한국어·힌두어·포르투갈어 향상 가장 커

    구글이 인간의 언어를 더 잘 분석하고 이해하는 최첨단 딥러닝 알고리즘 '버트(BERT)'를 도입해 인공지능(AI)을 활용한 검색능력을 대폭 확대한다. 25일(현지시간) 진행된 이번 업데이트는 5년 만에 구글검색에 영향을 주는 가장 큰 변화다.

버트(Bidirectional Encoder Representations from Transformers)는 광범위한 자연어 처리(NLP) 작업에서 단어의 늬앙스와 문맥을 보다 잘 이해하고 유용한 검색 결과가 효과적으로 일치하도록 도와준다. 특히 자연어와 대화식 쿼리에 대한 개선이 도드라진다.

구글은 영어 문장 모음을 가져와서 단어의 15%를 무작위로 제거한 다음 버트가 해당 단어의 의미를 파악하는 방식으로 사전훈련 작업을 진행한다.

구글 수석 연구원 제프 딘(Jeff Dean)은 "시간이 흐르면서 이같은 훈련은 자연어 처리 알고리즘이 '이해하는(understand)' 맥락에서 매우 효과적인 것으로 확인됐다"고 밝혔다.

예를 들어 '2019 brazil traveler to usa need a visa(2019년 브라질인이 미국에 여행가는 데 비자가 필요한가)'라는 질문에서 '~에(to)'라는 문장과 다른 문장의 상관관계는 그 의미를 이해하는 데 특히 중요하지만, 이전까지의 알고리즘은 이 연관성의 중요성을 이해하지 못해 '브라질로 여행하는 미국인'에 관한 엉뚱한 검색결과를 내놨다. 버트 알고리즘은 ~에(to)와 같은 흔한 문장에서 질문의 늬앙스를 이해하고 사용자에게 정확한 검색결과를 제공한다.

이 외에도 특정 직업 표현에 숨겨진 물리적 의미, 컴퓨터가 잘 이해하지 못하는 인간의 미묘한 언어 차이 등을 문맥에서 정확하게 파악할 수 있다.

모든 단일 쿼리가 버트의 영향을 받는 것은 아니다. 구글의 검색 결과 순위를 정화기 위해 사용되는 여러 가지 구글 최신 도구 중 하나지만, 이번 업데이트 이후 미국 영어 검색 10건 중 1건은 버트 알고리즘을 적용한 개선된 검색 결과를 보여주게 된다.

다운 엔더슨 웹검색 컨설턴트는 서치엔진저널(SEJ)에 "구글 어시스턴트와 같은 음성비서에 버트를 활용해 명확한 질문의도를 파악할 수 있다. 더 다양한 분야에 확대 적용할 수 있다"며 "큰 걸음이자 엄청난 도약과도 같다"고 평가했다.

하지만 기계학습의 단점으로 꼽히는 편향성이 가져올 왜곡된 결과물에 대한 우려가 있는 것도 사실이다. 구글은 버트 딥러닝 모델에 특정 검색어가 포함되어도 편향성이 증가하지 않도록 설계했다고 밝혔다. 전문가들 사이에서는 광범위한 문장을 통한 학습을 진행하기 때문에 그 변화를 지켜봐야 한다는 지적도 나온다.

문맥을 이해하는 버트 알고리즘을 활용하면 수천 개의 긴 문장이 필요 없으며, 보다 집중적이고 체계적인 콘텐츠로 더 많은 트래픽을 가져올 수 있다. 구글은 이같은 트래픽 변화에 대해 커다란 변화는 예상하지 않는다고 밝혔지만, 트래픽 결과나 검색 순위에 일희일비하는 비즈니스의 경우 적지 않은 영향을 받을 전망이다.

도입 초기임에도 미국 영어 구글검색 10건 중 1건은 결코 적지 않은 비율인데다 학습 경과에 따라 더 확대할 가능성도 있기 때문이다.

버트 알고리즘의 개선된 구글 검색 서비스는 미국내 영어를 시작으로 다양한 지역과 언어로 확대할 예정이다. 구글은 24개 국가에서 텍스트 발췌(snippets)를 통해 개선을 진행 중이며, 한국어, 힌두어, 포르투갈어에서 상당한 향상을 보고 있다고 밝혔다.

CBS노컷뉴스 김민수 기자

Introducing BERT: Google's New AI Algorithm

 kcontents