새로운 웹의 언어 현상~지금 웹상에서 일어나고 있는 언어 변화~
by Masato Hagiwara2010년 8월 18일 카테고리: 데이터로 읽어 푸는 인터넷, 검색 엔진의 기술이야기|안녕하세요.프로덕트 사업부 엔지니어 하기와라입니다.
8월 11일, 토요 대학 하쿠산 캠퍼스에서, 문자 연구회 주최의「 제5회 공장:문자- 「현실」로부터 본 개정 상용한자표- 」가 개최되었습니다.공장에서, 「웹상에 있어서의 사용 실태 통계로부터 개정 상용한자를 생각한다」라고 하는 타이틀로 발표했으므로, 이번은 그 보고입니다.
이번 공장의 배경으로서 상용한자표의 개정이 있습니다.현행의 상용한자표가 제정된 것은 29년전의 1981년입니다만, 현재는, 정보 기기의 보급, 인터넷의 발전에 의해서, 한자를 시작으로 하는 말의 사용 실태에에 큰 변화가 일어나고 있습니다.
새로운 언어 현상의 최첨단이라고도 말할 수 있는 웹으로, 어떠한 변화가 일어나고 있겠지요.그 변화를 정확하게 파악하기 위해서, 이번, 웹상의 언어 현상을, 정확한 시간과 함께 기록한 「고정밀도 시간축웨브코파스」를 바이두 독자적으로 구축해, 브로그나 BBS(전자 게시판)등의 「새로운 웹」에 있어서의 한자의 사용 실태를 조사했습니다.구체적으로는, BBS에서는, 일자·시간표현을 기초로 해 투고 본문을, 브로그의 데이터는, 메타데이타(RSS, RDF, ATOM)를 기초로 해 기사 본문을, 폐사의 크롤 한 웹페이지로부터 수집하고 있습니다.이렇게 하는 것으로, 언어 현상을, 그 발생한 정확한 시간으로 묶은 대량의 텍스트 데이터를 구축할 수 있습니다.또 게다가 전회 릴리스 한Baidu 그림 문자들이 모바이르웨브코파스와 같은 문장 필터링을 베푸는 것에 의해서, 아스키 아트나 노이즈등의 영향을 최소한으로 억제할 수 있어 정확한 언어 현상을 파악할 수 있습니다.
증가하는 한자·카타카나, 감소하는 히라가나
이하의 그래프는, 이와 같이 구축한 「고정밀도 시간축웨브코파스」의 규모를, 시간축상에 나타낸 것입니다.BBS에 대해서는 2000년경부터, 브로그에 대해서는 2004년즈음부터, 각 서비스의 개시에 맞추고, 그 양이 급격하게 증가하고 있는 것을 압니다.
이 데이터를 사용하면, 어떠한 것이 밝혀질까요.우선은, 가장 기본적인 언어 통계의 「문자종」에 대해서, 시간의 경과와 함께 히라가나·카타카나·한자·영숫자의 사용 비율이 어떻게 변화하고 있을까를 조사해 보았습니다.여기로부터, 근년, 카타카나 및 한자의 사용이 상대적으로 증가하고 있는 것을 압니다만, 이것은 외래어의 증가를 배경에 있다고 생각됩니다.
사용율이 격감하고 있는 한자
게다가 이 데이터를 사용하면, 개별의 한자에 대해서, 그 사용율의 변화를 시간 축으로 따라 조사할 수 있습니다.예를 들면, 이하의 그림은, 어느 한자에 대해서, 그 사용율의 변화를 시간축으로 플롯 한 것입니다(태선은 6개월의 이동평균입니다).2001 년 전후에 매우 많이 사용되고 있는 것에도 불구하고, 근래에는 그 넷상에서의 사용율은 부쩍줄어 들고 있습니다.이 한자가 무엇인가 여러분 압니까？
정답은 「짚」입니다.이 한자, 당초는 BBS로 「웃음」을 나타내는 슬랭으로서 빈번히 이용되고 있었습니다만, 근래에는 「소」 「(w」 「www」 등, 넷상의 「웃는 방법」도 변천 하고 있어, 매우 사용되는 것이 적게 되고 있습니다.이와 같이, 이 코파스를 이용하면, 넷상의 언어 현상의 변천을 정확하게 분석할 수 있습니다.
공장에서는, 회장의 여러분으로부터, 매우 참고가 되는 의견· 질문·피드백을 다수 받았습니다.이 장소를 빌려 사례 말씀드립니다.받은 의견등은, 향후의 연구 개발에 유용하게 써도 좋아야 한다고 생각합니다.
덧붙여 이번 구축한 「고정밀도 시간축웨브코파스」의 언어 통계 데이터(n그램)는, 근일 공개할 예정으로 있습니다.향후도 꼭 기대 주세요.
(본공장의 발표 자료에 대해서는,이쪽으로부터 보실 수 있습니다.)
http://staffblog.baidu.jp/2010/08/18/kanji-workshop-with-preciselytimed-corpus/
