У MSN Search проблемы с релевантностью

Microsoft попросила аналитическую компанию Keynote Systems не обнародовать результаты последнего исследования поисковых систем — они оказались слишком позорны для MSN.com.
Опрос среди 2000 пользователей во II кв. 2005 г. показал, что релевантность результатов MSN.com катастрофически упала после того, как эта компания отказалась от сотрудничества с Yahoo! и перешла на собственный поисковый движок в феврале 2005 г.

На старом движке MSN.com занимал третье место по релевантности, уступая лишь Google и Yahoo!, а сейчас опустился аж на пятое место. В целом 27% пользователей находят неудовлетворительными результаты общего поиска на MSN.com, а 37% признались, что не могут найти то, что им нужно, с помощью локального поиска.

Когда стали известны предварительные результаты исследования, компания Microsoft попросила не публиковать этот отчет, якобы выразив недоверие методологии Keynote Systems. Удивительно, однако Keynote Systems пошла на поводу у Microsoft и согласилась на это. Возможно, причина в том, что Microsoft является одним из крупнейших клиентов Keynote и обеспечивает значительную долю доходов аналитической компании. Однако результаты «секретного исследования» благодаря анонимному источнику в Keynote попали к журналистам влиятельного издания The Wall Street Journal, который без стеснения опубликовал их.

Разработка собственного поискового движка MSN.com заняла 20 месяцев и стоила более $100 млн. Результат плачевный: даже по официальной статистике Nielsen/NetRatings во II кв. 2005 г. количество поисковых запросов на портале MSN.com уменьшилось на 4% по сравнению с I кв. 2005 г. По другим данным, количество поисковых запросов уменьшилось на 7%. Но самое страшное, что катастрофически упала релевантность поиска. Количество пользователей, которые считают результаты нерелевантными, увеличилось с 17% до 27% для общего поиска и с 29% до 37% для локального поиска.

Это крайне неприятные результаты для Microsoft, ведь компания планирует пойти на обострение конкуренции с Google — открыть собственную систему контекстной рекламы и начать активную рекламу MSN.com (уже закуплено самое дорогое время на американском ТВ). Но ей придется сначала вернуть пользователей, утраченных из-за низкого качества поискового движка.

По информации представителей Microsoft, они выступили против публикации исследования Keyhole, потому что качество результатов поиска на MSN.com значительно улучшилось в июле 2005 г., после апгрейда поискового движка, в то время как опрос проводился до этого. По данным Microsoft, летом релевантность поиска MSN выросла до 50% по сравнению с 40% в январе, тогда как релевантность поиска Google составляет 55%.