Сергей Брин и Ларри Пейдж в своём первом «офисе», 1999
Сергей Брин и Ларри Пейдж в своём первом «офисе», 1999
Оказывается, не для всех является знанием, что великая и прекрасная компания Google на самом деле выросла не из гаража. Красивая легенда про самоотверженных предпринимателей в связке с венчурными капиталлистами и сервера под кроватью в студенческой общаге является классическим примером настойчивого переписывания истории корпоративной PR-службой. Мы даже скучную книжку про это когда-то читали.
Если кратко, то история такая.
С ранним развитием интернета, в начале 90-х, с появлением всё новых и новых сайтов и файлообменников, стала очевидной потребность в структурировании доступных в сети данных. Первопроходцев уже никто и не помнит, Yahoo! вручную начинает собирать полезные ссылки, параллельно появляются первые осмысленные автоматические поисковики вроде Infoseek, Lycos и WebCrawler, фокусирующиеся на ключевых словах.
В Американских Штатах есть такое федеральное агентство National Science Foundation, которое финансирует всякие перспективные разработки и исследования. От энергетики и полупроводников, до квантовых компьюторов, нано- и биотехнологий. Агентство является частью правительства и финансируется напрямую из бюджета. В 1994 году оно создаёт целевую Digital Library Initiative (DLI) для выдачи грантов на создание прототипа «цифровой библиотеки» — каталогизации разрозненной информации в интернете.
Позднее к этой инициативе подключаются и другие заинтересованные федеральные агентства: NASA и DARPA. Если с космонавтами всё понятно, то DARPA расшифровывается как Defense Advanced Research Projects Agency. Агентство существует в структуре Министерства Обороны и занимается, как следует из названия, перспективными военными разработками и ноу-хау. Одной из таких перспективных поделок был, например, супер мега компьютерный кластер, разработанный и установленный в Stanford University. Создали суперкомпьютер, теперь осталось придумать, как его использовать.
Так вот, в рамках проекта создания «цифровой библиотеки» одним из получателей федерального гранта снова оказывается Стенфорд. Ну типа: вы там в университете умные и что-то понимаете в технологиях, предложите теперь варианты каталогизации интернета.
В то время в Стенфорде заканчивает получать PhD по компьютерным наукам Ларри Пэйдж. И у этого Пэйджа есть проект индексации интернета на основе ссылок, который как раз подходит под задачу. Суть идеи Пейджа довольно простая: каждой странице в Интернете присваивается свой ранг, который расчитывается из количества ссылок, ведущих на эту страницу (PageRank method — чем больше на тебя ссылаются и чем весомее ссылки, тем выше твой ранг и вес). Чуть позже к проекту присоединился Сергей Брин, также получивший поддержку DLI и NSF Graduate Student Fellowship.
Параллельно над такой же идеей ранжирования в Доу Джонсе работал Робин Ли, в результате основавший китайский Baidu.
Проблема реализации идеи Пейджа состояла в том, что для реальной индексации сети, пересчёта PageRank и подтверждения работоспособности гипотезы требовались довольно серьёзные вычислительные мощности. И в рамках той же программы DARPA им выделяет тот самый уникальный стенфордский военный суперкомпьютер.
В результате их проект под названием BackRub к 1996 на реальных данных отранжировал 24 млн тестовых страниц на основе 76 млн ссылок. Гипотеза оказалась рабочей, а Пейдж с Брином опубликовали на эту тему научную работу.
Если вчитаться, то там не просто поиск по ссылкам. Архитектура предусматривает хранение и каталогизацию всей доступной информации из интернета:
The web pages that are fetched are then sent to the storeserver. The storeserver then compresses and stores the web pages into a repository.
The repository contains the full HTML of every web page.
The indexer performs a number of functions. It reads the repository, uncompresses the documents, and parses them.
Ещё из примечательного, ребята подсветили заказчику и неочевидные потребительские качества их сервиса:
For example, a search engine could add a small factor to search results from “friendly” companies, and subtract a factor from results from competitors. This type of bias is very difficult to detect but could still have a significant effect on the market.
К концу 1997, когда начался бум доткомов, подход BackRub подтвердил свою надежность, масштабируемость и популярность.
В 1998 году Пейдж и Брин получили $200К финансирования (первыми ангелами стали со-основатель Sun Microsystems и один из стенфордских профессоров), которое позволило им перенести проект из кампуса Стэнфорда в гараж друга на собственные более скромные мощности и зарегистрировать компанию Google, Inc.
Примечательно, что всё тот же чувак из Sun, один из первых ангелов, Энди Бехтольшайм, в 2001 году привел в компанию своего кореша — профессионального менеджера Эрика Шмидта. С чьим именем связывают множество дальновидных управленческих решений будущей мега-корпорации.
Пикантность истории в том, что в 2018 году сотрудники компании Google, созданной на деньги специальных служб и на мощностях, предоставленных специальными службами, возмущены тем, что, оказывается, компания как-то сотрудничает со специальными службами. Отдельно доставляет, что история создания компании не является секретной и до сих пор заботливо представлена в открытом доступе на сайте материнского университета.
Достаточно загуглить.
