Джеффри Хинтон - Geoffrey Hinton

Джеффри Хинтон

Джеффри Хинтон на UBC.jpg
Хинтон в 2013 году
Родился
Джеффри Эверест Хинтон

( 1947-12-06 )6 декабря 1947 г. (73 года)
Альма-матер
Известен
Награды
Научная карьера
Поля
Учреждения Университет Торонто
Google
Университет Карнеги-Меллона Университетский
колледж Лондонский
университет Калифорнии, Сан-Диего
Тезис Расслабление и его роль в видении  (1977)
Докторант Кристофер Лонге-Хиггинс
Докторанты
Другие известные студенты
Интернет сайт www .cs .toronto .edu / ~ hinton /

Джеффри Everest Хинтон CC FRS FRSC (родился 6 декабря 1947) является британский - канадский когнитивный психолог и ученый , наиболее известен по своей работе на искусственных нейронных сетей . С 2013 года он разделил свое время, работая в Google ( Google Brain ) и Университете Торонто . В 2017 году он стал соучредителем и главным научным консультантом Института вектора в Торонто.

Вместе с Дэвидом Рамелхартом и Рональдом Дж. Уильямсом Хинтон был соавтором широко цитируемой статьи, опубликованной в 1986 году, в которой популяризировался алгоритм обратного распространения ошибки для обучения многослойных нейронных сетей, хотя они не были первыми, кто предложил такой подход. Хинтон считается ведущей фигурой в сообществе глубокого обучения . Драматическая веха в области распознавания изображений AlexNet, разработанная в сотрудничестве с его учениками Алексом Крижевским и Ильей Суцкевер для ImageNet Challenge 2012, стала прорывом в области компьютерного зрения.

Хинтон получил премию Тьюринга 2018 года вместе с Йошуа Бенжио и Янном ЛеКуном за их работу в области глубокого обучения. Их иногда называют «крестными отцами искусственного интеллекта» и «крестными отцами глубокого обучения», и они продолжают вместе выступать с публичными лекциями.

Образование

Хинтон получил образование в Королевском колледже в Кембридже , который окончил в 1970 году со степенью бакалавра искусств в области экспериментальной психологии. Он продолжил учебу в Эдинбургском университете, где получил степень доктора философии. в области искусственного интеллекта в 1978 году для исследований под руководством Кристофера Лонге-Хиггинса .

Карьера и исследования

После его доктора философии он работал в Университете Сассекса и (после трудностей с поиском финансирования в Великобритании) в Калифорнийском университете в Сан-Диего и Университете Карнеги-Меллона . Он был основателем и директором Гэтсби благотворительного фонда Neuroscience отдела вычислительной в Университетском колледже Лондона , и в настоящее время является профессором в науке компьютерного отдела в Университете Торонто . Он проводит исследования Канады стул в Machine Learning, и в настоящее время является консультантом для обучения в машины и Brains программы в канадском Институте перспективных исследований . В 2012 году Хинтон провел бесплатный онлайн-курс по нейронным сетям на образовательной платформе Coursera . Хинтон присоединился к Google в марте 2013 года, когда была приобретена его компания DNNresearch Inc. Он планирует «разделить свое время между университетскими исследованиями и работой в Google».

В исследовании Хинтона изучаются способы использования нейронных сетей для машинного обучения , памяти , восприятия и обработки символов. Он является автором или соавтором более 200 рецензируемых публикаций.

В то время как Хинтон был профессором Университета Карнеги-Меллона (1982–1987), Дэвид Э. Рамелхарт, Хинтон и Рональд Дж. Уильямс применили алгоритм обратного распространения ошибки к многослойным нейронным сетям. Их эксперименты показали, что такие сети могут изучать полезные внутренние представления данных. В интервью 2018 года Хинтон сказал, что « Дэвид Э. Рамелхарт выдвинул основную идею обратного распространения ошибки, так что это его изобретение». Хотя эта работа сыграла важную роль в популяризации обратного распространения ошибки, она не была первой, в которой предлагался такой подход. Обратный режим автоматического дифференцирования , из которых обратного распространения представляет собой особый случай, был предложен Сеппо Linnainmaa в 1970 году и Пол Werbos предложил использовать его для обучения нейронных сетей в 1974 году.

В тот же период Хинтон совместно с Дэвидом Экли и Терри Сейновски изобрел машины Больцмана . Его другие вклады в исследования нейронных сетей включают распределенные представления , нейронную сеть с временной задержкой , смеси экспертов, машины Гельмгольца и Продукт экспертов . В 2007 году Хинтон стал соавтором статьи для обучения без учителя под названием « Обучение преобразованию изображений без учителя» . Доступное введение в исследования Джеффри Хинтона можно найти в его статьях в Scientific American за сентябрь 1992 г. и октябрь 1993 г.

В октябре и ноябре 2017 года, соответственно, Хинтон опубликовал две исследовательские работы в открытом доступе на тему капсульных нейронных сетей , которые, по словам Хинтона, «наконец-то работают хорошо».

Среди известных бывших аспирантов и докторантов из его группы - Питер Даян , Сэм Роуис, Ричард Земель , Брендан Фрей , Рэдфорд М. Нил , Руслан Салахутдинов , Илья Суцкевер , Янн ЛеКун и Зубин Гахрамани .

Почести и награды

Слева направо: Расс Салахутдинов , Ричард С. Саттон , Джеффри Хинтон, Йошуа Бенджио и Стив Джурветсон в 2016 году.

Хинтон был избран членом Королевского общества (FRS) в 1998 году . Он стал первым лауреатом Премии Румельхарта в 2001 году. В его свидетельстве об избрании в Королевское общество говорится:

Джеффри Э. Хинтон известен во всем мире своей работой над искусственными нейронными сетями, особенно тем, как их можно спроектировать для обучения без помощи человека-учителя. Это вполне может быть началом автономных интеллектуальных машин, подобных мозгу. Он сравнил последствия повреждения мозга с последствиями потерь в такой сети и обнаружил поразительное сходство с человеческими нарушениями, например, в распознавании имен и потере классификации. Его работа включает исследования мысленных образов и придумывание головоломок для проверки оригинальности и творческого интеллекта. Он концептуальный, математически сложный и экспериментальный. Он объединяет эти навыки с поразительным эффектом для создания важной работы, представляющей большой интерес.

В 2001 году Хинтон был удостоен почетного доктора из Университета Эдинбурга . В 2005 году он был удостоен награды IJCAI за выдающиеся достижения в области исследований. Он также был награжден Золотой медалью Герцберга Канады в области науки и техники 2011 года . В 2013 году Хинтон был удостоен звания почетного доктора Университета Шербрука .

В 2016 году он был избран иностранным членом Национальной инженерной академии «За вклад в теорию и практику искусственных нейронных сетей и их применение для распознавания речи и компьютерного зрения». Он также получил премию IEEE / RSE Wolfson James Clerk Maxwell в 2016 году .

Он выиграл премию BBVA Foundation Frontiers of Knowledge (2016) в категории «Информационные и коммуникационные технологии» «за свою новаторскую и очень влиятельную работу», направленную на наделение машин способностью к обучению.

Вместе с Яном ЛеКуном и Йошуа Бенджио Хинтон выиграл премию Тьюринга 2018 года за концептуальные и инженерные прорывы, которые сделали глубокие нейронные сети критически важным компонентом вычислений.

В 2018 году награжден кавалером ордена Канады .

Личная жизнь

Хинтон - праправнук логика Джорджа Буля , работа которого в конечном итоге стала одной из основ современной информатики, а также хирурга и писателя Джеймса Хинтона . который был отцом Чарльза Ховарда Хинтона . Отцом Хинтона был Говард Хинтон . Его второе имя происходит от другого родственника, Джорджа Эвереста . Он племянник экономиста Колина Кларка . В 1994 году он потерял свою первую жену из-за рака яичников.

Взгляды

Хинтон переехал из США в Канаду отчасти из-за разочарования в политике Рональда Рейгана и неодобрения военного финансирования искусственного интеллекта.

Хинтон подал прошение против автономного смертоносного оружия . Что касается экзистенциального риска от искусственного интеллекта , Хинтон обычно отказывается делать прогнозы на будущее более чем на пять лет, отмечая, что экспоненциальный прогресс делает неопределенность слишком большой. Однако в неформальной беседе с исследователем рисков ИИ Ником Бостромом в ноябре 2015 года, которую подслушал журналист Раффи Хатчадурян, он, как сообщается, заявил, что не ожидал, что общий ИИ будет достигнут в течение десятилетий («не ранее 2070 года»), и что в контексте дихотомии, ранее введенной Бостромом между людьми, которые думают, что управление экзистенциальным риском с помощью искусственного интеллекта , вероятно, безнадежно, а не достаточно просто, чтобы решить эту проблему автоматически, Хинтон «[находится] в лагере безнадежности». Он заявил: «Я думаю, что политические системы будут использовать это, чтобы терроризировать людей», и выразил уверенность в том, что такие агентства, как Агентство национальной безопасности , уже пытаются злоупотреблять подобной технологией.

На вопрос Ника Бострома, почему он продолжает исследования, несмотря на свои серьезные опасения, Хинтон ответил: «Я мог бы привести вам обычные аргументы. Но правда в том, что перспектива открытия слишком сладка ».

Согласно тому же отчету, Хинтон категорически не исключает, что люди управляют искусственным суперинтеллектом, но предупреждает, что «нет хорошей репутации менее разумных вещей, управляющих объектами с большим интеллектом».

использованная литература