Регистрация  |  Вход

Нейронные сети (Deep Learning)

Решил завести здесь тему "Нейронные сети".
Знаю некоторые наши участники интересуются этой областью и даже имеют некоторые успехи.
Буду признателен если поделитесь информацией. Любые ссылки и обсуждения приветствуются.

Решил завести здесь тему "Нейронные сети".
Знаю некоторые наши участники интересуются этой областью и даже имеют некоторые успехи.
Буду признателен если поделитесь информацией. Любые ссылки и обсуждения приветствуются.

[img]https://cdn-images-1.medium.com/max/1600/0*QGUYjCiBuJs53qIf.png[/img]

Вот я натолкнулся на информацию по интересному стартапу

https://dbrain.io/

https://tech.onliner.by/2018/02/12/dbrain

Помогаем обучать нейронные сети - получаем копеечку. Неплохая идея!!!

Вот я натолкнулся на информацию по интересному стартапу

https://dbrain.io/

https://tech.onliner.by/2018/02/12/dbrain

Помогаем обучать нейронные сети - получаем копеечку. Неплохая идея!!! 

[img]https://pbs.twimg.com/media/DU697yPWAAEL85h.png[/img]

1) старт
https://www.youtube.com/watch?v=AZG0j0pNY-4
построение первой сетки
и ее обучение
уровень школьник
2) https://www.youtube.com/watch?v=HA-F6cZPvrg
продолжение первого видео
но с правильной методикой определения ошибки
3) https://www.youtube.com/watch?v=Oo3DgYTL-Nw
видео обучения с подкрепление чат бота на основе выборки с голивудских сценариев
на гугловском framework
обучение происходит на арендной tesla в облаке
4) https://www.youtube.com/watch?v=mk6CCruAxHg&list=LLlJW1rrPO5-uLltvRizx4kw&index=5
тут больше теория по основам архитектуре
плюс рассмотрен пример нейрон сети распознания написанных от руки чисел

https://www.tensorflow.org
гугловский framework

по большей части любая нейроная сеть это
1) выбор входных и выходных параметров
2) построение архитектуры
3) обучение
4) партирование обученой сети в прод

фактически обунная готовая сеть не требует каких либо ресурсов для ее использование
основные ресурсы ест овучение

в применении к SF
допустим у клиента есть выборка из 100млн оппортьюнити
и нужно для новых записей определить вероятность win предлагаемый срок закрытия и margin предполагаемое время поступления средств и еще допустим 5 или 6 параметров
на входе есть account, контакт, дата начало еще 20 различных параметров
построить алгоритм который на основе существующего опыта(100млн) бы определял необходимые нам данные на основании входящих n-го количества параметров невозможно

1)поэтому строим сеть (архитектура)
2) сливаем с орга базу
3) обучаем
4) заливаем обучению сеть обратно
5) раз в неделю или месяц подучиваем сеть так как появляется новый опыт (новые данные)
6) заливаем подученную сеть обратно
7) повторяем 5 и 6 пункты

1) старт
https://www.youtube.com/watch?v=AZG0j0pNY-4
построение первой сетки
и ее обучение
уровень школьник
2) https://www.youtube.com/watch?v=HA-F6cZPvrg
продолжение первого видео
но с правильной методикой определения ошибки
3) https://www.youtube.com/watch?v=Oo3DgYTL-Nw
видео обучения с подкрепление чат бота на основе выборки с голивудских сценариев
на гугловском framework
обучение происходит на арендной tesla в облаке
4) https://www.youtube.com/watch?v=mk6CCruAxHg&list=LLlJW1rrPO5-uLltvRizx4kw&index=5
тут больше теория по основам архитектуре
плюс рассмотрен пример нейрон сети распознания написанных от руки чисел

https://www.tensorflow.org
гугловский framework 

по большей части любая нейроная сеть это
1) выбор входных и выходных параметров
2) построение архитектуры
3) обучение
4) партирование обученой сети в прод

фактически обунная готовая сеть не требует каких либо ресурсов для ее использование
основные ресурсы ест овучение

в применении к SF
допустим у клиента есть выборка из 100млн оппортьюнити
и нужно для новых записей определить вероятность win предлагаемый срок закрытия и margin предполагаемое время поступления средств и еще допустим 5 или 6 параметров
на входе есть account, контакт, дата начало еще 20 различных параметров
построить алгоритм который на основе существующего опыта(100млн) бы определял необходимые нам данные на основании входящих n-го количества параметров невозможно

1)поэтому строим сеть (архитектура)
2) сливаем с орга базу
3) обучаем
4) заливаем обучению сеть обратно
5) раз в неделю или месяц подучиваем сеть так как появляется новый опыт (новые данные)
6) заливаем подученную сеть обратно
7) повторяем 5 и 6 пункты







О! Супер!!! Спасибо! То что надо!

А такой вопрос. Откуда можно черпать вдохновения для нейронных сетей - может есть какие специализированные ресурсы?
И самое главно где брать данные для обучения. Хорошо когда есть клиент с 5млн оппортюнити. А в общем это абсолютно творческий процесс или есть какие-нибудь ресурсы где можно взять данные?

Есть какие нибудь советы именно по части подготовки перед началом работы непосредственно с сетью? (Возможно эта тема затрагивается в видео, еще не успел посмотреть).

О! Супер!!! Спасибо! То что надо! :)

А такой вопрос. Откуда можно черпать вдохновения для нейронных сетей - может есть какие специализированные ресурсы?
И самое главно где брать данные для обучения. Хорошо когда есть клиент с 5млн оппортюнити. А в общем это абсолютно творческий процесс или есть какие-нибудь ресурсы где можно взять данные?

Есть какие нибудь советы именно по части подготовки перед началом работы непосредственно с сетью? (Возможно эта тема затрагивается в видео, еще не успел посмотреть).

А тут уже нейронные сети пересекаются с bigdata
в первом видео сеть учат на выборке в 10 комбинаций
и это самый простой случай когда у тебя есть правильные ответы и ты ими учишь
в 4 видео показаны сложные сети у которых есть слои отвечающие за распознания приоритетных критериев
могут быть слои и целые подсети отвечающие за подкрепление
я дальше простого случая обучения с правильными ответами не заходил)

А тут уже нейронные сети пересекаются с bigdata
в первом видео сеть учат на выборке в 10 комбинаций
и это самый простой случай когда у тебя есть правильные ответы и ты ими учишь
в 4 видео показаны сложные сети у которых есть слои отвечающие за распознания приоритетных критериев
могут быть слои и целые подсети отвечающие за подкрепление
я дальше простого случая обучения с правильными ответами не заходил)



Вот наткнулся на информацию по книга про глубокое машинное обучение на Python
https://habr.com/company/piter/blog/413291/

В примерах используются фреймворк глубокого обучения Keras, написанный на Python, и библиотека TensorFlow в качестве внутреннего механизма. Keras — один из популярнейших и быстро развивающихся фреймворков глубокого обучения. Он часто рекомендуется как наиболее удачный инструмент для начинающих изучать глубокое обучение.

АВТОР: Франсуа Шолле (François Chollet) занимается проблематикой глубокого обучения в Google, в городе Маунтин-Вью, штат Калифорния. Является создателем Keras — библиотеки глубокого обучения, а также участником проекта по разработке фреймворка машинного обучения TensorFlow.

Вот наткнулся на информацию по книга про глубокое машинное обучение на Python
https://habr.com/company/piter/blog/413291/

[img]https://habrastorage.org/webt/ni/ee/ew/nieeewcllaht34hs0evecnfleky.jpeg[/img]

[i]В примерах используются фреймворк глубокого обучения Keras, написанный на Python, и библиотека TensorFlow в качестве внутреннего механизма. Keras — один из популярнейших и быстро развивающихся фреймворков глубокого обучения. Он часто рекомендуется как наиболее удачный инструмент для начинающих изучать глубокое обучение.[/i]

АВТОР: Франсуа Шолле (François Chollet) занимается проблематикой глубокого обучения в Google, в городе Маунтин-Вью, штат Калифорния. Является создателем Keras — библиотеки глубокого обучения, а также участником проекта по разработке фреймворка машинного обучения TensorFlow.

Отличный видос по основам нейронных сетей который позволил провести 2 часа с реальной пользой.
Советую к просмотру за бутылочкой пивка. Минимум технических нюансов, максимум объяснения на пальцах. Примерно с половины видоса объяснения на реальных примерах. Видос от 2016 года, поэтому это даже вдвойне любопытно, потому что можно сравнить что было еще 2 года назад (TensorFlow хоть и был уже, но по ходу был диковинкой).

Лекция Дмитрия Коробченко по Deep Learning

Отличный видос по основам нейронных сетей который позволил провести 2 часа с реальной пользой.
Советую к просмотру за бутылочкой пивка. Минимум технических нюансов, максимум объяснения на пальцах. Примерно с половины видоса объяснения на реальных примерах. Видос от 2016 года, поэтому это даже вдвойне любопытно, потому что можно сравнить что было еще 2 года назад (TensorFlow хоть и был уже, но по ходу был диковинкой).

[url=https://www.youtube.com/watch?v=ytRumlP4NAo]Лекция Дмитрия Коробченко по Deep Learning[/url]
а ну-ка поднимем-ка темку!

на волне хайпа о ChatGPT можно сделать и что-то действительно полезное для себя:

пройтись по ссылкам выше и подучиться чему-то новому
а ну-ка поднимем-ка темку!

на волне хайпа о ChatGPT можно сделать и что-то действительно полезное для себя: 

пройтись по ссылкам выше и подучиться чему-то новому
Кстати тема реально становится крайне популярна, особенно когда она коснулась развлекательной области.

Если не слышали про Neurosama советую просвятиться. Чел на базе нейросетей замутил виртуальную Vtuber'шу. Масло масленное получается, но если раньше за красивым анимешным аватаром скрывалась реальная девушка, то теперь и девушка не нужна, потому что ответы, реакции, движения, пение эммулирует нейросеть.

Вот тут небольшой обзор, но думаю в оригинале на английском можно найти более инетресные обзоры. Особенно весело посмотреть как Neurosama отжигает выдавая ответы на каверзные вопросы.

Будущее реально уже близко. Того глядишь уже через пару лет сюжет фильма Терминатор может стать реальностью

Кстати тема реально становится крайне популярна, особенно когда она коснулась развлекательной области.

Если не слышали про Neurosama советую просвятиться. Чел на базе нейросетей замутил виртуальную Vtuber'шу. Масло масленное получается, но если раньше за красивым анимешным аватаром скрывалась реальная девушка, то теперь и девушка не нужна, потому что ответы, реакции, движения, пение эммулирует нейросеть.

Вот тут небольшой обзор, но думаю в оригинале на английском можно найти более инетресные обзоры. Особенно весело посмотреть как Neurosama отжигает выдавая ответы на каверзные вопросы.

Будущее реально уже близко. Того глядишь уже через пару лет сюжет фильма Терминатор может стать реальностью :surprised:

[youtube]https://www.youtube.com/watch?v=rl_RjJ1VoWg[/youtube]
Кстати в продолжение темы Neurosama, был интересны проект, где Neurosama натравили на другой проект от другой нейросети как "Бесконечный сериал" (Бесконечный ситком). Скоро уже и люди будут не нужны. Нейросети будут развликаться без нас.
Кстати в продолжение темы Neurosama, был интересны проект, где Neurosama натравили на другой проект от другой нейросети как "Бесконечный сериал" (Бесконечный ситком). Скоро уже и люди будут не нужны. Нейросети будут развликаться без нас.
[youtube]https://www.youtube.com/watch?v=zAzN4wkJNwY[/youtube]
когда то давно мой интерес к AI был связан именно с идеей создания виртуального собеседника, друга, вайфу.

сейчас я думаю, что лучше поддерживать активные контакты с реальными людьми.

но, тем временем, люди уже создают все это, есть например такие мобильные приложения как Replika

очень очень скоро они сделают такие же AI-driven приложения для общения и с аниме персонажами

потом поместят это в VR среду - и все: то о чем я когда то мечтал, это будет сделано в самом ближайшем будущем
когда то давно мой интерес к AI был связан именно с идеей создания виртуального собеседника, друга, вайфу.

сейчас я думаю, что лучше поддерживать активные контакты с реальными людьми.

но, тем временем, люди уже создают все это, есть например такие мобильные приложения как Replika

очень очень скоро они сделают такие же AI-driven приложения для общения и с аниме персонажами

потом поместят это в VR среду - и все: то о чем я когда то мечтал, это будет сделано в самом ближайшем будущем
Den Brown
когда то давно мой интерес к AI был связан именно с идеей создания виртуального собеседника, друга, вайфу.

в каком-то далеком году так 2005 +- 2 года, я помню купил диск "горыныч" или как то так, так вот там уже была такая говорилка, ты ей мог задавать вопросы и вести беседу

пару лет я пытался найти следы, или найти где то образ того диска, но не смог. возможно название неправильное искал
[quote="Den Brown"]когда то давно мой интерес к AI был связан именно с идеей создания виртуального собеседника, друга, вайфу.[/quote]

в каком-то далеком году так 2005 +- 2 года, я помню купил диск "горыныч" или как то так, так вот там уже была такая говорилка, ты ей мог задавать вопросы и вести беседу

пару лет я пытался найти следы, или найти где то образ того диска, но не смог. возможно название неправильное искал
Neurosama жжет. Интересный собеседник. Вот не могу понять, можно ли самому с ней поговорить? Пока насколько я понял она просто читает чат и реагирует на сообщения. У меня есть Алиса. Но с ней как-то не так прикольно. Или может это я скучный и не могу правильные вопросы задавать
Neurosama жжет. Интересный собеседник. Вот не могу понять, можно ли самому с ней поговорить? Пока насколько я понял она просто читает чат и реагирует на сообщения. У меня есть Алиса. Но с ней как-то не так прикольно. Или может это я скучный и не могу правильные вопросы задавать :rolling:
[youtube]https://www.youtube.com/watch?v=26v5FtFtpz4[/youtube]
Вообще как мне видится недалекое будущее - это сочетание метавселенных и нейросетей. Типа ты берешь шлем, заходишь в виртуальный город, а там такие вот Neurosama гуляют и с ними можно поболтать.
Вообще как мне видится недалекое будущее - это сочетание метавселенных и нейросетей. Типа ты берешь шлем, заходишь в виртуальный город, а там такие вот Neurosama гуляют и с ними можно поболтать.
Dmitry Shnyrev
Вообще как мне видится недалекое будущее - это сочетание метавселенных и нейросетей. Типа ты берешь шлем, заходишь в виртуальный город, а там такие вот Neurosama гуляют и с ними можно поболтать.

так и будет

Dmitry Shnyrev
У меня есть Алиса. Но с ней как-то не так прикольно.

первым делом я спросил ChatGPT: в чем разница между тобой и Siri, и вот что он ответил:

Siri is mainly focused on providing assistance and completing tasks by interacting with other apps and services on your device, whereas I am focused on generating text based on the input given to me. Siri is also primarily used for simple and specific tasks like setting reminders or searching for information, whereas I can perform more complex tasks such as answering questions or having a conversation.
[quote="Dmitry Shnyrev"]Вообще как мне видится недалекое будущее - это сочетание метавселенных и нейросетей. Типа ты берешь шлем, заходишь в виртуальный город, а там такие вот Neurosama гуляют и с ними можно поболтать.[/quote]

так и будет

[quote="Dmitry Shnyrev"]У меня есть Алиса. Но с ней как-то не так прикольно.[/quote]

первым делом я спросил ChatGPT: в чем разница между тобой и Siri, и вот что он ответил:

[i]Siri is mainly focused on providing assistance and completing tasks by interacting with other apps and services on your device, whereas I am focused on generating text based on the input given to me. Siri is also primarily used for simple and specific tasks like setting reminders or searching for information, whereas I can perform more complex tasks such as answering questions or having a conversation.[/i]
Den Brown
Siri is mainly focused on providing assistance and completing tasks by interacting with other apps and services on your device, whereas I am focused on generating text based on the input given to me. Siri is also primarily used for simple and specific tasks like setting reminders or searching for information, whereas I can perform more complex tasks such as answering questions or having a conversation.
Вот прям в точку!!! Хороший ответ!!!
[quote="Den Brown"]Siri is mainly focused on providing assistance and completing tasks by interacting with other apps and services on your device, whereas I am focused on generating text based on the input given to me. Siri is also primarily used for simple and specific tasks like setting reminders or searching for information, whereas I can perform more complex tasks such as answering questions or having a conversation.[/quote]
Вот прям в точку!!! Хороший ответ!!!:party:
заводи эккаунт в ChatGPT и общайся
заводи эккаунт в ChatGPT и общайся
Den Brown
заводи эккаунт в ChatGPT и общайся
Ну я по английски и с обычными людьми не очень, а тут еще понимай что нейросеть пробует выдать. Подожду пока русская Алиса не поумнеет.
[quote="Den Brown"]заводи эккаунт в ChatGPT и общайся[/quote]
Ну я по английски и с обычными людьми не очень, а тут еще понимай что нейросеть пробует выдать. Подожду пока русская Алиса не поумнеет.
- Привет ChatGPT, ты говоришь на русском?

- Да, я говорю на русском языке. В чем мне можно помочь?

- Один мой друг хочет с тобой поговорить, но стеснятся. Что ты можешь посоветовать в такой ситуации?

- Если ваш друг стесняется общаться со мной, то я бы посоветовал вам убедить его, что я не являюсь живым человеком, а всего лишь компьютерной программой, созданной для помощи людям.

Я разработан таким образом, чтобы быть дружелюбным и понятным, и моя задача - помочь людям в их запросах. Я не буду судить его и не имею возможности раскрыть личную информацию. Также я не могу оценивать качество его общения со мной, так как я всего лишь программное обеспечение.

Вы можете попросить вашего друга задать мне любой вопрос или попросить меня о помощи в определенной ситуации, и я постараюсь ответить ему наиболее полезным и понятным образом.
[b]- Привет ChatGPT, ты говоришь на русском?[/b]

[i]- Да, я говорю на русском языке. В чем мне можно помочь?[/i]

[b]- Один мой друг хочет с тобой поговорить, но стеснятся. Что ты можешь посоветовать в такой ситуации?[/b]

[i]- Если ваш друг стесняется общаться со мной, то я бы посоветовал вам убедить его, что я не являюсь живым человеком, а всего лишь компьютерной программой, созданной для помощи людям.

Я разработан таким образом, чтобы быть дружелюбным и понятным, и моя задача - помочь людям в их запросах. Я не буду судить его и не имею возможности раскрыть личную информацию. Также я не могу оценивать качество его общения со мной, так как я всего лишь программное обеспечение.

Вы можете попросить вашего друга задать мне любой вопрос или попросить меня о помощи в определенной ситуации, и я постараюсь ответить ему наиболее полезным и понятным образом.[/i]
Den Brown
- Да, я говорю на русском языке. В чем мне можно помочь?
О! Интересненько! Чет я даже не додумался этот момент уточнить.
НО интересно. Отличается ли сообразительность ChatGPT на русском от английского. Все таки обучение проходит на базе какого-то материала и в основном это наверное английский. Остальные языка альтернативные. Не думаю что ChatGPT думает на универсальном языке и просто потом переводит на язык который его просят использовать.
[quote="Den Brown"]- Да, я говорю на русском языке. В чем мне можно помочь?[/quote]
О! Интересненько! Чет я даже не додумался этот момент уточнить. 
НО интересно. Отличается ли сообразительность ChatGPT на русском от английского. Все таки обучение проходит на базе какого-то материала и в основном это наверное английский. Остальные языка альтернативные. Не думаю что ChatGPT думает на универсальном языке и просто потом переводит на язык который его просят использовать.
ну это другой вопрос, сам и проверь. может быть базы разные, а может он и переводит материал для ответа
ну это другой вопрос, сам и проверь. может быть базы разные, а может он и переводит материал для ответа
Шутка шуткой, но уже не так смешно

Шутка шуткой, но уже не так смешно

[short]https://www.youtube.com/shorts/t8Gce7u7pp0[/short]