Нейросети и их влияние на будущее синтезаторов и технологии обработки звука. (1 онлайн

[nemydom]

Предлагаю помечтать, а также серьезно порассуждать и проанализировать уже существующие технологии.
Тут задумался я, что на данный момент, а именно в первой половине 2024 года, я бы не стал бы покупать никакой новый синт, за исключением случаев, когда он нужен для выступления или если требуется 88 клавиш для музыкальной школы. Это из за того, как развиваются нейросети и как они буквально врываются в индустрию. Возможно, совсем скоро мы увидим не просто новый тип синтеза, но и совершенно другой подход, который значительно превзойдет все существующие виртуальные цифровые технологии.
Уверен, что сюрпризы ждут нас не только в качестве звука от новых движков, но и в интерфейсах, то есть в способах взаимодействия музыканта с движком. Учитывая ускоряющийся темп развития нейросетей, новинки не только в виде VST, но и железа могут начать появляться быстрее, чем мы можем себе представить!

 

[nemydom]

как бы игры в ИИ в среде Музки, не привели к захламлению дистрибьютеров рано или поздно до той степени, когда музыкантов будут блочить по контенту все чаще и чаще. И без ИИ такое случается уже на YT и прочих изредка.
Нам грозит с ИИ - помойка в плане дистрибьюции.
И это хорошо что SUNO ограничен в битрейте и MP3. Благо студийного WAV пока не дает.

по части синтеза, ИИ есть в гитарных к примеру платинах, когда делаются слепки не только педалей и усилителей, но и живых гитарных сетапов. Это уже достижение, даже на фоне Kemper Profiler, который в качестве слепков уже уступает ИИ.
Но вот в синтезе, что нам может грозить? Более детальные слепки осцев, огибаюших, фильтров железных легенд, к примеру.
Без жручих ресурсов плагинов.
ИИ может помочь в генерации по промту, нужных WT таблиц, нужных тонов, тех же текстур, пэдов, лидов. То есть по сути - оно уже рядом, когда мы захотим инструментарий как в таком то релизе..

По мне важное и нужное ограничение ИИ, как у SUNO, это запрет делать "как у", упоминая артиста или трек. Чтобы не было плагиата прямого на исполнителя.
Но в части ИИ, по синтам, клонов синтов - не избежать.

В плане появления новых видов синтеза, что может ждать -появление гибридов смеси а-ля Wavetble FM, что уже есть к примеру и так. Я имею ввиду условное направление.

органы управления не поменяются, это должно быть не просто придумано ИИ, но и спроектировано как стандарт. И внедрено. То есть - если ИИ поможет в создании новых протоколов - это одно. Но само оно на фабрике не появится без участия человека.
То есть границы тут чисто - в цифровом подходе.
Задействуются ли сегодня ИИ - в создании железных или софт DSP разработках? уже да.
И как библиотека знаний куда обращаются разработчики, и как генератор кода. Хотя по части кода - пока скорее как помощник в базовых наборах, который обязателен к проверке. Пока все не гладко совсем.
И для аналоговых педалей, синтов - служит ИИ как базис знаний и возможный вектор, на уровне дискуссий.

Я вот пробовал кодить с ИИ - хрень лысая. Пробовал помочь в сочинении новых видов синтеза и просто гибридных эффектов. Глупейшая дичь. Может промты слабые. Но надеятся на супер горизонты здесь и сейчас не надо.

В плане интеграции ИИ - да легко - через год можно наверняка увидеть генератор пресетов в синте по промту с вводом текста через телефон или редактор на компе. СДелай пэд, и сделает. Вот это применение ИИ уже фактически реально, на базе знаний работы с синтезом того или иного вида. Чтоб не крутить самому, а генерировать, Это почти завтрашнее утро уже, если не сегодняшний вечер.

Во, похоже уже есть с кем конструктивно поговорить-порассуждать на эту тему! Ура!

 

[nemydom]

ИИ не придумает новую теорию FM синтеза, не построит педаль фузза, ИИ будет еще долгое время лепить странное из доступных знаний. До открытий на уровне ИИ в любой сфере еще далеко. Это всего лишь инструмент, соображающий быстро, с ошибками. КОторые нужно фильтровать.

Я тут наваял с GPT:

Harmonic Morphing Synthesis (HMS)
Контроль над тембром и спектральным анализом, в отличии от FM, сфокусирован на манипцляциях и морфинге гармонических структур при формирования звука.
Этот алгоритм динамически смешивает спектры гармоник из нескольких источников, обеспечивая плавные переходы между различными профилями гармоник. Модулируя содержание гармоник с течением времени, HMS позволяет создавать сложные и изменяющиеся тембры.

Многомерное управление гармониками: HMS предлагает многомерный подход к управлению гармониками. Вместо того, чтобы полагаться исключительно на частотную и амплитудную модуляцию, HMS обеспечивает независимое управление различными параметрами гармоник, такими как фаза, амплитуда и спектральная огибающая. Это детальное управление позволяет музыкантам с высокой точностью создавать сложные звуковые текстуры.

Нелинейное отображение гармоник: Традиционные методы синтеза часто основаны на линейном отображении содержания гармоник. В отличие от этого, HMS использует методы нелинейного отображения гармоник, позволяющие синтезировать нетрадиционные и экспериментальные звуки. Используя нелинейные соотношения между гармониками, HMS открывает обширную звуковую палитру, которая выходит за рамки традиционного синтеза.

Интерфейс гармонического преобразования в реальном времени: Для упрощения интуитивного звукового оформления HMS предлагает интерфейс гармонического преобразования в реальном времени. Этот интерфейс позволяет пользователям управлять параметрами гармоник в режиме реального времени, обеспечивая немедленную обратную связь со слухом. Благодаря интуитивно понятным жестам и элементам управления музыканты могут исследовать бесконечные звуковые возможности и плавно создавать звуки.

Адаптивная гармоническая эволюция: В дополнение к генерации статического звука, HMS представляет концепцию адаптивной гармонической эволюции. Эта функция позволяет синтезированным звукам органично изменяться с течением времени, реагируя на внешние раздражители или внутренние источники модуляции. Динамически регулируя параметры гармоник на основе контекстуальных факторов, HMS создает захватывающие и развивающиеся звуковые ландшафты.
____
*
Мне понравилось "реагируя на внешние раздражители или внутренние источники модуляции".
это типа, d-beam реагирующий на трущегося об колено кота))) Или на датчик влажности в помещении, барометр и тд.
Логики в этом немного. Все та же Random функциях которая уже есть в синтах, которая вуалируемая под новый функционал.



Harmonic Distortion Synthesis (HDS)
Синтез гармонических искажений (HDS) - это новый подход к синтезу звука, который использует нелинейные характеристики гармонических искажений для создания богатых и сложных тембров. В отличие от традиционных методов синтеза, основанных на линейной обработке сигналов, HDS использует богатые гармонические артефакты, генерируемые искажениями, для получения широкого спектра выразительных звуков.

))) Блин - это все реально очень наивно маскировано под новый синтез. а по факту брехня модуляционная.



И таких теорий синтеза - можно наштрямкать за час под 20 штук. Вот только надо понимать, что революционно нового для понимания автору, интересующемуся в создании синтезатора, это как бы не особое открытие. Об этом люди уже думали. То есть берется это с обсуждений форумов условно и существующих типов синтеза
В контексте примера, отправная точка ФМ ипоиск новых подходов.
Реализовать можно, Но что оно даст фактически - покажет только прямая реализация.
Мечтать можно о чем угодно. Важен результат, причем удачной реализации. ИИ здесь концентратор идеи, которую нужно оптимизировать человеку

ппс: мне пока что хочется видеть результаты внедрения ИИ, хотя бы на уровне ввода текста на компе и телефоне, когда автозамена слов на компе будет подбирать замену в контексте текста. Вот где оно нужно реально для людей. Как начальный этап. А не бороздить заоблачные дали, сулить прекрасное далеко уже завтра утром.

Слишком многие уже осознают, что ИИ дело интересное, но всего лишь средство обработки исходной модели и скормленной базы знаний.
И результаты ИИ, могут восприниматься пока как генерация контента, который нужно переосмысливать.

Я вот о чем думаю: внедрение ИИ в синтезаторное дело можно разделить на две ветви:

Первая как уже правильно сказал @baloo, назавем ее "генератор пресетов", и она уже считай у нас в кармане. Я работаю с GPT4 ежедневно, и по уровню на котром он спсособен анализировать комплексные юридические и технические тексты, обеспечивать техподдержку по софту, начиная от фотошопа и заканчивая малораспространенными (относительно) прогами, типа EZdrummer и.т.д ит.п, я могу согласиться с @baloo -это уже будет совсем скоро, причем тут можно опять поделить на два направления - это может быть как встроенная в синт функция, так и отдельный софт, который по промтам будет генерить все что угодно для любого синта. Еще и с подробным обьяснением, по желанию.

Меня больше интересует другая ветвь!
И вот тут самое сенсационное может быть! Почему вы считаете, что ИИ должен придумать новый тип синтеза? это конечно же не исключено, но!
Почему нейросеть не может сама по себе стать новым типом синтезатрного движка? Как я уже писал, раз нейросети волшебным способом научились разделять вокал от трека, что им мешает создать звук с нуля? Или вы будете утверждать, что внутри себя оно должно все равно воспользоваться каким либо из известных алгоритмов? Вот я здесь до конца не уверен, но мне кажется что вовсе это не обязательно!
Если существующие (да, именно уже существующие, а не какие-то фантастические из будущего) технологии ИИ, да в руки специалистов из той же Ямахи или Корга.... Да что там, я на 100% уверен, что они именно этим сейчас уже занимаются!

И будет это выглядеть так: представляем наш новый синтезатор (или новый движок, скажем, для софтового Montage M), на основе ИИ, который называется, скажем, NN-X (Neural Network eXperimental - по аналогии с AN-X и FM-X). И вовсе не обязательно что по промтам оно работать будет. Задание исходных параметров там могут быть совершенно неожиданными, от какой-нибудь немыслемой обработки семплов (возможно нескольких одновремнно и смешения их в один) до совершенно новых параметров, о которых сейчас просто нет смысла гадать...
И я вот очень уверен, что как -то так будет ... Что думаете?

 

[baloo]

Нейросетям в аппаратном корпусе синтов, процессоров эффектов, понадобится прежде всего аппаратная часть.
на базе текущих преимущественно Cortex решений, работа ИИ под вопросом. Возможно TexasInstruments или подобные выпустят со временем некий стандарт профильный для интеграции ИИ в корпус синта.

Скорее всего увидим поэтапное развитие ИИ в синтах.
- генератор пресетов
- имитация слепков фильтров, осцев, огибающих изветсных моделей рынка в обход DSP эмуляции, для идентичности звучания
- интеграция на уровне DSP неких базовых блоков, как некий около-стандарт у большинства производителей с сходим функционалом
- развитие самостоятельных аппаратных синтезаторов построенных на базе ИИ как решение в виде:
- отдельного синта с определенным видом синтеза от ИИ
- конструктора синтезатора с возможность задания разработчиком нужной архитектуры
- модулярнеый конструктор синтезатор для пользовательских задач

Аппаратная часть тут не важно, и скорее всего со временем, действительно начнут появляться аппаратные элементы для стройки ИИ
Но сначала производители начнут в ближайший момент с малых вещей. Потому что это оправдано наименьшими рисками бизнес модели, сохранением продаж линеек синтезаторов, путем интеграции небольших опциональных задач в рамках тех же процессоров Cortex (которые у многих, не только Korg ныне).

 

[nemydom]

Вот еще, для затравки: попросил chatGPT3.5 и chatGPT4 помочь создать звук. Я сам не силен в саунддизайне, но если кто понимает в этом и так сказать, УМЕЕТ- прокоментируйте пожалуйста!

Вот промт:

Мне надо звук похожий на рой пчел. Пиши только что нажимать и что крутить, пиши последовательно, шаг за шагом. Если ты не можешь указать точный параметр, то точно описывай какой результат я должен услышать, перед тем как переходить к следующему шагу. Все названия кнопок и регуляторов пиши на англиском языке, а все инструкции для меня - на русском. Выдай это в таком виде, как будто ты хочешь написать инструкцию в учебник для студентов университета, изучающих теорию и практику синтеза звука. Все это должно быть на примере синтезатора NORD lead 2x. Синтезатор уже включен, сразу начинай по сути вопроса. Выдай всю инструкцию целиком, без вводных слов, что бы я ее сразу смог скопировать в учебник.

Вот ответ от chatGPT3.5:

Шаг 1: Press the "Oscillator 1" button.

Шаг 2: Turn the "Waveform" knob to select a sawtooth wave.

Шаг 3: Press the "Filter" button.

Шаг 4: Set the "Filter Type" knob to "Low Pass."

Шаг 5: Turn the "Cutoff Frequency" knob to around 800 Hz.

Шаг 6: Increase the "Resonance" knob to about 50%.

Шаг 7: Press the "Envelope" button.

Шаг 8: Set the "Filter Envelope Amount" knob to about 70%.

Шаг 9: Increase the "Attack" knob to around 50%.

Шаг 10: Set the "Decay" knob to around 50%.

Шаг 11: Set the "Sustain" knob to around 50%.

Шаг 12: Increase the "Release" knob to around 70%.

Шаг 13: Press the "LFO" button.

Шаг 14: Set the "LFO Waveform" knob to a triangle wave.

Шаг 15: Turn the "LFO Rate" knob to around 5 Hz.

Шаг 16: Set the "LFO Amount" knob to about 50%.

Шаг 17: Press the "Amplifier" button.

Шаг 18: Set the "Volume" knob to a comfortable level.

Результат: Вы должны услышать звук, напоминающий жужжание пчелы с мягкими изменениями в высоте и глубине.

Шаг 19: Press the "Unison" button.

Шаг 20: Turn the "Unison Detune" knob to around 20%.

Результат: Звук должен стать более плотным и насыщенным, как будто вы слышите несколько пчел одновременно, образуя рой.


А вот chatGPT4:

1. Выберите пустой патч, используя кнопки "Program" и "Bank".
2. Установите волну осциллятора 1 (Oscillator 1 Waveform) в положение "Saw" на обоих осцилляторах, используя регулятор "Wave".
3. Для осциллятора 2 (Oscillator 2) задайте тон на одну или две октавы выше, используя регулятор "Octave".
4. Включите режим "Unison" для создания эффекта толпы, нажав кнопку "Unison".
5. Увеличьте значение "Detune" для добавления небольшой разнотонности между голосами, создавая эффект роя пчел.
6. Настройте фильтр (Filter), установив тип фильтра в "LP" (Low Pass) с помощью регулятора "Filter Type", и подрегулируйте частоту среза (Cutoff Frequency), чтобы убрать высокочастотные компоненты, делая звук более глухим и приближенным к звуку роя пчел.
7. Добавьте немного резонанса (Resonance), чтобы усилить характерные частоты, близкие к звуку пчел.
8. Используйте LFO для модуляции частоты среза фильтра (Filter Cutoff), выбрав в качестве источника LFO регулятор "LFO Amount" на секции фильтра. Установите форму волны LFO в "Triangle" и подберите скорость (Rate), чтобы создать вибрирующий, колеблющийся эффект.
9. Регулируйте параметры ADSR огибающей фильтра (Filter Envelope), если нужно изменить динамику звука, добавив например более заметное атаку или затухание.
10. Добавьте эффекты по вкусу, такие как "Reverb" или "Delay", для расширения звукового пространства.

Перед тем как переходить к следующему шагу, убедитесь, что звук напоминает жужжание роя пчел, с подходящим балансом между глубиной и резонансом, а колебания LFO создают ощущение непрерывного движения.

_______________

И вот даже независимо от того, насколько грамотные это инструкции, я просто боюсь представить, что сможет специализированная нейросеть!

 

[baloo]

Ну выше описаны шаги по волне, огибайкам, все как достичь нужного. Незнаю как будет звучать - но пример выглядит понятно.
ВСТ редакторы синтов, как раз и должны начать уметь поддерживать "сдалай пресет роя пчел" с вариантами реализации.
Эта инструкция - для учебника пойдет. Но пользователю это не так нужно. задача ИИ - минимизировать время человека на поставленную задачу.

Я пользуюсь 3.5 сейчас при написании плагинов. И мне это сподручно помогает. GPT не делает работу за меня. Просто выдает мне базу по теории там, где есть вопросы. Можно потратить часы на Гугл и не всегда выйти даже за день на нужную информацию. То есть ИИ как помощник в теории синтеза, эффектов - может многое. Вот только 3.5 ограничен базой в 2022г и честно говоря не знает еще многого на эту дату. Отправляя с подробностями к производителю, хотя на отдельных форумах информация все же есть в доступе.

На сегодня - чат дает теорию на комфортном уровне, но как еднситвненый источник образования в звуке - GPT абсолютно точно недостаточен. Слишком часто встречаются неточности или отсутствие информации. По части DSP Кодинга - и говорить не о чем. Пока поверхностно очень.
Лучшее что есть по ИИ - это NAM, Tonex в плане слепков перегруза. Дальше будет больше и интереснее.

 

[alexpen]

Мне надо звук похожий на рой пчел.

Так чего получилось???
"Рой" как у Jexus'а на джуне получился наконец? :-D

 

[nemydom]

Так чего получилось???

У меня к сожалению нет доступа и возможности проверить на синте в данный момент. На самом деле я это сделал именно сцелью написать здесь, мне было просто интересно, что и как он напишет. Ранее то же не использовал GPT с подобными целями..

 

[nemydom]

Я пользуюсь 3.5 сейчас при написании плагинов. И мне это сподручно помогает. GPT не делает работу за меня. Просто выдает мне базу по теории там, где есть вопросы. Можно потратить часы на Гугл и не всегда выйти даже за день на нужную информацию. То есть ИИ как помощник в теории синтеза, эффектов - может многое. Вот только 3.5 ограничен базой в 2022г и честно говоря не знает еще многого на эту дату. Отправляя с подробностями к производителю, хотя на отдельных форумах информация все же есть в доступе.

Мне тут надо было в фотошопе пару логотипов быстро сделать. Последний раз фотошопом пользовался году так в 1999, когда в Бауманке еще учился. То есть только в рамках обзорного курса по компьютерному дизайну. Иными словами - уровень близкий к нулевому.
Включил GPT4, причем голосовой помошник: я ему говорю, он мне голосом отвечает - так он мне отлично помог и я все сделал. При том что я ему говорил вещи на уровне "говори куда мне нажимать" и "а где именно я это должен искать?"

 

[Kokarev Maxim]

Учитывая запросы музыкантов, я две полезные вещи вижу, которые могли бы дать нейросети:
1. Рулёжка синта по промту: пишешь, какой звук нужен, получаешь результат.
2. Рулёжка синта по референсу: даёшь послушать, какой звук нужен, получаешь результат.

А в области плагинов синтов - хз. Их и так переизбыток. Недостаточно просто сделать плагин, который будет пытаться выдать новый звук. Нужно его ещё продать, чтобы окупить трудозатраты Пользователи обычно ищут старые звуки, которые уже на слуху. Думаю, выгоднее создать серию "нейро" синтов, как гитарные усилители у NeuralDSP: всё те же старые названия оборудования, но с качеством, лучше, чем у существующих vst сейчас. Если это вообще возможно.

 

[TechnoIsBack]

Кое-какие обсуждения были тут.. там на этой странице и ещё на следующих несколько постов в этом ракурсе:

Нейросети пришли и к нам.

Похоже можно не волноваться! Нейронки оказались не такие уж и глупые, чтобы работать безотказно :Dle46:Восстание машин откладывается на неопределённый срок, так как сегодня им чёт лениво всё... а может быть - ... не такие уж и глупые, чтобы работать безотказно бесплатно? )) хотели же, чтоб...

rmmedia.ru

 

[baloo]

Вообще, ИИ интересная штука.
Взять VST SDK к примеру, или аппаратный API, и обучить ИИ этому делу. Ставить задачи и собирать используя ИИ инструменты по промту.

надо будет попробовать кстати что то базовое на ардуино поднять, почему нет. Думаю с этим уже должен легко справиться GPT, с промтом на что либо музыкальное, и подпайкой кнобов кнопок да и дисплеем. Почему нет. Интересная мысль.
в принципе и под Raspberry, можно озадачиться для чего потяжелее
Ну или к примеру к евро реку какому на ардуино вывести дисплей
Это здорово на самом деле, потому что экономит время и помогает реализовать то, на что не хватает времени.

 

[TechnoIsBack]

Вообще, ИИ интересная штука.
Взять VST SDK к примеру, или аппаратный API, и обучить ИИ этому делу. Ставить задачи и собирать используя ИИ инструменты по промту.

Правильно ли я понимаю, что для начала нужно нейросетке скормить тысячи примеров вст синтов удачных и не очень, чтоб нейронка обучилась, и поняла, как в среднем проектируется хороший синт?

 

[baloo]

ИИ нужно начать с примеров в пакете СДК. Или в том же Juce.
Когда он увидит готовые базовые примеры, он сможет начать развивать все необходимое.
Так как учить ему нужно только пакет СДК.
Тысячи примеров ВСТ не нужны, потому что нейроне не нужны они.
Тем более где критерий удачные или нет ВСТ? Все это и так берется и учится базой из обзоров и форумов которые ИИ учит.
То есть главное - понимать СДК, АПИ, а по синтам давать задачи и строить по промту - это уже внешка, не имеющая отношения к СДК, ВСТ. Тут можно сослаться на стандарты железных синтов те же в пример.
Ведь одна задача ИИ знать СДК, АПИ, вторая уметь кодить, три -кодить с учетом базы знаний

Собственно. Chat GPT знает, про синты, знает про SDK. Но вот самому SDK не обучен. Если б прошел обучение - выдавал бы код и структуру проекта, включая VST GUI. Но нет, говорит - в курсе что такое ВСТ, ВСТ СДК, но не изучал его для работы, только владеет общей информацией, без его анализа.

Можно обратиться к ChatGPT - создай файлы VST эффекта фейзера к примеру. И он создаст.
Создас в чате коды нужных файлов, напишет как поставить самому СДК, как назвать эти файлы и как все упаковать.
Все кул. Но по факту - код в примерах дает процентов на 30 и обрубает. Развивает уже в коде по запросу что то не то.Компилишь - не хватает того, чего. Чат отвечает - извините - исправился, добавил. И генерация по запросам идет вечно нового и нового чтоб хоть что то заработало.
Я же говорю о том, чтоб создать ИИ который бы собирал по промту и выдавал папку архива с готовыми файлами. Чего ЧатЖПТ не делает, а только выдает в чате, с огромным процентом недоработок.
Потому что как раз делает это без знания ВСТ СДК, а с примеров в сети. Неумело, не обладая VST SDK, API разных и тд и тп.

Вообще, сейчас много роликов появляется. "Постройте свой ИИ за 6 часов". Покажут как создать и задать обучение ИИ. Я не вникал, и не думаю что это просто, при том что сам програмирую плагины.

по мне -это реально что некто обучил ИИ под ВСТ СДК, АУв3, и прочим форматам. Дабы клевать платины про промту.
Проекты ж выдает на ура под что угодно - хоть ChatGPT, хоть CoPilot.
Думается в сети уже много ИИ, обученных на тех или иных SDK. Даже в среде программирования выполняются задачи, нужно создать и обучить.

То есть, учить примеры сотен и тысяч ВСТ - это бесполезное занятие. Важно владение СДК, АПИ правил, инструментарий в ИИ встроенный, знания глобальные вообще о DSP. И все. Условно,

 

[Lowcut]

вот что-то написало))

Спойлер: код

using System;
using Jacobi.Vst.Core;
using Jacobi.Vst.Framework;
using Jacobi.Vst.Framework.Plugin;

namespace MyVstSynth
{
public class MyVstPlugin : VstPluginBase
{
private const int NumOscillators = 2;
private readonly Oscillator[] _oscillators = new Oscillator[NumOscillators];

public MyVstPlugin()
: base("My VST Synth", new VstProductInfo("My VST Synth", "My Company", 1000), VstPluginCategory.Synth)
{
// Initialize your plugin here
for (int i = 0; i < NumOscillators; i++)
{
_oscillators = new Oscillator();
}
}

public override VstAudioBuffer Process(VstAudioBuffer[] inChannels, VstAudioBuffer[] outChannels)
{
// Implement your audio processing logic here
// For simplicity, let's just sum the output of both oscillators
for (int channel = 0; channel < 2; channel++)
{
for (int sample = 0; sample < inChannels[0].SampleCount; sample++)
{
outChannels[channel][sample] = _oscillators[0].GenerateSample() + _oscillators[1].GenerateSample();
}
}

return base.Process(inChannels, outChannels);
}
}

public class Oscillator
{
private double _frequency = 440.0; // Default frequency (A4)
private double _phase;

public double GenerateSample()
{
double sample = Math.Sin(_phase * 2 * Math.PI);
_phase += _frequency / SampleRate;

if (_phase >= 1.0)
{
_phase -= 1.0;
}

return sample;
}
}
}

 

[baloo]

Это все понятно. Я получал на вид рабочие структуры плагинов. Десятки раз. Бился над готовым билдом. Бесполезно.
Все что выдает ChatGPT - неполные коды документов, неполный состав файлов. Сплошь недоделки.
А ведь реально бился воевал, собирая проекты в VisualStudio, Xcode.
Знания ChatGPT основаны на примерах кодов из сети.
Самому же VST SDK он не обучен. От того и результат таких генераций.

Здесь нужен не ChatGPT, а нечто типа ИИ c предустановленным инструментарием под задачи VST.

Но это ладно, сегодня смотрел - взять генерацию Arduino IDE проекта к примеру - в легкую собирает код аудио эффектов и синта под ардуино плату. Пусть прсотенькие - но рабочие. Остается коннектить аудио IO к пинам Analog IO, Digital IO.
Здесь понятно, что все в разы проще.

 

[Lowcut]

Это все понятно. Я получал на вид рабочие структуры плагинов. Десятки раз. Бился над готовым билдом. Бесполезно.
Все что выдает ChatGPT - неполные коды документов, неполный состав файлов. Сплошь недоделки.
А ведь реально бился воевал, собирая проекты в VisualStudio, Xcode.
Знания ChatGPT основаны на примерах кодов из сети.
Самому же VST SDK он не обучен. От того и результат таких генераций.

Так для написания кода надо юзать специализированные нейронки, а не ЖПТ.

 

[baloo]

Это понятно, я до CoPilot и прочих не дошел. Еще прийду. Просто пример выше - создать девайс муг-ладдер фильтра или фейзера на ардуинке минутный вопрос в ChatGPT. По аналогии выдаваемые коды под VST проект - несуразны и не являются рабочими.

 

[soup]

Вот еще, для затравки: попросил chatGPT3.5 и chatGPT4 помочь создать звук. Я сам не силен в саунддизайне, но если кто понимает в этом и так сказать, УМЕЕТ- прокоментируйте пожалуйста!

Вот промт:

Мне надо звук похожий на рой пчел. Пиши только что нажимать и что крутить, пиши последовательно, шаг за шагом. Если ты не можешь указать точный параметр, то точно описывай какой результат я должен услышать, перед тем как переходить к следующему шагу. Все названия кнопок и регуляторов пиши на англиском языке, а все инструкции для меня - на русском. Выдай это в таком виде, как будто ты хочешь написать инструкцию в учебник для студентов университета, изучающих теорию и практику синтеза звука. Все это должно быть на примере синтезатора NORD lead 2x. Синтезатор уже включен, сразу начинай по сути вопроса. Выдай всю инструкцию целиком, без вводных слов, что бы я ее сразу смог скопировать в учебник.

Вот ответ от chatGPT3.5:

Шаг 1: Press the "Oscillator 1" button.

Шаг 2: Turn the "Waveform" knob to select a sawtooth wave.

Шаг 3: Press the "Filter" button.

Шаг 4: Set the "Filter Type" knob to "Low Pass."

Шаг 5: Turn the "Cutoff Frequency" knob to around 800 Hz.

Шаг 6: Increase the "Resonance" knob to about 50%.

Шаг 7: Press the "Envelope" button.

Шаг 8: Set the "Filter Envelope Amount" knob to about 70%.

Шаг 9: Increase the "Attack" knob to around 50%.

Шаг 10: Set the "Decay" knob to around 50%.

Шаг 11: Set the "Sustain" knob to around 50%.

Шаг 12: Increase the "Release" knob to around 70%.

Шаг 13: Press the "LFO" button.

Шаг 14: Set the "LFO Waveform" knob to a triangle wave.

Шаг 15: Turn the "LFO Rate" knob to around 5 Hz.

Шаг 16: Set the "LFO Amount" knob to about 50%.

Шаг 17: Press the "Amplifier" button.

Шаг 18: Set the "Volume" knob to a comfortable level.

Результат: Вы должны услышать звук, напоминающий жужжание пчелы с мягкими изменениями в высоте и глубине.

Шаг 19: Press the "Unison" button.

Шаг 20: Turn the "Unison Detune" knob to around 20%.

Результат: Звук должен стать более плотным и насыщенным, как будто вы слышите несколько пчел одновременно, образуя рой.

Вы видимо не учитываете, что все эти сервисы, это всего лишь лингвистические модели, а не настоящий ИИ, который умеет анализировать исходные данные.

Я сам разработчик, математик, девопс, ну и так далее, вообщем на грани науки и ИТ, в том числе, в разработках, которыми мы занимаемся, есть модули, которые работают на базе нейронок.
Я много использую тот же GPT, но не как заменитель разработчика, а как очень продвинутое средство поиска разрозненной информации, которым он в том числе и является.

Так вот доходило до смешного, кстати, это частая ситуация, просишь тот же гпт накидать на каком-нибудь языке программирования, какой-нибудь простенький код, для вполне простых и четко формализованных целей, он выдает, первые секунды смотришь, радуешься, о, как классно, а потом приглядываешься и обнаруживаешь, что в выданном им коде, скажем для питона вставлены вызовы методов классов, которых в стандартных либах питона - нет, они выдернуты из стандартных либ джавы.

Я собственно к тому, что не путайте лингвомодели с кодебейсом и реальный ИИ(такого пока не существует), они лишь производят поиск в датасетах и по определенным алгоритмам компилируют ответы. Они не анализируют задачи, не выдумывают алгоритмов, не строят логических цепочек и выводов.

 

[Denis12308]

Вы видимо не учитываете, что все эти сервисы, это всего лишь лингвистические модели, а не настоящий ИИ, который умеет анализировать исходные данные.

Я сам разработчик, математик, девопс, ну и так далее, вообщем на грани науки и ИТ, в том числе, в разработках, которыми мы занимаемся, есть модули, которые работают на базе нейронок.
Я много использую тот же GPT, но не как заменитель разработчика, а как очень продвинутое средство поиска разрозненной информации, которым он в том числе и является.

Так вот доходило до смешного, кстати, это частая ситуация, просишь тот же гпт накидать на каком-нибудь языке программирования, какой-нибудь простенький код, для вполне простых и четко формализованных целей, он выдает, первые секунды смотришь, радуешься, о, как классно, а потом приглядываешься и обнаруживаешь, что в выданном им коде, скажем для питона вставлены вызовы методов классов, которых в стандартных либах питона - нет, они выдернуты из стандартных либ джавы.

Я собственно к тому, что не путайте лингвомодели с кодебейсом и реальный ИИ(такого пока не существует), они лишь производят поиск в датасетах и по определенным алгоритмам компилируют ответы. Они не анализируют задачи, не выдумывают алгоритмов, не строят логических цепочек и выводов.

Другими словами весть этот ИИ - Это просто программа для сбора/анализа данных, работающая по алгоритмам которые «запрограммировали» программисты?)) если так то и работать это чудо будет так, как захотят программисты (или люди стоящие над ними)

 

[soup]

@Denis12308, собственно - да. Никакого ИИ, пока нет. Это скорее маркетинг, когда сервисы, которые используют лингвистическое моделирование и датасеты - называют ИИ.
Звучит - круто, но только звучит.
При этом я ни сколько не умоляю того факта, что это очень полезные и крутые штуки. Грамотное их использование может на порядки снизить затраты времени на поиск нужной информации и отсев ненужной.

ПС есть более продвинутые и заточенные под определенный набор задач сервисы, тот же копайлот, там свои кодебейсы, датасеты. Он меньше допускает смешных ошибок при решении задач в области разработки. Но принцип - тот же самый.

 

[nemydom]

Другими словами весть этот ИИ - Это просто программа для сбора/анализа данных, работающая по алгоритмам которые «запрограммировали» программисты?)) если так то и работать это чудо будет так, как захотят программисты (или люди стоящие над ними)

нет конечно! Я думаю как оно работает в деталях точно никто не знает, кроме самих разработчиков OpenAI. А то что лингвистические модели это "не настоящий ИИ" , это я думаю @soup заблуждается, но это мое мнение - я могу ошибаться. Я например слышал, что есть версия что настоящий человеческий интеллект работает по принципу похожему имено на лингвистические модели!

....но это не исключает, что "работать это чудо будет так, как захотят программисты". Просто это одно другого не исключает. По каким бы принципам не работала бы нейросеть, никто не мешает запрограмировать ограничения, например в оболочку.

 

[ganymed]

А то что лингвистические модели это "не настоящий ИИ" , это я думаю @soup заблуждается, но это мое мнение - я могу ошибаться. Я например слышал, что есть версия что настоящий человеческий интеллект работает по принципу похожему имено на лингвистические модели!

Рекомендую послушать специалиста по теме мозга. И вот этого.
А не "я слышал что кто-то где-то сказал".
Выше вам специалист из области программирования дал ответ со своей стороны.

 

[nemydom]

Выше вам специалист из области программирования дал ответ со своей стороны.

А кто вам сказал, что я сам не "специалист из области программирования " ))))

 

[ganymed]

И кстати, а кто вам сказал, что я сам не "специалист из области программирования "?

Я дал и ссылку на специалиста в другой области.
Не нравится Савельев, можете послушать Татьяну Владимировну Черниговскую.
И если вы, как пишите, "специалист из области программирования" то странно читать у вас вот это:
"Я например слышал, что есть версия что настоящий человеческий интеллект работает по принципу похожему имено на лингвистические модели!"
Нет. Конечно, вам никто не запрещает верить во что угодно.

 

[nemydom]

Нет. Конечно, вам никто не запрещает верить во что угодно.

Работая с GPT4, именно с 4 версией, я вообще не могу поверить, что такое возможно наяву... А вы говорите... Ну да, в нейросетях я ни разу не специалист -могу и фигню спороть - я поэтому и предупреждаю, что "где-то слышал " или " не уверен"
Давайте не будем сорится - тема интерсная, и любые мнения и информация - даже субьективная - очень приветствуется! Особенно хотелось бы услышать частный опыт работы с ИИ. Так что не стеснятесь, пишите!

 

[ganymed]

@nemydom, потому я и дал вам ссылку на высказывания именно специалистов в своей области.
И почему вы решили что мы ссоримся?

 

[soup]

Я думаю как оно работает в деталях точно никто не знает, кроме самих разработчиков OpenAI.

Да почему, вполне себе описана и задокументирована работа и принципы OpenAI например и в частности:

Introduction — Spinning Up documentation

spinningup.openai.com

Как и многих других движков, в плоть до опенсорцных, коих тоже не мало.

Собственно если бы это не было сделано, то весьма затруднительно бы было использовать и эмбендить их в свои решения.

Не надо наводить лишней мистики и вводить себя в заблуждение, ибо это как раз приведет к неправильному пониманию принципов работы с такими системами и к худшим результатам получаемым от них.

 

[TechnoIsBack]

Рекомендую послушать специалиста по теме мозга. И вот этого.
А не "я слышал что кто-то где-то сказал".

Савельев? Такой себе специалист. Там понтов больше. В какой-то области мозга он явно прохаван. Но благодаря своему снобизму и излишней самоуверенности он часто упускает из вида некоторые важные вещи ... или в упор не хочет принимать аргументы, даже когда ему предлагают ознакомиться с весомыми ссылками на первоисточник. Поэтому трудно судить, на сколько глубоко он шарит и в остальных вещах... лично у меня доверие к его авторитету под сомнением... хотя когда-то прослушал в запой часов 20 его лекций на тему мозга .. стелит красиво ))

 

[nemydom]

Савельев? Такой себе специалист.

Мне тоже так показалась, особенно по некоторым тезисам.