OnBoard! 我们首次来到日本东京，在六本木新城森大厦，面对着著名的东京塔完成了录制。11 月 16 日，由 Comfy 中国社区创始团队发起的 Comfy Community Summit（CCS）全球社区峰会第二站来到东京，从 ComfyUI 主题出发，邀请了海内外知名的 AI 创作者、前沿论文作者、插件和工作流开发者还有大模型训练专家等到场分享，我们不仅看到了多模态生成领域各角色之间碰撞出的火花，更重要的是看到了中国创作者与开源爱好者在全球化中扮演了越来越重要的地位。Hello World, who is onboard?这一期趁着主办方还在东京，我们邀请了 CCS 的两位重要发起人，国内最大的 AI 社群 WayToAGI 的主理人 AJ 和前 Stability AI 的工程师 Yizhou，还有老朋友 Huggingface 工程师 Tiezhen，以及在图像生成领域创业的本地创业者 TheSEA AI 的创始人 Yanjin 一起，回顾多模态生成领域今年的里程碑与 Comfy 开源社区的兴起，以及在商业场景尤其是日本市场落地的探索，最后讨论了 AI 开源力量在中国以及全球化的崛起。嘉宾分别来自开源社区的创始团队、大模型及开源平台工程师，还有本地创业者，我们畅聊了以下话题： 过去一年多模态生成领域出现了哪些里程碑，背后又代表了什么趋势？ CCS 发起的历史背景，为什么这次会放在东京，以及有哪些不一样的收获？ 多模态生成具体在商业落地上有哪些突破，尤其在日本市场看到了哪些实践？ WaytoAGI 社区是如何建立的，为什么会成为中国最大的 AI 开源社区，未来还有哪些规划？ 今年国内开源基础大模型也在全球社区悉数亮相，海外内对开源投入的差异和挑战在哪里？希望本期节目对积极实践开源、全球化创业和 AI 的爱好者们都有帮助，enjoy！嘉宾介绍 AJ：国内最大 AI 开源社区 WaytoAGI 的主理人，也是 CCS 中国社区创始成员。CCS 是全球首次汇聚 AI 开源社区核心开发者与创作者的盛会，由中、美两地 AI 开源爱好者共同发起，于 2024 年正式启动，是亚洲生成式 AI 领域专业性最强、共创活跃度最高的开源社区之一。 Yizhou Zheng：曾在 StabilityAI 负责推理工作流优化及 SD3.5 基础模型训练，Diffusion 社区玩家，CCS、Diffusem发起人，GitHub: github.com/Dango233。 Tiezhen Wang：Huggingface 工程师，他可以说是中国与世界开源 AI 生态的桥梁，更是从 Google TensorFlow 时代到 Huggingface 早期员工，对中国和世界的开源 AI 生态都有极深的洞察。 Yanjin Li：TheSEA 联合创始人兼 CEO，同时也是东京大学在读博士生。TheSEA AI 专注于为品牌提供创新的视觉生成 GenAI 解决方案，致力于提升创意效率与视觉表达效果。 OnBoard!主持：高宁，Global SaaS/AI 社区 Linkloud 联合创始人。前美元 VC 投资人，公众号我思锅我在 (ID: thinkxcloud) 主理人，即刻：High寧。我们都聊了什么01:59 四位嘉宾自我介绍，以及举办或参加这次 CCS 的最大感受。09:27 在图像生成领域，今年对推动应用落地的重要节点是什么？10:51 什么是 ComfyUI 以及 CCS 社区的起源背景？12:51 ComfyUI 与 WebUI 的核心区别在哪里，为什么前者逐渐成为主流？20:20 现在有哪些方式在进一步降低 ComfyUI 的使用门槛？22:58 把作品最终交给商业客户之前，还需要做哪些产品化？26:06 CCS 全球峰会发起的背景以及为什么第二次放在东京？37:12 峰会里的嘉宾是如何挑选以及分别代表哪种角色？44:18 过去一年，多模态生成技术出现了哪些重要里程碑？49:45 Stable Diffusion 3.5 诞生的背景以及对产业最大的影响可能在哪里？56:00 从商业视觉角度，如何驾驭现在各类模型以便在特定行业做有效发散？61:11 如何快速在 SD 3.5 的基础上微调出想要的风格？63:00 视觉模型越来越大，端侧小模型的机会和空间在哪里？68:50 模型厂商该如何建设生态以及吸引更多开发者参与使用？72:53 TheSEA 成立的背景以及在日本市场看到了什么机会？77:30 文生图领域在日本哪些行业落地，挑战在哪里？82:36 哪些工作流已经发生改变，或者卡点又在哪里？85:30 商业视觉生成的需求中日之间的差异在哪里，预期有何不同？89:11 为什么 AI 不会让创作者“失业”，反而会增加？94:21 多模态领域还将出现哪些 AI native 的应用或者行业？98:43 回到商业落地，企业目前最关注的地方在哪里，如何能让他们用好？101:15 技术角度，目前是如何推动可控性的提升？103:55 WaytoAGI 社区的起源和定位是怎样的？107:25 如何能在社区里调动不同背景和角色的人积极做贡献？109:48 如何不断迭代优化知识库，坚持开源？112:50 国内大模型厂商在开源社区的里程碑有哪些，以及有什么最佳实践？116:35 对于开源初创公司，该如何高效地投入开源建设？119:45 四位嘉宾对明年的期望和工作重心将在哪里？提到的公司、技术或相关介绍 Comfy.org WaytoAGI.com Stable Diffusion 3.5 ComfyUI众星云集！IPA两大作者首次对谈！作者亲自答疑！ Coco Nita: iKHOR Labs FLUX Stable Diffusion WebUI Myshell.ai Purz Ideogram Recraft AnimateDiff Deforum ControlNet IP-Adapter In-Context-LoRA MAP（Multimodal Art Projection）以上就是我们本期播客的全部内容，如果各位也有想要我们去访谈的公司或者创始人，非常欢迎大家在评论区给我们留言。感谢大家的收听。如果你喜欢我们的 Podcast，欢迎你点赞并且分享给感兴趣的朋友。如果你在用 Apple podcasts 收听，也希望你花几秒钟打个五星好评，这对我们非常重要！最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！
--------
2:06:05
EP 63. 直播回放：什么是开发大模型应用的新一代底层技术栈？对谈贾扬清，PingCAP黄东旭和AWS核心AI产品研发
我们回来了！2024年转眼就剩下不到两周了，接下来要努力了！这一期是10月一场直播的录制。AI时代日新月异，最近几个月 windsurf, Devin 一众 AI 软件开发工具不断刷新我们对于软件开发范式的认知。这一期对于更底层 AI native 软件技术栈的讨论，仍然不过时。Hello World, who is OnBoard!?随着 GPT, Claude 等大模型的出现和迅速演进，AI 应用开发进入了全新的阶段。传统的软件开发流程正在被重新审视，新的开发框架、数据存储方式和调试方法层出不穷。这次的嘉宾，在软件技术栈的各个领域都可谓重磅。Andy Peng 是AWS 生成式AI核心产品 Bedrock 的核心成员，负责AWS上Anthropic 一系列重要 API 的同时，他也是 Linux Foundation 和 Cloud Native Computing Foundation (CNCF) 的重要成员，从云计算、分布式系统到AI 技术设施，都是绝对的一线专家。Dongxu 是我们的返厂嘉宾，开源数据库PingCAP的创始人兼CTO，本次的的话题也是受到他的一条朋友圈启发：围绕AI的应用开发，会对整个软件开发范式，包括开发框架、数据存储和处理方式、观测性工程和质量体系等等，带来怎样的变化？另一位返厂嘉宾也是绝对的大牛，Lepton AI 创始人 CEO贾扬清, 从 Google Brain 到 Facebook AI 到阿里巴巴，作为 Caffee2, Pytorch 的核心元老，到创立Lepton AI，致力打造 AI cloud，又看到整个AI开发生态有怎样的演进？有什么可以从上一代 AI infra 发展中可以参考的变与不变？这次讨论的话题需要一些技术基础知识，另外，嘉宾长期在海外工作生活，夹杂英文在所难免，不接受抱怨，欢迎评论区提出新的问题和观点。Enjoy!嘉宾介绍 贾扬清，Lepton AI 创始人 & CEO，ex-Facebook AI, Google Brain, 阿里云副总裁, 深度学习框架 Caffe 和 ONNX 的创建者之一 Andy Peng, AWS Bedrock 核心成员，Cloud Native Computing Foundation (CNCF) Ambassador 黄东旭，PingCAP 联合创始人兼 CTO，分布式数据库 TiDB 作者。 OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学我们都聊了什么03:05 嘉宾自我介绍，最近关注到的 AI 相关产品：DSPy, 快手可灵，Anthropic Artifacts12:08 开发基于大模型的应用，为什么需要不一样的技术栈？18:45 为什么上一波 AI 的API商业模式不work, 这一次 Model as a service 的API业务会有什么异同？25:26 过去一年，应用开发工具有哪些重要变化？未来更复杂的应用还有哪些需求？33:35 AutoGPT 启发了 RAG？Agent 的实际落地情况怎样？35:13 AI 应用为什么会重构 Kubernetes 的资源调度方式？40:08 多模态和非结构化数据的增加，会对 Infra 和开发工具有哪些新的需求？对于现在的 data infra 公司意味着什么？51:15 AI 应用需要怎样新的可观测性体系？61:43 AI 和RAG系统中的搜索，与传统搜索有哪些异同？64:47 Agentic workflow 会对应用开发技术栈带来哪些新的需求？现在做工具“抽象化”还太早了吗？70:56 变革中，新的定义如何产生？为什么很多概念定义都是在美国诞生的？73:18 这一系列变化中，有哪些是新玩家的新机会？哪些适合现有玩家做改良？76:58 做一个开发工具，如何决定是否要开源？78:41 多模态实时交互会对开发技术栈带来哪些新的挑战？81:12 如何判断哪些开源项目可以做商业化？85:45 我们需要单独的向量索引吗？VectorDB 有多少机会会被现有数据库公司占据？93:43 未来技术选型的决策会由AI来做吗？软件开发会变成标品吗？95:40 云厂商和大模型提供商之间是相互竞争的吗？99:22 端侧模型和云端部署模型之间是怎样的关系？未来的格局会有什么变化？104:21 未来1-3年，期待 infra 领域还有哪些变化？109:51 嘉宾的产品未来还有哪些重要计划！我们提到的公司 LangChain: www.langchain.com - 一个用于开发语言模型应用程序的框架。 LlamaIndex: gpt-index.readthedocs.io - 一个用于 LLM 应用程序的数据框架。 Databricks: www.databricks.com （可能是指他们的模型服务和优化基础设施） Anyscale: www.anyscale.com一个用于构建和部署 Ray 应用程序的平台，通常用于扩展机器学习工作负载。 Mosaic: www.mosaicml.com一个用于高效、可扩展地训练大型 AI 模型的平台。 Modal: modal.com一个用于构建和部署机器学习模型的平台。 Vercel: vercel.com一个用于前端框架和无服务器函数的平台。 Guardrails: shreyar.github.io - 一个用于为 LLM 应用程序添加安全性和可靠性的开源库。 SQLite: www.sqlite.org一个轻量级的、基于文件的数据库。 DSPy: github.com - 一个用于构建 LLM 应用的框架， Factory.ai: factory.ai LiveKit: livekit.io - 一个用于构建和扩展实时音频和视频体验的开源基础设施。 Dify: dify.ai - 一个用于视觉化构建 LLM 应用的平台，提供可视化界面和 workflow 编排功能。 AWS Bedrock: aws.amazon.com - AWS Bedrock 让你能够通过 API 访问和使用来自不同提供商的各种强大的基础模型。 AWS App Studio: aws.amazon.com - AWS App Studio 简化了在 AWS 云上构建、部署和扩展 Web 应用程序的流程。 Phidata: www.phidata.com - Phidata 帮助你构建实时数据管道和应用程序，处理和分析流式数据。 NPI AI: www.npi.ai - The best tool for AI taking action. Unstructured.io: unstructured.io - Unstructured.io 帮助你从各种类型的文档和数据中提取有价值的信息，例如文本、图像和表格。 Datalogy: https://www.datologyai.com/ - 自动生成和管理训练数据集。 Rockset: rockset.com - Rockset 提供了一个实时分析数据库，用于构建需要快速查询和分析数据的应用程序。 Anthropic Artifact: Anthropic Artifact 是一系列专注于安全性和可靠性的 LLM，可用于各种任务，例如对话生成和文本摘要。 AutoGPT: github.com - AutoGPT 是一个实验性项目，旨在探索如何使用 LLM 来自动执行任务和目标。 artificialanalysis.com - Artificialanalysis.com 提供了工具和资源来帮助你评估和比较不同的 LLM。 GraphRAG: github.com - GraphRAG 将知识图谱与 LLM 相结合，以提供更准确和全面的信息检索和生成。 vLLM: github.com - vLLM 帮助你更高效地在各种硬件上部署和运行 LLM 推理。 PGvector: github.com - PGvector 让你能够在 PostgreSQL 数据库中存储和查询向量嵌入，这对许多机器学习应用程序至关重要。 DuckDB: duckdb.org - DuckDB 是一款高性能的分析型数据库，非常适合处理大量数据和复杂查询。重要词汇 RAG (Retrieval Augmented Generation): RAG 通过从外部知识源检索相关信息来增强 LLM 的能力，使其能够生成更准确和翔实的响应。 Embedding: 嵌入是一种将文本、图像或其他数据转换为数字向量表示的技术，使计算机能够理解和处理这些数据。 Function calling: 函数调用允许 LLM 调用外部函数或 API 来执行特定任务，例如获取实时信息或与其他系统交互。 Prompt engineering: Prompt engineering 是一种设计和优化 LLM 输入提示的技术，以引导模型生成所需的输出。 RPA (Robotic Process Automation): RPA 是一种使用软件机器人来自动化重复性任务的技术，例如数据输入和处理。 Agentic workflow: Agentic workflow 是一种 LLM 驱动的自动化流程，LLM 可以自主地执行任务和做出决策。 Data lake: 数据湖是一个集中存储各种类型原始数据的存储库，例如结构化数据、非结构化数据和半结构化数据。 ETL (Extract, Transform, Load): ETL 是一种将数据从各种来源提取、转换和加载到目标系统（例如数据仓库）的过程。 Vector database: 向量数据库专门用于存储和查询向量嵌入，这对于许多机器学习应用程序（例如相似性搜索和推荐系统）至关重要。 Observability (可观测性): 可观测性是一种通过监控系统行为来了解和诊断系统性能和问题的方法。参考文章 www.enceladus.ventures a16z.com www.supervised.news www.factory.ai blog.livekit.io www.harness.io OpenAI Acquires Rockset欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！M小姐研习录 (ID: MissMStudy)欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！
--------
1:52:52
EP 62. Google Deepmind 与LLM研究员深度解读OpenAI o1 及LLM+强化学习新范式
你们期待已久的最硬核干货的OpenAI o1模型技术解读来了！上个月最值得关注的事件，或许就是9月12号OpenAI o1模型的发布了，大家对这个新的模型翘首以待许久，OpenAI CEO Sam Altman 也称之为新范式的开始。经过强化学习（Reinforcement Learning）并结合Chain of thoughts 思维链技术，o1在处理物理、数学、编程等复杂问题时，甚至和该领域的博士生水平不相上下。OnBoard! 的嘉宾，不会让你失望！Hello World, who is OnBoard!?强化学习如何给大语言模型带来新的逻辑推理能力这？这种能力的来源、实现方式和未来潜力又是怎样的？o1带来的“新范式”会对行业有怎样的影响？这次的嘉宾都是有实际训练LLM经验的一线研究员。这场三个多小时的解读，相信会给你不一样的视角！其中两位就来自 RL 绝对高地的 Google, 也是AlphaGo, alphafold, alphageometry 等一系列世界领先的RL工作的发源地。他们都分别在RL和MCTS（蒙特卡洛树搜索）领域有长期的研究和实践经验。另一位嘉宾则是在互联网大厂从LLM预训练到RLHF都有一手经验。中美视角的综合，碰撞出很多火花。这个嘉宾阵容对o1的猜想和解读，相信会让你直呼过瘾。这次的探讨会涉及很多技术细节，嘉宾长期的海外工作学习，难免穿插英文，不接受抱怨。Enjoy!PS 本期录制时间是2024年9月27日嘉宾介绍Kimi Kong，Research engineer @Google deepmind, 他在 Stanford 读书期间就接触强化学习，从机器人到现在的大语言模型，对强化学习的理论和使用的沿革有非常系统的理解。Eric Li （返场嘉宾！），Research scientist @Google Cloud, PhD @Caltech。大家都猜测 o1 将蒙特卡洛树搜索 (MCTS) 应用到了LLM，是提升逻辑推理能力的重要方式之一。Eric 就发表了多篇LLM和MCTS结合的论文，绝对的专家。苏辉，前微信AI研究员，现国内一线互联网公司大模型负责人。Cohost: Cage，原字节的数据科学家，现拾像科技研究员，公众号“海外独角兽”撰稿人OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学我们都聊了什么02:36 嘉宾自我介绍，MCTS 科普，为什么对LLM+RL新范式很重要； Cursor 为何值得关注，Physics in LLM from Allen Zhu, 语言对推理能力的价值20:25 对o1发布有什么印象深刻的地方，数据的重要性和难点40:16 如何拆解o1能力提升的来源？如何重新训练一个o1?56:10 为什么复杂的o1 却解决不好简单的数学或常识问题？60:16 o1 用于 tool use 的任务，可能有什么挑战？ 对agent 产品有什么影响？66:46 如何看待agent 数据集难收集的问题？68:38 什么是 Chain of Thoughts (CoT)和MCTS? 对o1的作用跟以前CoT做法有什么不一样？MCTS 在LLM推理中可能有什么作用？83:07 什么是强化学习（RL）？在LLM中应用RL是怎样的演进过程？89:35 RL和self play 其他领域，比如机器人，有怎样的应用？跟在LLM的应用有何异同？93:45 RL, CoT, self-play 之间是怎样的关系？ 真的可以无上限提升LLM推理能力吗？106:56 o1 有可能是单一模型还是 multi-agent system?119:11 LLM和游戏有什么相互影响？为什么玩游戏的能力对LLM 很值得关注？游戏数据对LLM训练有什么价值？126:54 Google 很早就开始 RL 相关研究，为什么 OpenAI o1先出来了？133:16 o1 新范式的出现，对于追赶者来说意味着什么？更容易还是更难？141:43 要追赶 OpenAI o1, 最容易被低估和高估的是什么？143:48 对未来的展望：未来1年和3年，预期AI领域会发生什么？我们推荐的内容OpenAI: Scaling Laws for Reward Model OveroptimizationCursorAllen Zhu: Physics of Language ModelsLanguage is primarily a tool for communication rather than thoughtOpenAI: Improving mathematical reasoning with process supervisionInstructGPTOpenAI PRM 800k 数据集Let's Verify Step by StepAnthropic: Constitutional AI: Harmlessness from AI FeedbackRLAIFOpenAI Hyung Won Chung: "Don't teach. Incentivize."ToolformerChain of thoughtsDDPMDPOPPOSergey Levine: Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actorT HaarnAlphaGoAlphaGo-ZeroAlphaZeroMADDPG (Multi-Agent Deep Deterministic Policy Gradient (MADDPG), from OpenAI paper "Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments"AlphaZero-Like Tree-Search can Guide Large Language Model Decoding and TrainingReasoning with Language Model is Planning with World ModelChain of Thought Empowers Transformers to Solve Inherently Serial Problems参考文章openai.comopenai.comOpenAI’s Strawberry and inference scaling laws海外独角兽：LLM的范式转移：RL带来新的 Scaling Law张俊林：Reverse-o1:OpenAI o1原理逆向工程图解欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！M小姐研习录 (ID: MissMStudy)欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！
--------
2:42:51
Plus de podcasts TechnologiesPlus de podcasts Technologies
France