编号156:PaCaNet(L1评审通过)

(1)项目名称;PaCaNet

(2)项目类型
PaCaNet为自主研发探索类的AIGC生成模型;官方应用silk road visions丝路视界为商业盈利类。

(3)项目介绍
受中华象形文字的启发,我们研发了自有通用模型PaCaNet,一种基于CycleGAN的pipeline,用于融合不同类型中华传统艺术,如书法、绘画等。PaCaNet通过融合传统绘画中的视觉信息和书法中的语言学特征,提供了一个创造跨模式艺术的生成新方向。这也是一个深入研究和推广传统艺术作品的独特机会,并希望在此过程中对保护和振兴传统文化产生积极影响,加速文化产业数字化转型,进一步帮助提升中华传统文化世界影响力。未来PaCaNet也将逐步添加不同民族/国家的传统文化融合生成,并最终形成世界文化大融合的通用生成模型。论文链接 https://arxiv.org/abs/2301.13082 论文已投国际人工智能顶级会议ACM MM2023,且已被来自其他国家的科研团队所引用。



为更加直观的展现出模型功能,我们推出了基于PaCaNet的垂直领域应用Silk Road Visions丝路视界

(4)实现成果

  • AI图片风格转换,满足不同用户需求的2D图片风格转换器。(已上线并持续优化中)
  • AI图片修改,基于LUI,先进行指令匹配,然后进行对应的图片算法处理。(已上线并持续优化中)
  • LUI:用户减少手动操作,取而代之使用语音进行操作。语音将转成文本,然后进行和预设指令进行匹配。支持多语言,目前已实现中英双语。(已上线并持续优化中)
  • 智能合约:将PaCaNet与conflux智能合约相结合,满足用户数字版权和收藏的需求。

(5)远期目标:(项目后期发展方向,底层建设的项目说明一下产生作用的领域以及方向)

  • AI风格转换器将对3D进行延伸 。(研发中,第一版内部测试已出)
  • AI图片修改,基于多模态研究,先通过用户选取区域做语义分割,然后对分割选中部分使用神经网络进行指令引导图像处理。(研发中)
  • LUI:针对目前大语言模型具有的NLU(自然语言理解)能力,后期用户语音转换为指令将由大语言模型完成。(研发中)
  • 品牌宣传主题曲生成。(研发中)
    开通加密支付,用户可通过支付CFX来开通会员或购买相应功能服务。(待开发)

(6)项目进度计划:(列名进度安排与时间节点)

L1阶段(项目审核通过的3个月内)

  • 【1个月】实现智能合约部署,并与PaCaNet相结合,为用户提供将AI生成图一键变为NFT的需求。
  • 【2个月】实现Stable Diffusion与PaCaNet相结合:1、除支持原图生成外,将加入文字输入生成;2、逐步增加更多中华传统文化生成风格,如传统剪纸、古代文化图案、印章风、脸谱、古风人物等。
  • 【1个月】在实现上述任务后,Silk Road Visions丝路视界beta版本上线,并针对首批用户实现邀请制参与内测。
  • 【3个月】进一步优化LUI与对应图片算法处理的结合,使用户可以自由修改生成后的图片,真正做到实现达到用户心理预期的数字艺术品。

(7)申请人:Zhang Luo

(8)申请时间:2023年5月22日

(9)团队背景
SeaFog AI团队由具有海外留学背景的AI及跨领域多专业华人成员组成,包含教授、助理教授、助理研究员、博士、博士生、研究生等。我们致力研发自有人工智能模型,及跨领域相结合的应用场景,帮助前沿科技更好的应用到实体经济当中,助力实体经济在数字化时代的可持续健康发展。

(10)团队构成与分工
Zhang Luo(联合创始人、全职):英国利物浦大学硕士、连续创业者、获所在地政府人才认证、加密领域个人投资者,持有多个不同类型的加密资产,加密领域经验丰富。负责PaCaNet生态构架设计。
James Yuan(联合创始人、全职):英国利物浦大学硕士,英国赫瑞瓦特大学博士及博士后,已在多个AI国际顶级会议期刊发表论文,其研究项目之一获得英国专项资金支持。负责PaCaNet技术构架设计。
备注:两位联合创始人在英国攻读研究生期间(2017-2018)相识,组队联合创立利物浦大学数字货币研究交流协会,自学并普及加密领域相关知识。组织代表利物浦大学参与英美高校区块链黑客马拉松活动。自主设计研发的区块链项目GoAskMe,获得国家教育部和科技部联合主办的第十六届中国留学人员创新创业大赛 “春晖杯”大赛优胜奖以及第三届曼彻斯特创新创业大赛优秀项目。

Zuhao Yang(合伙人、全职):加拿大阿尔伯塔大学学士、新加坡南洋理工大学研究生。负责实现PaCaNet在与cycleGAN、Stable Diffusion、NeRF及3D等结合的相关研发工作。
Yeqi Hu(项目研发、兼职):中国海洋大学博士生、英国赫瑞瓦特大学访问学者(受中国国家留学基金委员会资助)。负责实现PaCaNet在与cycleGAN、Stable Diffusion等结合的相关研发工作。
Kefan chen(项目研发、兼职、):英国赫瑞瓦特大学博士生。负责PaCaNet在与LUI、Segment等结合的相关研发工作。
Kuo Yang(项目运营、全职):美国马里兰大学硕士,长居美国,擅长社区运营,多年海外工作经验,可流利使用英文沟通。长期与不同国家团队合作,了解不同文化,可帮助项目快速实现跨国运营。
Dan Lin(项目运营、兼职):日本中央大学硕士生,负责PaCaNet研发所需数据集分类标注及运营所需推广宣传、咨询顾问等。
Jun Li(项目研发、全职)负责实现智能合约部署及与PaCaNet的链接。
Jiajia Guo(合伙人,独立音乐人)将深度参与PaCaMusic研发。
备注:兼职人员将在6-9月暑期全职参与。

(11)经费明细
L1 阶段所需资金为 $15k,主要用于开发人员的人工成本和优化迭代模型所需的云算力费用。
项目研发组四人,人均2K
项目运营组两人,人均1K
云算力费用:3K
其他云资源费用,如服务器等费用:2K

(12)是否开源:智能合约部分开源

(13)资料链接:https://seafogai.com/

(14)产品链接:初版demo https://www.bilibili.com/video/BV1UP411S7Yp/
Music Demo https://www.bilibili.com/video/BV1RM4y1Y7yU

(15)项目灵感来源
2022年初,NFT市场火热,我投资持有了很多项目,但是通常都是千篇一律,或者直接copy最火爆的项目改一下又开始卖二手甚至三手。我意识到作为艺术文化为主的NFT领域,缺少亚洲文化,特别是中华传统文化的参与。同时,我搭档James作为AI专业背景,敏锐的意识到AI算法将成为下一波NFT的热点,2022年4月在我们自有加密知识普及品牌StudyCrypto发表了相关文章:https://mp.weixin.qq.com/s/4N6T78WKZfXjmFaLd-1n8w
于是我们开始大量研究现有AGI领域有哪些创新点还未被发掘,我们发现以书法艺术作为主角的生成还未有过实践,然后我们就立刻成立了SeaFog AI,组建了队伍,开始了PaCaNet的研发,甚至在2023年初的整个春节期间,我们都在做实验、写论文和开会。最终,我们实现了预期,并在2023年1月31日发表第一版论文。

(16)其他需要说明的情况:论文 https://arxiv.org/abs/2301.13082

(17)项目的精益画布

问题

  • NFT方面的问题:重复性较高、侵权问题严重、缺少传统文化的参与;
  • AIGC方面的问题:大多基于stable diffusion开源数据,生成风格大同小异且具有严重的版权问题和易造假问题,例如Midjourney已被多位艺术家联合上告侵权。

解决方案
自主研发基于传统文化的通用生成模,模型数据集均确认无任何版权风险,给予传统文化新生。与智能合约结合后,用户可便捷确认生成后艺术品的数字版权,提前预防被侵权。

关键指标
之前产出一个 BIG IDEA 需要分三部分,70%的资料收集、整理等案头工作;20%的调研访谈、头脑风暴产生灵感;最后 10% 的时间产出创意策略, 在AI支持下,70%的资料收集整理等案头工作可通过抓取大数据缩短耗时;20%的调研访谈、头脑风暴产生灵感可以通过AGI运算快速实现;整个 BIG IDEA 的输出只需要几分钟,较大提升时间效率。可以帮助普通人提高时间效率,以及去真正有机会实现自己想要的创意。

独特的价值主张
通过AGI,让传统文化再次新生,并推动亚洲文化的崛起。未来的世界在东方!

门槛优势

  • 过硬的科研优势,AI专业研发团队背景,已发表多篇论文,顾问指导团队有教授、副教授等。
  • PaCa Database已在搭建中,目前包含几十种大类,上百种小类,近十万张数据集,均经过确认,无任何版权风险。未来将开放给PaCaNet内部生态会员免费使用,可微调训练打造自己专属的基于PaCa的AIGC应用。
  • 跨国团队协作,便于项目快速拓展海外市场。
  • 团队拥有丰富的加密领域经验,并与多个社区核心团队保持交流,便于之后进行合作。同时,顾问指导团队有加密领域资深人士,将进一步协助我们开拓加密社区资源合作。
  • 项目孵化器为国内头部孵化器:启迪之星。不久后的未来,待我们正式开启融资计划后,启迪之星将协助我们联络启迪创投加入领投。
  • PaCaNet具有丰富的可拓展性,我们也在继续研究探索扩大模型功能和创新性。
  • 可为用户提供专业靠谱的AI知识普及课程作为福利。

渠道

  • 启迪之星遍布全球的渠道资源;
  • 利物浦大学中国校友会将联络英国校友会本部协助我们联合宣发,预计校友渠道将有几十万潜在用户资源,作为留学生背景团队,我们将会开拓更多不同学校渠道;
  • 不同加密社区之间的合作渠道;
  • 已与位于加拿大温哥华的华裔自媒体营销团队达成合作意向,将为我们提供拥有百万粉丝的抖音和tiktok网红合作渠道。
  • 已与一位拥有上百首原创歌曲的独立音乐人达成合作,将授权其作品作为数据集训练AI以及深度参与到品牌宣传主题曲生成的开发当中

客户群体

  • To C:18岁以上成年人,均可成为我们的用户。现有PaCaNet的基础之上,我们将AIGC与LUI(Language User Interface,通过语言来与机器交互的界面)相结合,即利用LUI来提升AIGC的体验和效率。这种结合可以使AIGC在用户体验上更加智能、灵活和人性化,也可以扩展AIGC多领域应用场景和功能(如针对中老年群体的应用)。
  • To B:国风周边生产商、设计师团队、美术教育机构、游戏设计团队等均可。

成本构成
主要成本为人力成本和模型研发运行所需要的GPU云算力及其他云服务资源。其他成本皆可通过资源共享合作来完成。

盈利模式

  • 会员订阅制:Silk Road Visions会员采用订阅制,订阅会员可使用全部功能,以及抢先体验新功能。在生成速率、效果及数量等都将优于非订阅会员。
  • 付费API接口:用户可通过付费API接口来调用PaCaNet生态内不同功能的工具,打造属于自己的应用场景。

(18)圈外引流的运营方案

  • 启迪之星遍布全球的渠道资源;
  • 利物浦大学中国校友会将联络英国校友会本部协助我们联合宣发,预计校友渠道将有几十万潜在用户资源,作为留学生团队,我们将会开拓更多不同学校渠道。
  • 已与位于加拿大温哥华的华裔自媒体营销团队达成合作意向,将为我们提供拥有百万粉丝的抖音网红合作渠道。

(19) 验收指标
L1阶段(项目审核通过的3个月内)

  • 实现智能合约部署,并与PaCaNet相结合,为用户提供将AI生成图一键变为NFT的需求。
  • 实现Stable Diffusion与PaCaNet相结合:1、除支持原图生成外,将加入文字输入生成;2、可生成三种不同类型的中华传统文化风格,如古代山水、传统剪纸、印章风。
  • 实现24节气PR公关图生成。
  • 在实现上述任务后,Silk Road Visions丝路视界beta版本上线,并针对首批用户实现邀请制参与内测。

(20)收款钱包地址
cfx: aampdjratnvgkzfwak2mxys2775dc2896p7vwaph4a

1 Like

有点意思,加油

感谢支持,我们今天刚刚跟陕西一家文化产业发展公司达成了一个To B的合作,会继续加油

1 Like

这个可以生成3D模型吗?

可以,已经在进行了NeRF+SD

1 Like

合作信息更新:已与西安爱国潮文化传媒有限公司达成生态共建合作伙伴关系。

新增的小功能PaCaQR测试图,国风二维码生成


欢迎扫一扫测试

1 Like

要评审我们了,那我再加一个优势:conflux是清华系,而我们PaCaNet的核心指导老师Yang Xu(PaCaNet论文作者可以直接找到),同时也是我们SeaFogAI的合作科研顾问,前不久带领我们小伙伴发布了另外一篇优化LLM的paper,投了NIPS2023(seafogai.com官网可查),同样也是清华系

说一个有趣的小往事,2018年底的时候我就认识了conflux的核心开发团队人员,当时他们去西安参加一个交流会,我刚好坐在其中一个核心开发的旁边,聊了天,还加了微信,那个时候conflux测试网都还没上线,我们也还没开始做项目。虽然之前一直没能有好的机会参与进conflux的发展,但我还是一直关注着conflux的进展。这次也是我们先发布了论文,有一定基础了,才正式申请grants。当然了,如果审核不通过也没关系,我们之后还会加入conflux社区,只是时间上可能会慢很多。

1 Like

评审结果:L1评审通过,仅限代付支持

1 Like

还可以
支持

现在,可以参与体验吗

hi,上次审核通过后,由于我们自身觉得还在很早期,跟coding沟通后,延迟了与conflux合作的进度。四个月过去了,现在更新一些最新进展,然后希望重新再次审核,接入conflux。
更新消息如下
1、我们团队的第二个AI项目论文FACE已被国际人工智能顶级会议/CCF认证A类会议NeurIPS2023收录(机器学习天花板级别的顶会,论文可前往我们官网seafogai.com查看),FACE也将被使用到我们PaCaNet Plus升级版里。
2、目前我们已经将PaCaNet模型封装成API接口,做出了基于PaCaNet的第一版微信小程序,上线内测中(同时结合了大语言模型),一些初期效果可以前往我的B站 https://www.bilibili.com/video/BV1eG411m7kY/ 查看。同时正在进行PaCaNet升级版研发,预计会写新论文发表。(有目前为CS专业偏AI方向想一起做科研的可以联系我,我们是跟UK那边合作,我搭档目前是副研究员)
3、我们PaCaNet已经入围“2023年Web3.0创新大赛”内地赛区数字生成赛道决赛(由可信区块链推进计划、香港Web3.0协会联合主办,中共重庆市委网络安全和信息化委员会办公室、重庆两江新区管理委员会、中国通信标准化协会联合承办,中国信息通信研究院、香港数码港管理有限公司、易链星云(北京)科技有限公司、杭州趣链科技有限公司、香港科技大学数字金融实验室共同协办),将在12月6号在重庆进行路演,比赛具体信息请参考(https://mp.weixin.qq.com/s/gswm0tNW6X_FCTU8Q6GOOQ )。 比赛提供了一些联盟链合作,但我们还是希望首选conflux合作,因此更新消息,希望技术社区评审重新再次审核我们项目,如果时间上来得及,我们希望在重庆路演的时候提供与conflux结合的demo演示,彼此都获益,增加曝光。再次重新评审,我们希望还是能够以我们之前申请的需求为首选。




摩诘作商标也已经在申请中

初版小程序现在内部测试阶段,主要为了跑通所有技术逻辑,如果你想体验的话,我可以把你的微信加入到体验版里

update:我们SeaFogAI获得了2023年Web3.0创新大赛”内地赛区数字生成赛道二等奖,一等奖是“央视频”,确实干不过央妈的孩子,不过我们打赢了电信、移动、北航等团队项目获得了二等奖,目前重庆已经在积极推进我们的项目落地,如果顺利将会有政府专项基金以及其他相关政策产业大力支持。同时,我们也在综合对比其他城市的条件。比赛相关信息 https://mp.weixin.qq.com/s/0m3i9Iajld3b0epQOch4kQ

这么好的项目,数图基金会都不支持,数图基金会吃屎的吗

谢谢肯定,等待conflux的再次沟通审核,不过目前依旧无人联系我。