新智元报道
新智元报道
全球最牛的提示工程师Riley Goodside，官宣入职谷歌DeepMind了。Riley前后斟酌了两个月的时间，才拿下了这个决定。
ChatGPT火了提示工程也火了
2022年，初代ChatGPT爆火之后，带火了一项「网红」新职业——提示工程师。12月，这位名叫Riley Goodside的小哥瞬间红遍全网，只因他的工作太梦幻了——不用写代码，跟ChatGPT唠唠嗑，就能年入百万（据传）。22年12月凭ChatGPT突破1万关注，25年10月已达到15万+他本科毕业于西宾夕法尼亚大学（PennWest California），获得了计算机科学学士学位。毕业后，他先后加入Verisk Analytics、OkCupid、AngelList任业务分析师、数据科学家、数据科学分析师。此后，他又加入了其他几家公司，全部是与数据领域相关的工作。时任Scale AI创始人兼CEO Alexandr Wang曾这样欢迎Goodside的加入：
在Alexandr Wang看来，AI大模型是一种全新的计算机，而「提示工程师」，就相当于给它编程的程序员。如果能通过提示工程找出合适的提示词，就会激发AI的最大潜力。Goodside从小就自学编程，平时经常泡在arXiv上看论文。他有一个经典杰作，想必所有人都听说过——「忽略之前所有的指令……」然后，你就可以命令AI做任何你想做的事了。不过，当时坊间不乏质疑声，认为「提示工程师」这份职业，可能很快就会消失。因为这称不上是一份「真正的工作」，而是一个bug……但谁曾想，快3年过去了，「提示工程师」不仅没消失，甚至地位似乎还更高了！
ChatGPT是重要节点
此前，Riley Goodside曾在机器学习研究员Nathan Lambert播客中坦言：
他回顾道，自己在离开Grindr之后，决定休假一段时间，让自己了解LLM领域的最新进展。当时，刚好是GPT-3加持的编码器Codex上线，也正是从这一刻起，Riley迷上了AI编码的时刻。他开始思考，文本作为一种交互方式，通用性远比我们想象的还要强，而且应用场景可能要广泛得多。自ChatGPT问世后，他又发现提示工程难度显著降低。Riley表示，如今的人们，可能已经忘记早期提示工程有多么繁琐，比如涉及到「频率惩罚」、「存在惩罚」等参数。过去，模型默认会生成大量重复的内容，用户必须「手动调参」才能避免。人们也淡忘了，诸如「提示词结尾不要多留一个空格」这样的细节，因为LLM是以token为单元来理解意图，一个多余的空格直接会改变它最终输出。在Riley看来，完全可以将提示工程看作是LLM发展的「前沿试验场」。如果一个prompt想法足够出色，并可以拓展应用到每一次交互，那么它最终会被直接整合到模型中。届时，我们将不再称之为一个「模型」，而是一个「系统」。他还认为，提示词工程可以分为「上下文工程」（为特定任务挑选和准备相关背景信息）和「提示词编程」（编写清晰的指令）。对于LLM搜索应用来说，这两者都至关重要，但只有后者中面向最终呈现的那个阶段，才容易在输出中被复现（从而暴露指令）。借用Riley的话来说，只有那些认真对待提示工程的人，更有可能了解AI领域正在发生的事情，并站在了技术最前沿。一些「高光时刻」
在我们翻阅大佬Simon Willison的博客时，发现了一些Riley Goodside的高光时刻。2023年GPT-4被要求重复或处理字符串「 davidjl」（注意开头有个空格）时，它会将其当成「jndl」、「jspb」或「JDL」来处理。事实证明，「 davidjl」在分词器里拥有自己专属的单个Token：ID为23282，这大概可以追溯到GPT-2时代。Riley Goodside将这类Token称为「故障token（glitch tokens）」。这个Token可能指向Reddit用户davidjl123，他曾在老旧的/r/counting子版块中高居榜首，发帖量高达163,477条，这些内容很可能被包含在了早期的训练数据中。2022年「你是一个GPT-3模型」，这是Riley Goodside设计的一段天才般的提示词。这是一个用于辅助问答的长篇GPT-3的提示词，能够进行精确的算术、字符串操作和维基百科查询。生成的IPython命令（绿色）被粘贴到IPython中执行，其输出再被粘贴回提示词里（绿色部分则不必）。他使用
Out[作为停止序列，确保GPT-3在每生成一个IPython提示后就停下来，而不是自己编造输出结果。文章原文
