logo, poster, cover

产品面对面|不刷题!技术能力评估大变革!

ShowMeBug
2024.03.29
岗位题库 / 技术测评2.0 / 技术招聘

引言

传统技术招聘中,部分企业仅用面试环节即完成对技术候选人的考核评估。这样的招聘方式仅用语言交流,无法评估技术候选人项目实战能力到底如何,效率较低。

有些企业加入笔试测评环节,但出题耗时,而且一些技术候选人排斥做“八股文”试题,掉头就走;就算技术候选人完整做完题目,高分通过,也可能出现入职后天天写Bug的情况。

近期我们针对这个主题,发起第二期内部对话「产品面对面」,我们邀约 ShowMeBug 产品负责人 Ivan 来跟我们唠一唠,如何才能有效解决上述这样的问题。

以下是正文,Enjoy~

Q1:在没有 ShowMeBug 之前,您是如何对技术候选人进行评估?

Ivan:那时候我们主要通过行为面试 STAR 原则来评估候选人的行为表现和过往经验,探讨候选人过去遇到的问题、他们的解决方法以及在项目中的角色。

Q2:评估过程中,您会遇到什么样的挑战呢?

Ivan:之前遇到过一些候选人在简历上可能会标注自己“精通”或“掌握”某项技能,一旦深入交谈,会发现他们可能是刷题背八股文,或者只是辅助性地参与过一些项目。

我们也会遇到在面试时表现优秀,但实际工作能力不符,加入团队后表现不及预期的情况。如果说这个岗位需求是要求当下解决一些紧迫性问题时,招错人所带来的成本和影响会比较显著,可能导致两三个月内就需要重新开始招聘流程,这无疑会加大公司的运营压力和项目风险。

Q3: 那在当时,你们是否有意识去解决测评结果精准度的问题?

Ivan:我会在面试过程中去验证候选人的技术技能。但坦白说,如果候选人的技术领域超出了我的知识范围,或者缺乏一些有效、高效的测评工具,在测评时就会有点力不从心了。

所以我们当时的痛点就是希望能通过一些更加系统化的方法来准确评估候选人的技术实力,比如借助一些现成的题目,可以直接拿来测试,从而快速而准确地判断候选人的技能水平。

Q4: 和友商们不同,ShowMeBug 一向宣传的就是“不刷题、不八股”的测评理念,既不鼓励候选人刷题,也不鼓励技术面试官依赖算法题、八股文来对候选人进行测评。

Ivan:是的。

首先,我们需要区分算法题和所谓的“八股文”。尽管许多算法题可能已成为标准化的面试题目,但算法题本身并不等同于“八股文”。大公司在面试中确实会考察算法题,但他们不会重复使用相同的题目,也不会直接从公开题库比如 Leetcode 中抽取。因为如果题目是固定的,候选人就可以通过刷题来获得高分,这并不能真正考察他们的底层思维能力。

实际上算法题本身是有价值的,但如果使用现成的算法题,就可能变成“八股文”,导致候选人为了应付面试而刷题,并不能真正测试他们的思维能力。

ShowMeBug 提供的实战题目通常是基于业务需求,即使候选人没有刷过题,也能根据他们的工作经验来解答。这与精心设计的算法题相似,后者考察的是基于数据结构和算法知识的变通能力,我们的题目旨在确保候选人能够运用他们对业务需求的理解和掌握的功能来解决问题。

Q5: ShowMeBug 的技术岗位题库是如何一步步搭建起来的?

Ivan:起初,ShowMeBug 只是一个简单的笔面试工具。后来根据客户的需求反馈,我们了解到许多企业面临出题难题。为了降低企业伙伴们的使用成本,我们提供质量可靠的现成的题库,企业就无需再从网上搜集旧题或自行出题,这是我们的第一阶段。

随着服务推进,我们注意到,企业担心自己的题目被其他企业使用,或者题目能在网上轻易找到。如果题目容易搜索到,用户可能直接找到答案,从而削弱面试的有效性。

为了应对这个挑战,我们进入第二阶段:打造非公开题库,确保题目的原创性。同时这些题目只有通过使用我们的「智能组卷」的功能,组成试卷发放出去,用户才能够真正看到这个题目的具体内容,这样的措施显著降低了题目泄露的风险。

第三阶段,我们摒弃了传统的八股文式题目,特别是我们的创始人亚飞,他是一位经验丰富的技术面试官,认为这类题目的考察方式效率低下且与实际工作脱节。因此,我们基于 ShowMeBug 2.0 的强大 IDE 功能,提出了“实战编程”的理念,提供与本地 IDE 相似的体验,支持多文件和工程项目,如 SpringBoot 或 React ,使得出题范围更广,更接近实际工作场景。

而在现阶段,我们正致力于进一步创新,计划不久后推出工程能力题,这会是一种全新的理念,旨在深入考察候选人的代码设计、架构构建以及研发方法等基础工程素养。

我们希望通过丰富题目细节,并结合AI技术,在判题时自动完成对候选人工程能力的识别。

Q6: 很多企业伙伴们都会关心,咱 ShowMeBug 的题目是怎么设计出来的?

Ivan:岗位模型体系构成了我们设计题目的基石。

首先,我们采取一种逆向思维的方法,分析技术岗位的流行度和用户基数,推断出这些技术岗位所需的技能和知识点。基于这些信息,我们会为每个技能点和知识点准备充足的题目,以确保题库的全面性。

接着,我们将技能点下的知识点分为三个级别:必知必会、进阶和高阶。必知必会,代表那些在工作中必然会遇到的场景。而进阶、高阶层则对应于需要一定工作经验才能处理的复杂场景,以及那些只有少数人会深入研究的领域。

同时,我们根据知识点出现频率和复杂度来划分题目。这意味着题目的解答时间可能从2分钟到10分钟不等,反映了题目的复杂性,而非难度。我们的目标是让企业用户能够迅速识别题目的相关性和合理性,从而摒弃了传统的简单、中等、困难的分类方式,转而关注题目的实际应用和候选人的能力。

在评估高级候选人时,我们会侧重于进阶和高阶题目,同时也会适当考察基础题目。如果候选人连基础题目都无法正确回答,这可能会影响对其能力的评价。对于高阶题目,我们期望候选人能够展现出更高的正确率,这是我们识别和评价中高级人才的核心标准。

Q7: 那我们的题库团队是如何保证题目的质量和有效性?

Ivan:题库团队通过专业训练,具备设计 L2 至 L3 级别题目的能力和知识。

ShowMeBug 岗位智能组卷模型的质量等级:

L1:已完成技能树和知识点覆盖

L2:建立了以任务为导向的技能树,题目达到2倍冗余

L3:初步经过市场验证,开箱即用

L4:技能树场景覆盖更加全面,可以对工程能力进行测试

L5:经过大量验证,成为行业标准

同时,审校流程经过多轮严格把关,确保题库内容的准确度,POC 测试和专家认证进一步保证了题目的质量和有效性。

随着时间的推移,通过收集和分析客户的正向反馈,题库在 L4 至 L5 级别的题目设计上也得到了持续优化。

客户的反馈在我们的题库优化中扮演着关键角色。客户答题的正确率是我们关注的重点,如果某个被认为基础的知识点在考试中的正确率非常低,我们会重新审视该知识点是否适合公司的实际需求。一旦发现知识点本身与公司需求不匹配,我们会将其从题库中移除,以提升模型的适用性。对于知识点本身没有问题的情况,我们会专注于题目的优化。

Q8: 企业伙伴们还非常关注, ShowMeBug 如何保证题库的安全性和保密性?

Ivan:要正式使用ShowMeBug 的题库,企业首先需要完成企业认证。认证后,企业用户将获得对企业题库和非公开题库的完全访问权限。即使是企业用户,也必须先组卷才能预览非公开题库。

从刷题的角度来看,我们不断扩充题库,特别是实战编程题,这类题目比传统的选择题或算法题更难泄露。实战编程题涉及多个文件和复杂的文件操作,不易一次性截图。即使有人分享了解题攻略,要完全掌握题目也需要记住多个修改点,远不止复制粘贴那么简单。

Q9: 目前,ShowMeBug 技术岗位题库的更新频率是怎样的?在更新过程中,团队采取了哪些策略来确保题目的时效性,并与技术发展保持同步?

Ivan:ShowMeBug 技术岗位题库每月大约新增三四百道题目,目前总数已超过8000道。我们通过定期更新技能点和知识点来确保题库的时效性,所有过时或不存在的知识点都不会被纳入题库,从而避免了旧题目被抽取的可能性。

此外,随着岗位要求的变化,我们会相应更新技能点和技能树,确保题库中的题目与当前的岗位需求保持一致。如果用户发现某些题目已经过时或不再适用,我们会根据他们的反馈来进行调整。

Q10:你如何看待人工智能和自动化,对ShowMeBug 技术岗位题库的影响?

Ivan:即便企业现在采用AI来出题,也不可避免地需要投入相当的成本。AI无法替代的是底层工作,比如对岗位的调研、抽象分析和拆解。以Java为例,它能覆盖三五十个技能点,但企业在短时间内很难建立起这样的技能点覆盖度。AI并不是一夜之间就能提供完整的体系,它需要一个已有的框架来填充内容。对我们来说,AI在内部主要提升效率,在这方面它确实具有巨大的价值。

以前专家一天可能只能设计10道题目,而现在借助AI,这个数字可以提升到20甚至30道,实现了显著的效率提升。我们目前还在探索如何进一步利用AI优化工作流程,比如在审校阶段,我们可能会让不同的AI模型相互协作,或者在题目生成后增加自动化流程,这些都是我们持续提高工作效率可以去深化的地方。但是从整个体系来讲的话,它的核心依然建立在我们本身的专业能力和方法论之上,这是AI目前所不具备的。

Q11: 未来,ShowMeBug 技术岗位题库会是怎样的发展形态?

Ivan:我们的核心目标是扩展更多 L3 级别以上的岗位题目,并实现题量的显著增长。鉴于客户对全面岗位需求的增长,我们必须确保题库的质量和支持力度,以满足市场需求。

未来,我们计划推出工程能力题,这会是一种全新的理念,旨在深入考察候选人的代码设计、架构构建以及研发方法等基础工程素养。我们希望通过丰富题目细节,并结合AI技术,在判题时自动完成对候选人工程能力的识别。

我相信我们还有巨大的改进空间,需要持续优化,通过ShowMeBug 的整体能力,为技术候选人提供一个准确的能力评估标准,这是我们持续追求的目标。

让我们拭目以待~

想马上体验ShowMeBug 技术招聘解决方案?

点击注册链接:

https://www.showmebug.com/reg?return_to=

即刻开启低成本高效招聘的超级体验!

技术测评,就用ShowMeBug!

公众号二维码

关注 ShowMeBug 公众号

随时随地发现更多内容

客服二维码

添加 ShowMeBug 官方客服

提升用户体验,解决用户问题

售前顾问

咨询产品方案

扫码立即咨询

技术支持

使用遇到问题

扫码立即咨询