人創造出來的東西，卻未必能被人控製，人工智能，原則上是存在這樣的可能。
開發人工智能的直接動機，很顯然，倘若不是出於莫須有的“研究意識”、甚至“百無聊賴”之類理由，顯然是為了解放人的辛勞，是為了利用人工智能去解決人類難以解決、甚至無法解決的問題，那麽從邏輯上講，對複雜度越過某種門檻的AI，運作過程必定不是人能夠完全解析的。
這種不能夠，並非理論上的做不到，而是解析的時間會長到脫離實際，根本就不現實。
想到這，方然不是在杞人憂，認為人類創造的AI會脫離控製、自作主張，而是作為人工智能的使用者，對AI正在做什麽，並沒辦法有很切實的把握。
這對係統開發者來並不成問題，但是對使用者，則潛藏著這樣的風險：
對AI的實際行為，不管開發者怎樣聲稱、怎樣保證，都沒辦法驗證這些聲稱、保證究竟是真的靠譜，還是完全的欺騙。
歸而總之，還是此前想到的那一個難題：
除非開發者主動放棄，否則，對複雜度超限的係統，沒有任何百分之百可靠的手段，可以確保除開發者之外的任何人將其完全掌控。
思考著ASA的行為，“權限不可轉讓”的猜想，再度浮現於方然的腦海。
但他想了又想，還是無法給出證明。
幸好現在還無關緊要，至少對ASA，身為開發者的自己並不擔心它會失控，方然就暫且將猜想放到一邊，他仔細觀察“自動化搜索與分析”係統的日誌，結合每的分析報告，逐漸洞悉了這係統的運行規律。
看起來，正仿佛一個物理意義上的大腦，ASA的運行思路，恰似人腦。
這種相似性，與“自我意識”的討論無關，而是眼前的人工智能在處理問題時，采取的廣泛嚐試、不斷反饋的策略，與人腦在麵對問題時的工作方式很相似。
想象一個人，在嚐試解決試卷上的數學題時，究竟是怎樣思考，想出辦法呢；
大腦的思考過程，人皆有之，卻好似很難用語言來清晰描述，教師指導學生，也往往是泛泛的“認真想一想”、“換個思路想”，其實這時候大腦究竟在做什麽呢，無非是利用以往積累的神經突觸網絡，發動神經刺激，將所有可能涉及到題目、可能給出解決方案的神經連接路徑都嚐試一遍而已。
這過程中，絕大多數路徑都指向“否決”，極少數路徑一時沒有被判無效，或許，還會連通到邏輯關聯的其他路徑，運氣好的話，在經曆難以想象的繁複生物電過程後，大腦會半回顧、半新創的給出一條可行路徑，問題才得以解決。
這種過程，在人工智能領域，似乎就是所謂的“神經網絡”。 本章已閱讀完畢(請點擊下一章繼續閱讀!)