出去打工和儿子租房
  • 大數據的基本特征有哪些?

    2021-05-07 19:10發布

    29條回答
    722
    2樓 · 2021-05-08 10:00

    簡言之,大數據是指大數據集,這些數據集經過計算分析可以用于揭示某個方面相關的模式和趨勢。大數據技術的戰略意義不在于掌握龐大的數據信息,而在于對這些含有意義的數據進行專業化處理。

    大數據的特點:數據量大、數據種類多、 要求實時性強、數據所蘊藏的價值大。

    大數據的5V特性:


    淺淺77
    3樓 · 2021-05-08 10:42

    1、容量(Volume):數據的大小決定所考慮的數據的價值和潛在的信息。

    2、種類(Variety):數據類型的多樣性。

    3、速度(Velocity):指獲得數據的速度。

    4、可變性(Variability):妨礙了處理和有效地管理數據的過程。

    5、真實性(Veracity):數據的質量。

    6、復雜性(Complexity):數據量巨大,來源多渠道。

    7、價值(value):合理運用大數據,以低成本創造高價值。

    1.容量(Volume):數據的大小決定所考慮的數據的價值和潛在的信息。

    2.種類(Variety):數據類型的多樣性。

    3.速度(Velocity):指獲得數據的速度。

    4.可變性(Variability):妨礙了處理和有效地管理數據的過程。

    5.真實性(Veracity):數據的質量。


    yuixan
    5樓 · 2021-05-08 11:11

    大數據(big data)是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合。

    大數據有大量(Volume)、高速(Velocity)、多樣(Variety)、低價值密度(Value)、真實性(Veracity)五大特點。它并沒有統計學的抽樣方法,只是觀察和追蹤發生的事情。大數據的用法傾向于預測分析、用戶行為分析或某些其他高級數據分析方法的使用。


    我想吃肉
    6樓 · 2021-05-08 11:22

    1、大容量

      據馬海祥了解,天文學和基因學是最早產生大數據變革的領域,2000年,斯隆數字巡天項目啟動時,位于新墨西哥州的望遠鏡,在短短幾周內搜集到的數據已經比天文學歷史上總共搜集的數據還要多;在智利的大型視場全景巡天望遠鏡一旦于2016年投入使用,其在5天之內搜集到的信息量將相當于前者10年的信息檔案。

      2003年,人類第一次破譯人體基因密碼時,用了10年才完成了30億對堿基對的排序;而在10年之后,世界范圍內的基因儀15分鐘就可以完成同樣的工作量。

      伴隨著各種隨身設備、物聯網和云計算、云存儲等技術的發展,人和物的所有軌跡都可以被記錄,數據因此被大量生產出來。

      移動互聯網的核心網絡節點是人,不再是網頁,人人都成為數據制造者,短信、微博、照片、錄像都是其數據產品;數據來自無數自動化傳感器、自動記錄設施、生產監測、環境監測、交通監測、安防監測等;來自自動流程記錄,刷卡機、收款機、電子不停車收費系統,互聯網點擊、電話撥號等設施以及各種辦事流程登記等。

      大量自動或人工產生的數據通過互聯網聚集到特定地點,包括電信運營商、互聯網運營商、政府、銀行、商場、企業、交通樞紐等機構,形成了大數據之海(具體可查看馬海祥博客《大數據技術到底能幫企業做些什么》的相關介紹)。

      我們周圍到底有多少數據?數據量的增長速度有多快?許多人試圖測量出一個確切的數字。

      2011年,馬丁·希爾伯特和普里西利亞·洛佩茲在《科學》上發表了一篇文章,對1986——2007年人類所創造、存儲和傳播的一切信息數量進行了追蹤計算。其研究范圍大約涵蓋了60種模擬和數字技術:書籍、圖畫、信件、電子郵件、照片、音樂、視頻(模擬和數字)、電子游戲、電話、汽車導航等。

      據他們估算:2007年,人類大約存儲了超過300EB的數據;1986——2007年,全球數據存儲能力每年提高23%,雙向通信能力每年提高28%,通用計算能力每年提高58%;預計到2013年,世界上存儲的數據能達到約1.2ZB。

      這樣大的數據量意味著什么?

      據估算,如果把這些數據全部記在書中,這些書可以覆蓋整個美國52次。如果存儲在只讀光盤上,這些光盤可以堆成5堆,每堆都可以伸到月球。

      在公元前3世紀,希臘時代最著名的圖書館亞歷山大圖書館竭力搜集了當時其所能搜集到的書寫作品,可以代表當時世界上其所能搜集到的知識量。但當數字數據洪流席卷世界之后,每個人都可以獲得大量數據信息,相當于當時亞歷山大圖書館存儲的數據總量的320倍之多。

      2、多樣性

      隨著傳感器、智能設備以及社交協作技術的飛速發展,組織中的數據也變得更加復雜,因為它不僅包含傳統的關系型數據,還包含來自網頁、互聯網日志文件(包括點擊流數據)、搜索索引、社交媒體論壇、電子郵件、文檔、主動和被動系統的傳感器數據等原始、半結構化和非結構化數據。

      在大數據時代,數據格式變得越來越多樣,涵蓋了文本、音頻、圖片、視頻、模擬信號等不同的類型;數據來源也越來越多樣,不僅產生于組織內部運作的各個環節,也來自于組織外部。

      例如,在交通領域,北京市交通智能化分析平臺數據來自路網攝像頭/傳感器、公交、軌道交通、出租車以及省際客運、旅游、化危運輸、停車、租車等運輸行業,還有問卷調查和地理信息系統數據。4萬輛浮動車每天產生2000萬條記錄,交通卡刷卡記錄每天1900萬條,手機定位數據每天1800萬條,出租車運營數據每天100萬條,電子停車收費系統數據每天50萬條,定期調查覆蓋8萬戶家庭等等,這些數據在體量和速度上都達到了大數據的規模。

      發掘這些形態各異、快慢不一的數據流之間的相關性,是大數據做前人之未做、能前人所不能的機會。

      大數據不僅是處理巨量數據的利器,更為處理不同來源、不同格式的多元化數據提供了可能。

      例如,為了使計算機能夠理解人的意圖,人類就必須要將需解決的問題的思路、方法和手段通過計算機能夠理解的形式告訴計算機,使得計算機能夠根據人的指令一步一步工作,完成某種特定的任務。

      在以往,人們只能通過編程這種規范化計算機語言發出指令,隨著自然語言處理技術的發展,人們可以用計算機處理自然語言,實現人與計算機之間基于文本和語音的有效通信,為此,還出現了專門提供結構化語言解決方案的組織—語言數據公司。

      自然語言無疑是一個新的數據來源,而且也是一種更復雜、更多樣的數據,它包含諸如省略、指代、更正、重復、強調、倒序等大量的語言現象,還包括噪聲、含混不清、口頭語和音變等語音現象。

      蘋果公司在iPhone手機上應用的一項語音控制功能Siri就是多樣化數據處理的代表。用戶可以通過語音、文字輸入等方式與Siri對話交流,并調用手機自帶的各項應用,讀短信、詢問天氣、設置鬧鐘、安排日程,乃至搜尋餐廳、電影院等生活信息,收看相關評論,甚至直接訂位、訂票,Siri則會依據用戶默認的家庭地址或是所在位置判斷、過濾搜尋的結果。

      為了讓Siri足夠聰明,蘋果公司引入了谷歌、維基百科等外部數據源,在語音識別和語音合成方面,未來版本的Siri或許可以讓我們聽到中國各地的方言,比如四川話、湖南話和河南話。

      多樣化的數據來源正是大數據的威力所在,例如交通狀況與其他領域的數據都存在較強的關聯性。據馬海祥博客收集的數據研究發現,可以從供水系統數據中發現早晨洗澡的高峰時段,加上一個偏移量(通常是40-45分鐘)就能估算出交通早高峰時段;同樣可以從電網數據中統計出傍晚辦公樓集中關燈的時間,加上偏移量估算出晚上的堵車時段。

      3、快速度

      在數據處理速度方面,有一個著名的“1秒定律”,即要在秒級時間范圍內給出分析結果,超出這個時間,數據就失去價值了。

      例如,IBM有一則廣告,講的是“1秒,能做什么”?1秒,能檢測出臺灣的鐵道故障并發布預警;也能發現得克薩斯州的電力中斷,避免電網癱瘓;還能幫助一家全球性金融公司鎖定行業欺詐,保障客戶利益。

      在商業領域,“快”也早已貫穿企業運營、管理和決策智能化的每一個環節,形形色色描述“快”的新興詞匯出現在商業數據語境里,例如實時、快如閃電、光速、念動的瞬間、價值送達時間。

      英特爾中國研究院首席工程師吳甘沙認為,快速度是大數據處理技術和傳統的數據挖掘技術最大的區別。大數據是一種以實時數據處理、實時結果導向為特征的解決方案,它的“快”有兩個層面。

      一是數據產生得快。有的數據是爆發式產生,例如,歐洲核子研究中心的大型強子對撞機在工作狀態下每秒產生PB級的數據;有的數據是涓涓細流式產生,但是由于用戶眾多,短時間內產生的數據量依然非常龐大,例如,點擊流、日志、射頻識別數據、GPS(全球定位系統)位置信息。

      二是數據處理得快。正如水處理系統可以從水庫調出水進行處理,也可以處理直接對涌進來的新水流。大數據也有批處理(“靜止數據”轉變為“正使用數據”)和流處理(“動態數據”轉變為“正使用數據”)兩種范式,以實現快速的數據處理。

      為什么要“快”?

      第一,時間就是金錢。如果說價值是分子,那么時間就是分母,分母越小,單位價值就越大。面臨同樣大的數據“礦山”,“挖礦”效率是競爭優勢。

      第二,像其他商品一樣,數據的價值會折舊,等量數據在不同時間點?價值不等。NewSQL(新的可擴展性/高性能數據庫)的先行者VoltDB(內存數據庫)發明了一個概念叫作“數據連續統一體”:數據存在于一個連續的時間軸上,每個數據項都有它的年齡,不同年齡的數據有不同的價值取向,新產生的數據更具有個體價值,產生時間較為久遠的數據集合起來更能發揮價值。

      第三,數據跟新聞一樣具有時效性。很多傳感器的數據產生幾秒之后就失去意義了。美國國家海洋和大氣管理局的超級計算機能夠在日本地震后9分鐘計算出海嘯的可能性,但9分鐘的延遲對于瞬間被海浪吞噬的生命來說還是太長了。

      越來越多的數據挖掘趨于前端化,即提前感知預測并直接提供服務對象所需要的個性化服務,例如,對絕大多數商品來說,找到顧客“觸點”的最佳時機并非在結賬以后,而是在顧客還提著籃子逛街時。

      電子商務網站從點擊流、瀏覽歷史和行為(如放入購物車)中實時發現顧客的即時購買意圖和興趣,并據此推送商品,這就是“快”的價值(具體可查看馬海祥博客《淺談大數據時代的大數據技術與應用》的相關介紹)。

      4、真實性

      在以上3項特征的基礎上,我歸納總結了大數據的第四個特征——真實性。

      數據的重要性就在于對決策的支持,數據的規模并不能決定其能否為決策提供幫助,數據的真實性和質量才是獲得真知和思路最重要的因素,是制定成功決策最堅實的基礎。

      追求高數據質量是一項重要的大數據要求和挑戰,即使最優秀的數據清理方法也無法消除某些數據固有的不可預測性,例如,人的感情和誠實性、天氣形勢、經濟因素以及未來。

      在處理這些類型的數據時,數據清理無法修正這種不確定性,然而,盡管存在不確定性,數據仍然包含寶貴的信息。我們必須承認、接受大數據的不確定性,并確定如何充分利用這一點,例如,采取數據融合,即通過結合多個可靠性較低的來源創建更準確、更有用的數據點,或者通過魯棒優化技術和模糊邏輯方法等先進的數學方法。

      業界還有人把大數據的基本特征從4V擴展到了11V,包括價值密度低(Value)、可視化(Visualization)、有效性(Validity)等。例如,價值密度低是指隨著物聯網的廣泛應用,信息感知無處不在,信息海量,但在連續不間斷的視頻監控過程中,可能有用的數據僅一兩秒。如何通過強大的機器算法更迅速地完成數據的價值“提純”,是大數據時代亟待解決的難題。

      國際數據公司報告里有一句話,概括出了大數據基本特征之間的關系:大數據技術通過使用高速的采集、發現或分析,從超大容量的多樣數據中經濟地提取價值(具體可查看馬海祥博客《如何通過大數據來獲取商業價值》的相關介紹)。

      除了上述主流的定義,還有人使用3S或者3I描述大數據的特征。

      3S指的是:大小(Size)、速度(Speed)和結構(Structure)。

      3I指的是:

      (1)、定義不明確的(Ill-de.ned):多個主流的大數據定義都強調了數據規模需要超過傳統方法處理數據的規模,而隨著技術的進步,數據分析的效率不斷提高,符合大數據定義的數據規模也會相應不斷變大,因而并沒有一個明確的標準。

      (2)、令人生畏的(Intimidating):從管理大數據到使用正確的工具獲取它的價值,利用大數據的過程中充滿了各種挑戰。

      (3)、即時的(Immediate):數據的價值會隨著時間快速衰減,因此為了保證大數據的可控性,需要縮短數據搜集到獲得數據洞察之間的時間,使得大數據成為真正的即時大數據,這意味著能盡快地分析數據對獲得競爭優勢至關重要。


    茄子醬
    7樓 · 2021-05-08 11:37

    大數據的基本特點為:

    1、容量(Volume):數據的大小決定所考慮的數據的價值和潛在的信息。

    2、種類(Variety):數據類型的多樣性。

    3、速度(Velocity):指獲得數據的速度。

    4、可變性(Variability):妨礙了處理和有效地管理數據的過程。

    5、真實性(Veracity):數據的質量。

    6、復雜性(Complexity):數據量巨大,來源多渠道。

    7、價值(value):合理運用大數據,以低成本創造高價值。



    大冬瓜
    8樓 · 2021-05-08 13:47

    容量、種類、速度、可變性、真實性、復雜性、價值。

    大數據的特征:

    容量(Volume):數據的大小決定所考慮的數據的價值和潛在的信息;

    種類(Variety):數據類型的多樣性;

    速度(Velocity):指獲得數據的速度;

    可變性(Variability):妨礙了處理和有效地管理數據的過程。

    真實性(Veracity):數據的質量

    復雜性(Complexity):數據量巨大,來源多渠道

    價值(value):合理運用大數據,以低成本創造高價值


    三歲奶貓
    9樓 · 2021-05-08 14:57

    1.數據量大。
    2.規定快速響應,銷售市場變化快,規定能立即迅速的回應轉變,因此對數據的分析還要迅速,在特性上面有更偉岸規定。

    相關問題推薦

    • 回答 100

      全球知名咨詢公司麥肯錫最早提出大數據時代的到來,麥肯錫稱:數據,已經深入到當今各行各業的職能領域,是重要的生產因素。人們不斷對海量數據的挖掘和運用,意味著生產率增長和消費者盈余會成為新一波的浪潮。 其在生物學、物理學、環境生態學等領域及軍事...

    • 回答 84

      Java和大數據的關系:Java是計算機的一門編程語言;可以用來做很多工作,大數據開發屬于其中一種;大數據屬于互聯網方向,就像現在建立在大數據基礎上的AI方向一樣,他兩不是一個同類,但是屬于包含和被包含的關系;Java可以用來做大數據工作,大數據開發或者...

    • 回答 52
      已采納

      學完大數據可以從事很多工作,比如說:hadoop 研發工程師、大數據研發工程師、大數據分析工程師、數據庫工程師、hadoop運維工程師、大數據運維工程師、java大數據工程師、spark工程師等等都是我們可以從事的工作崗位!不同的崗位,所具備的技術知識也是不一樣...

    • 回答 18

      您好針對您的問題,做出以下回答,希望有所幫助!1、大數據行業還是有非常大的人才需求的,對于就業也有不同的崗位可選,比如大數據工程師,大數據運維,大數據架構師,大數據分析師等等,就業難就難在能否找到適合的工作,能否與你的能力和就業預期匹配。2、...

    • 回答 17

      最小的基本單位是Byte應該沒多少人不知道吧,下面先按順序給出所有單位:Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB,按照進率1024(2的十次方)計算:1Byte = 8 Bit1 KB = 1,024 Bytes 1 MB = 1,024 KB = 1,048,576 Bytes 1 GB = 1,024 MB = 1,048,576...

    • 回答 3
      已采納

      有這么幾種用法:1、通過鏈路聚合,將多條線路邏輯上合并成一條帶寬更大的線路。例如4條1000Mbps鏈路聚合成1條4000Mbps的線路。當然交換機也要支持鏈路聚合功能。服務器端需要安裝支持這種功能的驅動程序。2、解決服務器自集群內部的數據交換問題。左側的網絡...

    • 回答 14

      tail -f的時候,發現一個奇怪的現象,首先 我在一個窗口中 tail -f test.txt 然后在另一個窗口中用vim編輯這個文件,增加了幾行字符,并保存,這個時候發現第一個窗口中并沒有變化,沒有將最新的內容顯示出來。tail -F,重復上面的實驗過程, 發現這次有變化了...

    • 回答 5

      MySQL是一種關系型數據庫管理系統,關系數據庫將數據保存在不同的表中,而不是將所有數據放在一個大倉庫內,這樣就增加了速度并提高了靈活性。MySQL的版本:針對不同的用戶,MySQL分為兩種不同的版本:MySQL Community Server社區版本,免費,但是Mysql不提供...

    • mysql安裝步驟mysql 2022-05-07 18:01
      回答 2

      mysql安裝需要先使用yum安裝mysql數據庫的軟件包 ;然后啟動數據庫服務并運行mysql_secure_installation去除安全隱患,最后登錄數據庫,便可完成安裝

    • 回答 5

      1.查看所有數據庫showdatabases;2.查看當前使用的數據庫selectdatabase();3.查看數據庫使用端口showvariableslike'port';4.查看數據庫編碼showvariableslike‘%char%’;character_set_client 為客戶端編碼方式; character_set_connection 為建立連接...

    • 回答 5

      CREATE?TABLE?IF?NOT?EXISTS?`runoob_tbl`( ???`runoob_id`?INT?UNSIGNED?AUTO_INCREMENT, ???`runoob_title`?VARCHAR(100)?NOT?NULL, ???`runoob_author`?VARCHAR(40)?NOT?NULL, ???`submission_date`?DATE, ???PRI...

    • 回答 9

      學習多久,我覺得看你基礎情況。1、如果原來什么語言也沒有學過,也沒有基礎,那我覺得最基礎的要先選擇一種語言來學習,是VB,C..,pascal,看個人的喜好,一般情況下,選擇C語言來學習。2、如果是有過語言的學習,我看應該一個星期差不多,因為語言的理念互通...

    • 回答 7

      添加語句 INSERT插入語句:INSERT INTO 表名 VALUES (‘xx’,‘xx’)不指定插入的列INSERT INTO table_name VALUES (值1, 值2,…)指定插入的列INSERT INTO table_name (列1, 列2,…) VALUES (值1, 值2,…)查詢插入語句: INSERT INTO 插入表 SELECT * FROM 查...

    • 回答 5

      看你什么崗位吧。如果是后端,只會CRUD。應該是可以找到實習的,不過公司應該不會太好。如果是數據庫開發崗位,那這應該是不會找到的。

    • 回答 7

      查找數據列 SELECT column1, column2, … FROM table_name; SELECT column_name(s) FROM table_name?

    沒有解決我的問題,去提問
    出去打工和儿子租房